המבנה בו שוכן המוזיאון הוקם כאכסניה לצלייניות רוסיות, כחלק ממתחם "מגרש הרוסים" בחלקה השני של המאה ה 19 – כחלק ממאמץ השלטונות הרוסיים להשיג השפעה בעיר הקודש, ולאחר כיבושה של ירושלים ע"י הבריטים במלחמת העולם הראשונה, רובו של המתחם הפך לאיזור בו מיקמו הבריטים את מודות השלטון שלהם – וכחלק מכך – גם את בית הכלא של ירושלים.

במלחמת העצמאות המתחם נכבש במבצע קלשון ב 14/5/1948 לאחר קום המדינה מוקמו במתחם משרדים ממשלתיים של המדינה הצעירה, ולאחר רכישתו של המתחם בעסקת התפוזים  ובשנות ה 60 הוקם באכסניית הנשים אתר הנצחה לנופלי האצ"ל והלח"י שנקרא "היכל הגבורה" ובשנת 1991 עבר המקום ליחידת המוזיאונים של משרד הביטחון ששיפצה את המבנה והקימה בו את המוזיאון לאסירי המחתרות, כדי לספר את סיפורים של האסירים ששה בוו, להנציח את עולי הגרדום  ודרך כך לספר את סיפור הקמתה  של המדינה.