הקרקע שעליה בנוי ההוספיס האוסטרי או בשמו המלא "ההוספיס האוסטרי של המשפחה הקדושה" נרכזה בשנת 1855 ע"י הקונסול האוסטרי בירושלים, כדי לדאוג לאינטרסים האוסטריים בירושלים,  שמעצמות אירופה החלו לשלוח אליה זרועות ביצועיות כדי לרכוש השפעה.

המטרה של הקמת ההוספיס – האכסניה, היתה לאפשר מקום מנוחה בו ירגישו בבית הצליינים מהאימפריה האוסטרו-הונגרית המגיעים למקומות הקדושים לנצרות בירושלים.

האכסניה נפתחה לקהל בשנת 1863 ובין האורחים המפורסמים שהתארחו בה היה הקיסר פרנץ יוזף שהתארח בה בביקורו בירושלים בשנת 1869.

במלחמת העולם הראשונה המקום היה סגור, אולם לאחריה המקום התפתח ונבנתה לו הקומה שניה עם חדרי אירוח רבים. במלחמת העולם השניה המקום שימש כבית כלא לכמרים ונזירים גרמניים ואוסטרים ולאחריה הפכו הבריטים את המבנה הגדול למרפאה. בימי השלטון הירדני היה במקום בית חולים שנוהל ע"י צוות נזירות מאוסטריה.
בשנות ה 80 של המאה הקודמת, אחרי שנים רבות של ייעודים שונים הוחזר המקום לידי בעליו ולאחר שיפוץ נרחב המקום חזר לתפקד כבית הארחה החל מ 1988.