Dům U Hybernů vznikl na začátku 19. století empírovou přestavbou původně barokního kostela Neposkvrněného početí Panny Marie z let 1652–1659 postaveného u kláštera irských františkánů. Irští františkáni byli nazýváni hyberny podle latinského názvu pro Irsko: Hibernia či Hybernia. V místech tohoto kláštera byl už za Karla IV. založen klášter s gotickým kostelem svatého Ambrože.