Két középkori ház összépítésével a török kiűzése után a püspökök otthonául szolgált, minden püspök alakított rajta. 1741-ben az udvar felé bővítve U-alakú barokk palotává alakították át. A múlt században és 1902-ben is átépítették. Itt szállt meg Mária Terézia és családja 1764-ben. Miután Migazzi püspök új palotát emelt magának, az angolkisasszonyok zárdája nyert benne elhelyezést, majd katonai célokat szolgált, végül 1802-ben itt jött létre a siketek oktatásának első országos intézete, ezt a nemes feladatát látja el ma is.