Své místo zde nacházely latinské školy, po zrušení jezuitského řádu v roce 1773 tu zůstaly univerzitní prostory a knihovna, která se za panovnice Marie Terezie proměnila v Císařskou a královskou veřejnou a univerzitní bibliotéku. O velký rozvoj knihovny se na konci 18. století zasloužil kněz Karel Rafael Ungar, který také vymohl první nařízení o povinném výtisku: každá vydaná kniha musí být v bibliotéce k mání.
Dvouhektarový komplex bývalé jezuitské koleje je po areálu Pražského hradu druhým největším stavebním celkem v Praze. Od roku 1995 je národní kulturní památkou.
Patřily k němu tři kostely -sv. Salvátor, sv. Kliment a Vlašská kaple, dvě věže, školy, kolej, knihovna, divadlo, tiskárna a také hvězdárna. Od roku 1752 tu také funguje nejstarší meteorologická stanice v Česku.
Mezi nejcennější prostory patří dochovaný Barokní knihovní sál s freskovou výzdobou, unikátní Zrcadlová kaple, Meridiánová síň, Mozartův sál, Matematický sál či Sál rukopisů a také Astronomická věž, která je vysoká 68 metrů.
Zásadnější novodobé stavební zásahy pro potřeby knihovny provedl v letech 1924 až 1929 architekt Ladislav Machoň.
