Zpočátku se živil jako číšník a kuchař, u divadla začínal coby nápověda a statista. Když s rodiči v roce 1956 odešel do bývalé NDR, absolvoval berlínskou hereckou školu u Ernsta Busche.
Po působení po oblastních scénách zakotvil Haußmann v berlínském Deutsches Theater a od roku 1967 byl členem tamní Volksbühne. Jeho nejslavnější rolí se stal Harpagon v Molierově Lakomci, který měl 265 repríz, ba i titulní úlohy ve von Hofmannsthalově dramatu Kdožkolivěk nebo v Ibsenově Johnu Gabrielu Borkmanovi.
Po pádu zdi hostoval Haußmann ve vídeňském Burgtheatru a v bochumském Schauspielhausu. Uplatnil se také v dabingu, nejlépe namlouval Bernarda Bliera.
Ve filmu debutoval v Beyerově Těžké zkoušce (1959) a pokračoval např. v jeho Pěti nábojnicích (1960). V Kadárově a Klosově díle Smrt si říká Engelchen (1963) se objevil jako německý poručík.
Byl jedním z mála umělců z NDR, kteří protestovali proti srpnové okupaci Československa v roce 1968. Když přinesl na naše velvyslanectví věnec, na deset let dostal zákaz.
Patřil k rozhodným odpůrcům tzv. ostalgie a v nedávném rozhovoru pro deník Frankfurter Allgemeine Zeitung pravil: „Mám prostě pořád strašlivý a hnusný pocit, když někdo vzpomíná na minulý režim, jako by se v něm žádným lidem nikdy nic nestalo, a říká, že všude se něco najde.“
Zemřel v sobotu 6. listopadu v Berlíně, měl mozkový nádor. Se ženou Doris, televizní kostýmní návrhářkou, měli syna, režiséra Leandera Haußmanna, který mu dal drobnou roli ve svém snímku Eastie Boys (1999) nebo loni v komedii Dinosaur, kde se loučil po boku bývalých hvězd německého filmu jako Nadja Tillerová a Walter Giller.
Profily osobností, které opustily tento svět, připravuje Jan Rejžek