Akademie byla založena císařským dekretem Františka I. již v roce 1799 a stala se první uměleckou školou u nás. Na jejím vzniku měla podíl také Společnost vlasteneckých přátel umění.
Prvním rektorem se stal Josef Bergler, nicméně učiliště nemělo univerzitní statut, jen jakési výsostnější postavení, podobně jako tomu bylo v případě konzervatoře.
Až do roku 1940 na AVU přednášeli jak Češi, tak Němci. Vyučovala se zde především malba a grafika a později i sochařství nebo restaurování památek.
