V nejvyšší soutěži Dvořák debutoval v dresu mateřských Bohemians (tehdy Spartak Praha Stalingrad), od roku 1954 nastupoval za Duklu. Celkem v lize odehrál 282 zápasů a vstřelil 62 gólů. V roce 1956 se stal spolu s Miroslavem Wiecekem králem střelců.
Fotbalový tým Dukla Praha - zleva stojící František Šafránek, Josef Masopust, Josef Vacenovský, Milan Dvořák, Svatopluk Pluskal, Jaroslav Borovička, Jiří Čadek. Klečící zleva Josef Jelínek, Pavel Kouba, Jozef Adamec, Jan Brumovský
Za reprezentaci nastoupil v 13 utkáních a dal tři branky. Na mistrovství světa v roce 1958 ve Švédsku, kde Československo vypadlo v základní skupině, se střelecky prosadil proti týmu SRN i Argentině. Po ukončení hráčské kariéry působil jako náčelník obvodní vojenské správy v Praze.
