Narodil se 16. října 1889 v Počátkách na Chotěbořsku. Po vychození měšťanské školy v Chotěboři vystudoval českou vyšší obchodní akademii v Hradci Králové a stal se bankovním úředníkem. O několik let později však vypukla první světová válka a Josef Zmek musel již 27. července 1914 narukovat k c. a k. pěšímu pluku č. 18 a byl v hodnosti poručíka vyslán na východní frontu. Zde 5. července 1915 v bojích u Lublinu padl do ruského zajetí.
Do československého vojska se přihlásil v únoru 1917 ze rjazaňského zajateckého tábora a byl povolán 18. července téhož roku. Po absolvování dvouměsíčního důstojnického kurzu v Borispolu byl jako podporučík přidělen k 7. čs. střeleckému pluku „Tatranskému“. Zároveň byl pověřen náborem dalších dobrovolců a několik měsíců pobýval v zajateckých táborech v Permské gubernii.
S plukem prožil ústup z Ukrajiny a v březnu 1918 se zúčastnil i bitvy u Bachmače. Po rozpoutání nepřátelství mezi čs. legiemi a bolševiky zasáhl do bojů tzv. východní skupiny mezi Marijinskem a Čitou. Díky své statečnosti a schopnostem začal rychle stoupat v žebříčku hodností a funkcí. Již 17. srpna byl povýšen do hodnosti podkapitána, a když se zanedlouho začal formovat 11. čs. střelecký pluk „Františka Palackého“, byl 29. srpna 1918 jmenován jeho velitelem.
Svůj pluk pak vedl do bojů proti bolševikům během podzimu 1918 na samarské frontě, na jaře a v červnu 1919 na řece Maně i do ústupových bojů během evakuace do Vladivostoku v lednu a v únoru 1920. Do vlasti se vrátil v hodnosti majora 1. srpna 1920. Po návratu se rozhodl pro další službu v československé armádě a v červnu 1922 byl povýšen na podplukovníka.
V následujícím období působil jako velitel několika pluků a po absolvování příslušných vojenských kurzů se v říjnu 1932 stal velitelem 8. pěší brigády ve Vysokém Mýtě. Dne 1. ledna 1934 byl povýšen na brigádního generála a od října 1934 do října 1937 působil jako přednosta 1. oddělení (pěchoty) I. odboru Ministerstva národní obrany. Mnichovská krize jej zastihla jako velitele 14. divize v Kroměříži.
Stráž 11. čs. střeleckého pluku, kterému velel Josef Zmek, na Sibiři v květnu 1919
Po nacistické okupaci pracoval jako úředník v sanatoriu pro nervově choré, zároveň se v rámci vojenské organizace Obrana národa zapojil do čs. odboje a stal se velitelem jejího okresního velitelství v Kroměříži. Paradoxně nebyl zatčen na základě své rozsáhlé odbojové činnosti, jež zahrnovala například shromažďování zbraní, munice, organizování sabotáží a odchodů čs. důstojníků do zahraničí, ale na základě obvinění, že během své služby v čs. legiích dal v létě 1918 v Kansku zastřelit několik německých válečných zajatců.
Přestože se obvinění nepodařilo prokázat (v inkriminovanou dobu bylo skutečně několik zajatců pro pokus o útěk a rozpoutání vzpoury popraveno, ale nešlo dokázat, že rozkaz k popravě vzešel od něj), byl Josef Zmek s poznámkou „návrat nežádoucí“ odeslán do koncentračního tábora Sachsenhausen. Tam zemřel 8. července 1942.
