V letech 1934-1937 sloužil jako poddůstojník u pěšího pluku v Košicích, později pracoval ve vojenské chemické továrně. Po zdravotním úrazu se stal vedoucím skladu chemických otravných látek.
Po příchodu nacistů jim odmítl Gabčík vydat plány a klíče od skladu bojových látek a způsobil sabotáž. Před hrozícím zatčením přešel 5. května 1939 hranice do Polska, kde se přihlásil do československé vojenské jednotky. Zde se poprvé setkal s Kubišem.
Po přesunu do Francie oba sloužili v Cizinecké legii v Alžírsku, již od září 1939 se ale stali příslušníky čs. armády ve Francii. Účastnili se bojů ve Francii a po pádu Francie odpluli na lodi Rod El Farag do Anglie.
Disciplinovaný a odvážný voják
Na britském území Gabčík sloužil jako zástupce velitele u stejné roty jako Kubiš. Nakonec se oba stali členy speciálního výcviku, určeného pro nasazení v nepřátelském týlu. Trénink začal v létě 1941 a Gabčík byl hodnocen jako „příjemný a velmi disciplinovaný voják, spolehlivý a odvážný a dobrý vedoucí“.
Od listopadu 1941 čekali na nasazení do akce. Té se dočkali v noci z 28. na 29. prosince 1941, kdy byli vysazeni na území Protektorátu v rámci výsadku Anthropoid. Místo u Ejpovic u Plzně ale přistáli poblíž Nehvizd u Čelákovic. Gabčíkovi s Kubišem se posléze podařilo nalézt úkryty v Praze a začali plánovat atentát na Heydricha. Ten uskutenčili 27. května 1942.
Okamžitě po atentátu na Heydricha v zatáčce pod Vychovatelnou bylo vyhlášeno stanné právo a začaly popravy. Gabčík těžce nesl, že v rozhodující chvíli jeho zbraň selhala. Ještě obtížněji se ale vyrovnával s vyhlazením Lidic, o kterém se jako o odplatě Němců za atentát dozvěděl ve svém úkrytu v kostele v Resslově ulici v Praze. Společně s Kubišem dokonce uvažovali o tom, že se dobrovolně vydají gestapu. Po zradě výsadkáře Karla Čurdy přepadlo kostel 18. června gestapo; Gabčík spáchal v bezvýchodné situaci sebevraždu, Kubiš vykrvácel po zranění v lazaretu SS v Podolí.
Po Gabčíkovi byla po roce 1948 pojmenována jihoslovenská obec Gabčíkovo (do té doby Beš, maďarsky Bös) v okrese Dunajská Streda a přeneseně i nedaleká stejnojmenná přehrada na Dunaji. S kolegou Kubišem byli několikrát vyznamenáni.