Byl předním americkým fyzikem, který se zabýval teorií relativity a relativistickou astrofyzikou. Nejprve studoval fyziku na univerzitě Johna Hopkinse a roku 1933 získal doktorát. Poté pokračoval ve studiu v Kodani u slavného fyzika Nielse Bohra (proslavil se popisem struktury atomu). S ním se později setkal i v USA, kde společně vypracovali model jaderného štěpení, který umožnil další výzkum na poli nukleární energie. V této době začal Wheeler vyučovat fyziku na Princetonské univerzitě a následně na univerzitě v Austinu v Texasu. Na seznamu jeho postgraduálních studentů byla taková jména jako například Richard Feynman, Kip Thorne a Hugh Everest.
Za války pracoval na projektu atomové pumy a posléze na vývoji mnohem ničivější vodíkové bomby. Po válce se vrátil na Princeton, kde od roku 1953 vyučoval obecnou teorii relativity, čímž se stal následovníkem Alberta Einsteina.
Aby teorii přiblížil i laikům, přišel s pojmy černá díra a červí díra.
Roku 1973 Wheeler publikoval společně s Kipem Thoriem knihu Gravitace, která obsahuje snad nejúplnější zpracování poznatků z výzkumu gravitace. Začal se také zabývat kvantovou fyzikou a snažil se vyřešit jeden z jejích největších problémů - jak by se dala spojit s obecnou teorií relativity.
