Londýnský rodák vyrůstal na Kanárských ostrovech na otcově banánové plantáži. Starší bratr Philip se stal režisérem hraných snímků. Když mu bylo osm, rodina se odstěhovala do Anglie, kde pak ve čtrnácti letech natočil na oblíbenou „šestnáctku“ svůj první němý snímek Banány na Kanárech. Počátkem druhé světové války přesídlil do Spojených států, kde na Harvardově univerzitě vystudoval fyziku. Jako válečný kameraman působil v Barmě a v Číně a snímal poslední dílo Roberta Flahertyho Příběh z Louisiany (1948).
K nejznámějším titulům, v nichž stál za kamerou, patří Drewovy půlhodinové Primárky (1960), v nichž pomocí malého přístroje se synchronizovaným zvukem sledoval mladého senátora státu Massachusetts Johna Fitzgeralda Kennedyho, nebo Pennebakerův pohled na rockový festival Monterey Pop (1968).
V roce 2000 byl předsedou poroty dokumentů na Mezinárodním filmovém festivalu v Karlových Varech, v témže roce na festivalu dokumentů dostal Cenu města Jihlavy za přínos světové kinematografii a uspořádal odborný seminář, na němž mimo jiné prohlásil, že budoucnost patří digitálním technologiím. Vedl filmovou katedru na univerzitě v Massachusetts a těsně před smrtí vydal paměti.
Zemřel ve středu 23. března v Paříži, kde žil od roku 1989. Byl ženat s režisérkou Valérií Lalondeovou, mladší o šestadvacet let. Jeho synem je kameraman Philip, dcerou taktéž filmařka Victoria.
Profily osobností, které opustily tento svět, připravuje Jan Rejžek
