Griffin se narodil v roce 1928 v Chicagu, kde také vystudoval a začala jeho kariéra. Debutoval v roce 1945 nahrávkou s Lionelem Hamptonem. Stal se pak hvězdou kultovní společnosti Blue Note. Počátkem 60. let se přestěhoval do Francie a hodně koncertoval v evropských zemích. V roce 2007 exceloval v Praze v cyklu Jazz na Hradě.
Od počátku se řadil mezi velké tenorsaxofonisty, reputaci si získal zvláště svými extatickými improvizacemi. Kvůli drobné postavě a skvělému umění se mu přezdívalo The Little Giant (Malý obr). Mezi jeho nejvýznamnější díla patří album A Blowing Session z roku 1958, které nahrál s Johnem Coltranem, bubeníkem Artem Blakeyem a dalšími.
