Holomek se narodil 6. března 1937 v Brně do rodiny původních moravských Romů. Jeho otec Tomáš Holomek byl podle serveru patrně prvním vysokoškolsky vzdělaným Romem v Československu. Rodina Holomkových byla během druhé světové války pronásledována, její velká část zahynula v koncentračních táborech.
Holomek vystudoval strojní inženýrství na strojní fakultě brněnské Vojenské akademie. Později tam také působil jako odborný asistent, kvůli svým výrokům o okupaci sovětskými vojsky byl ale později vyloučen.
Poté pracoval jako řidič těžkých vozidel nebo vedoucí demolic a angažoval se dokonce i v samizdatovém nakladatelství. Za dob svého podnikání ve stavebnictví zaměstnával výhradně Romy, kteří se pokoušeli najít práci. V letech 1990 až 1992 byl poslancem České národní rady za Občanské fórum a po jeho rozdělení za Občanské hnutí.
V roce 1991 stál u zrodu Muzea romské kultury a neziskové organizace Společenství Romů na Moravě, která poskytuje sociálně-právní poradenství a terénní programy v romských lokalitách a vydává romsko-český čtrnáctideník Romano hangos. Muzeum romské kultury je od roku 2005 státní příspěvkovou organizací ministerstva kultury. Současnou ředitelkou muzea je jeho dcera.
Karel Holomek byl předsedou Společenství Romů na Moravě a čestným předsedou Společnosti odborníků a přátel Muzea romské kultury. Byl také ředitelem Mezinárodního romského centra při Helsinském občanském shromáždění a členem vládní rady pro lidská práva. V roce 2002 obdržel medaili Za zásluhy III. stupně.