Narodil se 18. července 1945 v Lučenci na Slovensku. O sobě často říkával, že má skutečné evropské kořeny. Na otcově straně kromě Maďarů a Slováků najdeme francouzské hugenoty, mezi příbuznými matky zase potomky německé šlechtičny Filipíny Welserové (1527–1580) z augsburské patricijské rodiny, která se v roce 1557 provdala za arcivévodu Ferdinanda II. Tyrolského, či někdejšího vrchního rabína Uher a Moravy Samsona Wertheimera (1658–1724), bankéře vídeňského císařského dvora.
V roce 1971 vystudoval geologii na Univerzitě Komenského v Bratislavě, kde později získal doktorát. V letech 1973 až 1977 byl členem Geologického ústavu Slovenské akademie věd. Avšak v roce 1978, když mu bylo 33 let, se začal věnovat politice. Založil Výbor pro ochranu práv Maďarů v Československu, protože chtěl a také měl odvahu postavit se politické a etnické represi komunistického režimu.
V roce 1982 vydal v USA svoji nejznámější knihu Psí obojek (Kutyaszorító), jejíž název symbolizoval nelehký život maďarské menšiny v Československu. Komunisty zakázaná kniha se rychle dostala do rukou tisíců lidí nejen v Maďarsku, ale i na Slovensku. Duray byl během osmdesátých let Státní bezpečností ostře sledován, za normalizace byl jedním z mála občanů Slovenska, kteří podepsali Chartu 77.
Od roku 1982 byl opakovaně zadržován, ve vyšetřovací vazbě strávil celkem 470 dnů. Poprvé byl zatčen 10. listopadu 1982, ale média u nás, a dokonce i v Maďarsku o této události zarytě mlčela. Později se novináři ve službách režimu Jánose Kádára trapně vymlouvali na to, že ve stejný den zemřel vůdce sovětských komunistů Leonid Brežněv, proto prý o zadržení opozičního politika v Československu neinformovali. Nebýt vysílání Svobodné Evropy a Hlasu Ameriky, širší veřejnost by se o jeho zatčení nedozvěděla.
Na soudní přelíčení kromě jiných dorazilo i několik významných spisovatelů z Maďarska, aby obžalovaného morálně podpořili. Proces byl přerušen, ale Duray byl v roce 1984 opět zatčen. Nakonec však byl propuštěn i na základě tlaku Mezinárodního PEN klubu a podporu mu vyjádřili i takoví velikáni jako Arthur Miller či Kurt Vonnegut.
Duray se i poté aktivně angažoval v obhajobě lidských a menšinových práv slovenských Maďarů. V letech 1988 až 1989 pobýval na Indiana University of Pennsylvania v USA.
Po listopadu 1989 se stal poslancem Federálního shromáždění ve slovenské části Sněmovny národů jako bezpartijní, respektive za hnutí Együttélés (Spolužití), na jehož vzniku se začátkem roku 1990 podílel a kterému záhy předsedal. Po vzniku samostatného Slovenska byl poslancem parlamentu až do roku 2010.
Byl mimořádně pracovitý, říkalo se o něm, že za jeden den zažil dva. Málokdy byl zastižen doma, telefony prý vždy zvedal, přednášel, psal články a knihy. Vysloužil si pověst neotřesitelného sloupu v životě maďarské komunity na Slovensku, je držitelem mnoha vysokých maďarských státních vyznamenání, přitom kvůli jeho často radikálním názorům měl dost politických odpůrců nejen na Slovensku, ale i v Maďarsku.
Ve vzpomínkách na něj se můžeme dočíst, že maďarská menšina na Slovensku ztratila osobnost velkého formátu, jakou tato zhruba půlmilionová komunita neměla od dob hraběte Jánose Esterházyho (1901–57), který zemřel v komunistické věznici Mírov na Šumpersku.
Durayova žena Zsuzsanna Szabó byla známá matematička, zemřela v roce 2018. Jejich syn Áron se narodil v roce 1989 v USA. Poslední rozloučení s touto ikonickou postavou maďarské menšiny na Slovensku se koná 17. ledna v Lučenci.
