Woody Allen žil s Miou Farrowovou, herečkou proslavenou filmem Rosemary má děťátko, dvanáct let. Ačkoliv se nikdy nevzali, mají spolu tři děti - jedno vlastní . Vztah se rozpadl ve chvíli, kdy Farrowová zjistila, že má Allen poměr se Soon-Yi Prévinovou, adoptivní dcerou, kterou si pořídila ještě ve vztahu se slavným klavíristou Adrém Previnem. V roce 1997 si Allen Soon-Yi vzal.
Režisérova adoptovaná dcera Dylan Farrowová si ale již dříve stěžovala na to, že ji vlastní otec sexuálně zneužíval. V roce 2014 Farrowová případ připomněla otevřeným dopisem, který zaslala do deníku The New York Times. V prosinci 2017 pak napsala sloupek, ve kterém viní veřejnost z toho, že v rámci hnutí #MeToo Allena ušetřila. Tato kauza stála za symbolickým vyloučením Allena z Hollywoodu. To i přes fakt, že režisér veškerá nařčení dlouhodobě popírá.
Mimochodem, jediným biologickým potomkem páru je novinář Ronan Farrow. Ten se proslavil v roce 2017, když pro deník The New Yorker provalil skandály hvězdného producenta Harveyho Weinsteina a de facto tím odstartoval hnutí #MeToo.