Narodil se 28. listopadu 1921 v obci Tvarožná Lhota u Hodonína jako druhorozený syn Jana a Alžběty Rybeckých. Otec pocházel z nedaleké Strážnice a živil se jako dělník, matka byla místní rodačkou a pracovala jako pradlena. Oba ale dlouhodobě žili ve Spojených státech amerických, kde byli v roce 1915 oddáni.
Roku 1920 odpluli manželé s malým synem Josefem do rodné vlasti, kde se jim narodil právě Jan. V červenci 1923 se Alžběta se svými dvěma syny nalodila v přístavu v Brémách na loď President Arthur a společně odpluli zpět do USA.
Rodina se v následujících letech rozrostla ještě o dva další syny, Martina a Jindřicha. Rybečtí bydleli ve městě North Hampstead, v části zvané Great Neck, nacházejícím se na Long Islandu ve státě New York.
V domácnosti se mluvilo výhradně česky, jelikož rodiče chlapců anglicky neuměli.
