U intervjuu za magazin "Vanity Fair" 1993. upitan o tome koliko dece ima, Kastro je odgovorio: „Gotovo pleme“. Po drugoj priči, dok je narod čiji je predsednik bio, živeo na ivici bede, Fidel Kastro je uživao u izobilju, a sve u vezi sa svojim privatnim životom, ljubavnice, osmoro dece, pa i samu suprugu, čuvao je kao strogu tajnu.
Jedina zvanično poznata Kastrova supruga bila je Mirta Dijaz Balart koja je bila žena iz bogate porodice. Ćerka istaknutog kubanskog političara i gradonačelnika, upoznala je Kastra na studijama filozofije na Univerzitetu u Havani. Par se venčao 1948. i dobio jedno dete poznato kao Fidelito.
Međutim, 1955. njihov brak je propao i Mirta i Fidel su se razveli. Ona se potom udala za njegovog zakletog neprijatelja, čoveka koji je podržavao Fulgensija Batistu, lidera Kube zbačenog tokom Kastrove revolucije.
Druga poznata partnerka mu je bila učiteljica Dalija Soto del Valer. Prvu je varao s Natalijom Revuelta, a Daliju sa svojom sekretaricom Silijom Sančes, koja mu je 30 godina bila bliska saradnica i najverniji saveznik, pratilac i najbliži prijatelj do njegove smrti od karcinoma pluća 1980. godine.
Ali to nisu jedine ljubavnice koje je imao. Huana Vera, to jest Huanita, bila je njegov prevodilac za engleski jezik i visoko rangirana u tajnoj službi, Gladis je bila stjuardesa koja je sa njim putovala u inostranstvo, Pilar ili Pili njegov prevodilac za francuski jezik. Ali ni to nisu sve ljubavnice, nego samo one s kojima je najčešće provodio vreme.
Kubanci o tome nisu ništa znali. Javnost je decenijama znala samo mali deo činjenica iz privatnog života Fidela Kastra.
Njegovo najstarije dete (bar među onom decom koju je priznao) je Fidelito, Fidel junior. On je jedino dete koje je Mirta rodila. Ubrzo nakon medenog meseca koji je s njim provela u Njujorku, Mirta je prestala da mu bude zanimljiva, pa su se 1955. godine razveli, ali je Fidel dobio starateljstvo nad sinom.
Pod lažnim imenom, Hose Raul, Fidelito je studirao nuklearnu fiziku u Rusiji. Oženio se Ruskinjom, a po mnogo čemu liči na svog oca: voli moć, a ulicama Havane uvek je hodao okružen gomilom telohranitelja.
Za razliku od odnosa s Mirtom, koji je bio hladan i bez emocija, Kastrova veza s Natalijom Revuelta bila je puna strasti. Za Nataliju se govorilo da je najlepša žena koja je ikad hodala ulicama Havane. Natalija, poznata i kao Nati, poticala je iz aristokratske porodice i donirala je novac Kastrovom pokretu. Tada je bila u braku sa uglednim hirurgom, i dugo je bila simpatizer Kastrovih ideja. Počela je da se druži s njim, a potom mu je postala i ljubavnica.
Prema pisanju Njujork Tajmsa, Kastro i Revuelta su razmenjivali pisma puna strasti i često u prepiskama diskutovali o filozofiji i revoluciji.
"Gorim", napisao joj je Kastro 1954. "Piši mi, jer ne mogu da živim bez tvojih pisama".
Godinu dana nakon što se Kastro razveo od Mirte, Natalia je 1956. rodila ćerku Alinu, koja je Kastrova jedina ćerka, koja je, kada je odrasla, žestoko kritikovala politiku Kube. Fidel je 1993. saznao da Alina namerava da napusti Kubu, pa je naredio svojim špijunima da to spreče po svaku cenu. Međutim, na Božić iste godine Kastro je saznao da je Alina pobegla iz domovine, maskirana perikom i s lažnim španskim pasošem. Pomogli su joj saradnici iz inostranstva. Kastro je poludeo, nazvao svoje špijune i poručio im da su nesposobne budaletine. Alina se više nikada nije vratila na Kubu, a 15 godina kasnije, u Majamiju susrela se sa nekadašnjim Kastrovim telohraniteljem. Alina je živela skromno u Majamiju i nikada nije iskoristila veze koje je stekla dok je bila s Kastrom.
Veruje se da je Fidel Kastro je imao mnogo ljubavnica i mnogo dece. Tvrdi se da je Fidel bio otac najmanje desetoro dece, a kubanski mediji nisu učinili ništa da to opovrgnu.