Życie prywatne Toma Ellisa było do niedawna dość zagmatwane. W 2005 roku po raz pierwszy został ojcem. Jego ówczesna dziewczyna - Estelle Morgan urodziła wtedy ich córkę Norę Ellis. Związek aktorskiej pary nie przetrwał, a Ellis szybko znalazł pocieszenie u boku Tamzin Outhwaite, z którą wziął ślub 11 czerwca 2006 roku. Aktor dopuścił się jednak zdrady i para rozwiodła się po siedmiu latach małżeństwa w 2014 roku. Owocami tej miłości są jednak dwie córki: Florence Elsie (ur. 17 czerwca 2008) i Marnie Mae (ur. 1 sierpnia 2012).