Хорас Манн народився 4 травня 1796 р. у Франкліні (штат Массачусетс) у бідній фермерській родині, яка належала конгреціоналістскій християнській громаді кальвіністського спрямування.

Він – третій із п’яти дітей Томаса та Ребекки (Стенлі) Манн. У Хораса було двоє старших братів, Томас і Стівен, і дві сестри – Ребекка та Лідія. Томас Манн-старший помер від туберкульозу в 1809 р. у віці 52 років, залишивши дружину Ребекку вдовою з п’ятьма дітьми. Через рік, плаваючи у ставку,