A 19. század egyik legnagyobb matematikusának 1871. október 18-án bekövetkezett halála utáni gyászjelentésében az állt, hogy "Babbage úr származásáról és kora ifjúságáról keveset tudunk, csak azt, hogy 1792. december 26 -án született." - aztán kiderült, hogy ezt sem igazán jól.
Egy héttel a gyászjelentés The Times-ban való megjelenése után, az egyik unokaöccse azt mondta, hogy Babbage 1791. december 26-án született.
Ebből volt egy kis vita, amely alig száz évig tartott, végül 1975-ben megállapították, hogy valóban 1791. december 26-án született, s 1792. január 6-án anyakönyvezték a londoni St. Mary's Newingtonban. Ebből valószínűsíthető, hogy a londoni Walworth Road 44 Crosby Row családi házában születhetett.