În timpul copilăriei sale, Curtis și familia lui au locuit în spatele croitoriei. Părinții săi dormeau într-o cameră, în timp ce viitorul actor și cei doi frați ai săi împărțeau alta. Viața lui a fost una plină de drame, deoarece în timp ce creștea cea care le-a dat viață îi bătea din cauza schizofreniei. În 1933, Curtis și fratele său, Julius, au fost plasați într-o instituție. Din păcate, el și fratele său erau mereu implicați în conflicte cu copii antisemiți. În 1938, Julius a murit după ce a fost lovit de un camion. Avea 12 ani.