Ninnian Joe Yule Jr. néven született New Yorkban, ahol színész szülei akkor rendkívül népszerű vaudeville (zenés bohózat) darabokban szerepeltek. Nem csoda, ha a színész már tizenöt hónaposan a világot jelentő deszkákra lépett, pontosabban totyogott az ő méretére készített szmokingban.
Ötéves kislányát és nevelt lányát is szexuálisan zaklatta az apa