Bunicul actorului era om de afaceri. A avut cinci copii, dintre care doi au emigrat în America, așa că Robert a ajuns să se bucure de o mare familie americană. “M-am întâlnit destul de mult cu părinții tatălui meu, care locuiau în Egerton, la nord de Bolton. Aveau o căsuță și îi vizitam duminica. Din anumite motive, nu i-am văzut prea mult pe părinții mamei mele. Tatăl mamei mele, când ajungeam acolo, de patru sau cinci ori pe an, punea în mâinile mele și ale fratelui meu 10 șilingi, ceea ce era o sumă considerabilă de bani”, povestea el.