Sa ženom živeo kao sa rođenom sestrom: Nikada nisu konzumirali brak, bila mu je najverniji jatak, a onda je otkrila sve prljavštine

Iako je uvek igrao negativce, za njega se navijalo. U svojoj bogatoj karijeri ostvario je brojne role, koje su ostale kultne, a njegov privatni život je mnogo inspirativniji. Bio je oženjen koleginicom Elsom Lančester, koju mnogi pamte po ulozi neveste u filmu "Frankenštajnova nevesta". Tek posle smrti otkrila njegove tajne Čarls je sa Elsom ostao do smrti 1962. godine, a tek nakon njegovog odlaska ona je iznela sve informacije u javnost, koje su mnoge šokirale.