Né, John Lebzelter, en 1920 dans la région de New York, il avait d'abord embrassé une carrière de boxeur professionnel, avant de s'engager dans la marine pendant la Seconde Guerre mondiale, puis dans les parachutistes.
Il fut acteur de théâtre fin des années 1940 et a fait ses débuts à Broadway en 1952, avant de passer au grand écran, avec notamment un petit rôle dans "Tant qu'il y aura des hommes" en 1953.
Parallèlement, il est apparu dans de nombreux téléfilms et feuilletons, dont "La quatrième dimension" et "Les incorruptibles", remportant un Emmy Award en 1971.
Il fut nommé deux fois à l'Oscar du Meilleur Second Rôle Masculin pour son rôle de riche financier dans "Shampoo" en 1976 et pour son personnage d'entraîneur de football dans "Le ciel peut attendre" en 1979.
Depuis 2000, il ne tournait plus.