Walter Matthow néven született 1920. október 1-jén New Yorkban orosz zsidó bevándorló családban. Soha nem lehetett tudni róla, mikor tréfál, komolyan állította, hogy eredeti neve Matuschanskayasky volt, ami nem csak az amerikaiak számára nyelvtörő feladvány. Szegénységben nőtt fel (hároméves korában apja elhagyta családját), de már hétévesen Shakespeare-t olvasott, és sokat járt a jiddis színházba – előbb büfésként, később gyermekszínészként.
Volt erdész, ökölvívó, a háborúban egy bombázógép rádiósa. Leszerelése után beiratkozott Erwin Piscator német rendező színiiskolájába, ahol együtt tanult Rod Steigerrel és Tony Curtis-szel. Első komoly szerepét 28 évesen kapta, egy aggastyán püspököt alakított Rex Harrison partnereként. A színház örök szerelme maradt, 1962-ben és 1965-ben is megkapta a szakma legmagasabb elismerését, a Tony-díjat a Lövés a sötétben, illetve a Furcsa pár című darabokban nyújtott alakításért. Utóbbit Neil Simon külön az ő számára írta, sokáig vonakodott is, mondván, hogy a szerep túlságosan közel áll saját énjéhez.
A 190 centiméter magas, cammogó járású, gyűrött arcú, de csibészes tekintetű és dörzspapírhangú színészt 1955-ben találta meg a film: Burt Lancaster hívta meg A Kentucky-i vadász című western egyik szerepére, két évvel később Elia Kazan osztott rá szerepet az Egy arc a tömegben című munkájában. Kezdetben cselszövő gazembereket alakított, de idővel rátalált igazi műfajára, a komédiára. Leginkább örökké morgó, időnként barátságtalan, de mégis szeretetre méltó, felvágott nyelvű gazfickó ruháját vette magára. 1960-ban az önálló rendezéssel is megpróbálkozott, de a Gengsztertörténet nem aratott átütő sikert.
Először 1966-ban játszott együtt Jack Lemmonnal, és a Sógorom, a zugügyvéd című film meghozta számára a legjobb férfi mellékszereplőnek járó Oscar-díjat. A legendás páros két évvel később a Furcsa párban mulattatta a közönséget, a színpadon már kirobbanóan sikeres komédia két elvált férfi közös albérleti kalandjait mesélte el fergeteges humorral. Összesen tíz alkalommal szórakoztattak együtt. A Csakazértis nagypapa (Kotch) című vígjáték érdekessége az volt, hogy abban Lemmon rendezői debütálásaként instruálta a saját koránál 25 évvel idősebb személyt megformáló Matthaut a kamera mögül, és hogy jól tette, arra bizonyság, hogy barátját Oscar-díjra jelölték.
