Walter John Matthow néven született 1920. október 1-jén New Yorkban orosz zsidó bevándorló családban. Soha nem lehetett tudni róla, mikor tréfál, komolyan állította, hogy eredeti neve Matuschanskayasky volt, ami nem csak az amerikaiak számára nyelvtörő feladvány. Szegénységben nőtt fel (hároméves korában apja elhagyta családját), de már hétévesen Shakespeare-t olvasott, és sokat járt a New York-i jiddis színházba, büfésként, majd gyermekszínészként egészítette ki a családi kasszát.

Walter Matthau: a mindig morgó, szerethető gazfickó
Volt erdész, ökölvívó, a háborúban egy bombázógép rádiósa. Leszerelése után beiratkozott Erwin Piscator német rendező színiiskolájába, ahol együtt tanult Rod Steigerrel és Tony Curtisszel. Első komoly szerepét 28 évesen kapta, egy aggastyán püspököt alakított Rex Harrison partnereként. A színház örök szerelme maradt, 1962-ben és 1965-ben is megkapta a szakma legmagasabb elismerését, a Tony-díjat a Lövés a sötétben, illetve a Furcsa pár című darabokban nyújtott alakításért. Utóbbit Neil Simon külön az ő számára írta, sokáig vonakodott is, mondván, hogy a szerep túlságosan közel áll saját énjéhez.