Gazzarát a hasnyálmirigyrákkal folytatott küzdelmét követően pénteken este érte a halál egy manhattani kórházban.
A színész Biagio Anthony Gazzara néven született New Yorkban, olasz bevándorlók gyermekeként. Pályafutását színházi színészként kezdte, első nagy sikerét Tennessee Williams Macska a forró bádogtetőn című darabjának férfi főszerepével aratta a Broadwayen. Színpadi szerepeiért háromszor jelölték Tony-díjra.
Első filmszerepe egy szociopata katonai akadémiai kadét figurája volt 1957-ben a The Strange One című produkcióban. Filmes áttörésére azonban két év múlva került sor Otto Preminger Egy gyilkosság anatómiája című mozijában, amelyben a gyilkossággal vádolt Manion hadnagyot játszotta.
A legnagyobb sikereit később is érzelmileg összetett karakterek és „rossz fiúk” megformálásával érte el. Számos kiváló rendezővel dolgozott együtt, ám John Cassavetesszel jegyezték a legtöbb közös munkát, többek között a nagy sikerű Egy kínai bukméker meggyilkolása című mozit. A Coen fivérek A nagy Lebowski című klasszikusában pornófilmproducert alakított.
Televíziós szerepekben is számtalanszor feltűnt, a 2002-ben készült Pasifogó kísérletek című HBO-drámában – oldalán Uma Thurmannel és Juliette Lewisszal – nyújtott teljesítményéért Emmy-díjat kapott.
