Caan New York Bronx kerületében született, a michigani Állami Egyetemen tanult közgazdaságtant, 1961-ben debütált a Broadwayn. Első filmes szerepét 1963-ban kapta az Irma, te édes című romantikus vígjátékban, nevét azonban a stáblistáról lehagyták.
Az 1970-es években vált felkapott színésszé, több nagy sikerű filmben is játszott, ilyen volt például az El Dorado és A híd túl messze van is.
Az igazi sikert az 1972-es A keresztapa hozta el, ám Caan a forgatás után egy időre visszavonult. Az 1980-as évek végén tért vissza a színészethez, és olyan filmekben szerepelt, mint a Tortúra, a Dogville – A menedék, A bűn állomásai vagy a Mi a manó című karácsonyi vígjáték.
A színész négyszer nősült, öt gyereke született, egyikük, Scott követte apját a színészi pályán.
Caan családja a Twitteren közölte a gyászhírt. A bejegyzés szerint nagyra értékelik több millió tisztelőjének átható szeretetét és őszinte részvétét, de azt is közölték a rajongókkal, hogy a gyászban a család nyugalomra vágyik.
Borítókép: Jelenet A keresztapa című filmből (Forrás: YouTube)