John Robert Cocker Sheffieldben született. A zenét mindig szerette, legnagyobb kedvence már egészen fiatalon Ray Charles volt, nemcsak hallgatta dalait, de meg is próbált közülük néhányat elénekelni, nagy hatást gyakoroltak rá a blues nagyságai is, mint John Lee Hooker, Muddy Waters, Howlin’ Wolf. Első nyilvános fellépésére tizenkét éves korában került sor bátyja skiffle-bandájával, majd a Cavaliers nevű bandában dobolt – „sikerükre” jellemző, hogy első fellépésük helyszínére meg kellett vásárolniuk a belépőjegyet. 1961-ben felvette a Vance Arnold művésznevet, együttesével a helyi klubokban játszott.
Pályafutása során számos Beatles-dalt dolgozott fel, az első az I’ll Cry Instead volt 1964-es debütáló kislemezén. Nagy feltűnést nem keltett, annak ellenére sem, hogy gitáron Jimmy Page, a Led Zeppelin későbbi tagja játszott. 1966-ban megalakította a Grease Bandet, ennek tagja volt, amikor 1968-ban a Marjorine című dal előadása után felfigyeltek rá. Még abban az évben jelent meg a Beatles With a Little Help From My Friends című dalának világsikert aratott, soul inspirálta feldolgozása, a gitárt ezen is Page pengette.
Cocker emlékezetes előadásával Woodstock egyik hőse lett, egyedülálló, rekedtes-reszelős hangja mellett utánozhatatlan léggitározással hívta fel magára a figyelmet, jellegzetes karmozdulatai váltak védjegyévé.
(Emiatt sokan bolondnak hitték, vagy azt gondolták, tudatmódosító szereket fogyaszt, de ő azt mondta: mivel hangszeren nem játszott, érzelmeit csak így tudta kifejezni.) Bemutatkozó nagylemeze, amelyre olyan Bob Dylan-szerzemények is felkerültek, mint a Just Like A Woman és az I Shall Be Released, első helyig jutott a brit listán.
Woodstock után nem sokkal jelent meg második albuma, a Joe Cocker! rajta a Delta Lady, valamint a Something és a She Came Through The Bathroom Window a Beatlestől, a Dear Landlord Bob Dylantől.
Cocker 1969-ben már nem akart a Grease Banddel turnézni és feloszlatta azt, de egy amerikai szerződés alól nem tudott kibújni, ezért egy kiváló zenészektől sebtében összeverbuvált, 30 tagú együttessel 1970 tavaszán mégis útra kelt. Hét hét alatt 48 városban 52 koncertet adtak, így született meg a Mad Dogs And Englishmen című dupla élő album és koncertfilm. A megerőltető turné végére Cocker mentális és fizikai állapota leromlott, az ital rabja lett, depresszióját később heroinnal próbálta kezelni; 1972-ben Ausztráliából ki is utasították, mert marihuánát találtak nála és verekedésbe keveredett.
