Családja a 18. században költözött Németországból az Újvilágba.
Szüleivel és testvérével négyéves korától egy farmon élt, és már ekkor bizonyságot adott kiváló üzleti érzékéről: hétévesen pulykákat nevelt, és eladta őket afféle zsebpénz-kiegészítésként. Amikor anyagi helyzetük kedvezőbbre fordult, Clevelandben vettek házat.
Rockefeller tizenhat éves korában munkába állt egy könyvesboltban, majd négy évvel később önálló vállalkozásba fogott: egy barátjával bizományos üzletet alapított, gabonával, hússal, zabbal és mindenféle mással foglalkoztak.
A pennsylvaniai kőolaj 1859-ben történt felfedezése után meglátta a nagy lehetőséget: 1862-től olajfinomítókba fektetett be, majd testvérével és még néhány üzletemberrel együtt 1870-ben megalapította a híres-hírhedt Standard Oil Companyt.
Rockefeller kezdettől a cég élén állt és óriási vagyonra tett szert. Riválisait felvásárolta, a vasutaktól kedvezményes szállítási árakat csikart ki, tevékenységét fokozatosan az egész országra kiterjesztette. Ő hozta létre az első modern trösztöt, kezében tartotta az amerikai olajipart, nála összpontosult az olajszállítás 90 százaléka.
A cég olykor a törvényesség határát súroló módszereit sokan és gyakran bírálták, a trösztellenes törvényt is a Standard Oilra szabva hozták. 1911-ben a legfelső bíróság monopóliumnak minősítette a Standard Oilt, amelyet 37 cégre daraboltak fel.
Rockefeller 1910-ben vonult vissza teljesen, hogy az emberbaráti tevékenységnek szentelje magát. Vagyonát a 19–20. század fordulóján 900 millió dollárra becsülték, és akkoriban őt tartották a világ leggazdagabb emberének (az inflációval kiigazítva ma is helye lenne az első húszban).
A hívő baptista Rockefeller bőkezűen adakozott, a halálakor készült összegzés szerint 540 millió dollárt adományozott nevelési, egészségügyi és tudományos célokra, így a világ legnagyobb emberbarátjának is nevezték. Ő alapította a Chicagói Egyetemet, a mai Rockefeller Egyetemet New Yorkban és a Rockefeller Alapítványt.
Tanítónő feleségétől öt gyermeke született, az üzletet egyetlen fia, ifjabb John D. Rockefeller vitte tovább. Unokája, Nelson Rockefeller Gerald Ford alatt az Egyesült Államok alelnöke volt, egy másik unokája, Winthrop Arkansas állam kormányzóságáig vitte, dédunokája, Jay Rockefeller pedig a szenátorságig.