George Gershwin szülei orosz bevándorlók voltak – a képlet azonban ennél összetettebb. Zsidó származású felmenői eredetileg Odesszában éltek, a mai Ukrajna, az egykori Orosz Birodalom területén, majd Szentpétervárhoz közel telepedtek le. A zeneszerző apja, Moise Gershowitz már itt látta meg a napvilágot. Később, már feleségével együtt Amerikába költöztek, mondhatni menekültek (bár ekkor a zsidók még szabadon elhagyhatták a birodalom területét) az egyre erősödő antiszemita légkör miatt. Moiséből Morris Gershvin lett, amit tovább alakított Gershwinre. Felesége, Roza pedig Rose lett – alkalmazkodva új környezetükhöz. Négy gyermekük közül a második volt Jacob, akit kezdettől fogva csak George-nak szólítottak, 1898. szeptember 26-án látta meg a napvilágot New York Brooklyn negyedében.

A kis George első zenei élményeit Harlemben szerezte, ahol rövidnadrágos, görkorcsolyás kisfiúként hallotta a hegedűművészként később fényes pályát befutott, akkor még csak nyolcéves barátja, Max Rosen játékát. Tizenkét éves volt, amikor anyja zongorát vett Ira nevű bátyjának. A szülei nem kis meglepetésére és Ira megkönnyebbülésére George vette birtokba a hangszert, amelyen elsősorban improvizált.
Szülei tanárokat fogadtak mellé, köztük a magyar Kilényi Edét, aki összhangzattanra oktatta, igazi mestere azonban az Arnold Schönberg zenéjét Amerikában népszerűsítő Charles Hambitzer lett.
Először apja vendéglőjében játszott, majd otthagyta a kereskedelmi iskolát és New York központjában, a dzsessz és a szórakoztató könnyűzene terjesztésében meghatározó szerepet játszó Tin Pan Alley-n próbált szerencsét. Először „song-plugger”, vagyis „dalelőjátszó” ügynökként dolgozott a Remick kiadónál. Naphosszat egy fülkében üldögélt, és a színházaktól, dzsesszbandáktól érkező vevőknek játszotta el a cég dalait kottákból. A játékába beleszőtte saját ötleteit is, amivel későbbi barátját, az akkor kezdő táncos Fred Astaire-t is lenyűgözte.

Számos ragtime felvételt készített a gépzongorákhoz készült korabeli hangrögzítőre, az úgynevezett lyukkártyára, majd 1916-ban kiadta első dalát. Így figyelt fel rá a kiadó igazgatója, Max Dreyfus. Ám Gershwin inkább musicalkomponálásról álmodozott, amire 1919-ben nyílt lehetősége. Alex Aarons producer felkérte a La, La, Lucille című darab megzenésítésére, amelynek egyik betétdala, a Swanee (Hattyúcska) Al Jolson előadásában bombasiker lett a Broadwayn. Az 1920-ban készült Scandals című revüje 318 előadást ért meg – ez részben a látványos táncoknak is köszönhető volt. A siker egy csapásra ismert szerzővé tette Gershwint.