Philadelphiában született 1906. október 6-án, de San Franciscóban nőtt fel. Már fiatalon elhatározta, hogy színésznő lesz, ezért Los Angelesbe költözött. Egy cipőboltban vállalt állást, munka után szorgosan járt a meghallgatásokra, és két évig még fizetség nélkül is elvállalta a neki felajánlott kisebb szerepeket.
1926-ban aztán váratlanul főszerepet kapott a The Johnstown Flood című drámában, és bebizonyította, hogy a rendező, Irving Cummings jól választott, amikor ráosztotta a hősnő szerepét. Az alig 150 centiméter magas Gaynor egy éven belül Hollywood legnagyobb színésznője lett.
1927-ben a Hetedik mennyország című moziban játszott először Charles Farrell-lel, akivel aztán még tizenegy közös filmet forgattak. A melodráma vetítése alatt szem nem maradt szárazon, egy korabeli cikk szerint „a könnyekből, amelyeket a filmbemutató alkalmával hullattak országszerte, egy sivatag is kivirulhatott volna”.Ugyanabban az évben a Virradat című romantikus drámában is szerepelt, ebben George O’Brien partnereként kápráztatta el rajongóit, és 1928 elején került a mozikba a Street Angel, melyben egy törvény elől menekülő nőt játszott átütő erővel.
E három filmért vehette át 1929. május 16-án, a hollywoodi Roosevelt szállodában rendezett zártkörű banketten az első alkalommal kiosztott Oscar-díjat, a legjobb színésznő kategória nyerteseként. (Vetélytársai Louise Dresser és Gloria Swanson voltak.)
A kitüntetést az Amerikai Filmművészeti és Filmtudományi Akadémia (AMPAS) alapította, és akkor még nem egy filmben nyújtott alakításért, hanem egy egész év munkájáért kapták meg a színészek.
A némafilmek világából csak egy maroknyi színésznőnek sikerült zökkenőmentesen átlavírozni a hangosfilmek világába, egyikük Janet Gaynor volt.
A Fox Stúdió sztárjaként olyan hangosfilmekben kapott lehetőséget, mint a Sunny Side Up 1929-ben, a Delicious 1931-ben, a State Fair 1933-ban vagy a The Farmer Takes a Wife 1935-ben. Ez utóbbiban Gaynor partnere az ifjú Henry Fonda volt, akinek ez volt az első filmszerepe.Abban az évben egyesült a 20th Century Pictures és a Fox Film Corporation, és az új stúdióban Gaynor státusza bizonytalanná vált. A fiatal feltörekvő színésznők, mint Loretta Young és Shirley Temple kezdték háttérbe szorítani, de még évekig a legjobban fizetett színésznők egyike maradt.
