A Kennedy család legidősebb lánya, Rosemary (Rosie) megpróbáltatásai már születésekor elkezdődtek. 1918. szeptember 13-án, miközben anyja, Rose már a kitolási szakba ért, az orvos még mindig nem volt sehol. A bába arra buzdította az asszonyt, hogy tartsa összezárva a lábát, és akkor se nyomjon, ha szükségét érzi. A kismamának csak elégtelenül sikerült teljesíteni az utasítást, így a bába további két órán át nyomta vissza a baba fejét. Ha azonban a csecsemő túl hosszú időt tölt a szülőcsatornában, oxigénhiány léphet fel, ami agykárosodáshoz vezethet. Vélhetően ez történt Rosemaryvel is.
Hamarosan ugyanis nyilvánvalóvá vált, hogy a kislány különbözik testvéreitől. Amint visszaemlékezésében Rose Kennedy beszámolt róla, Rosie a megszokottnál később kezdett el mászni, járni és beszélni is. Amikor óvodai gondozói nem javasolták, hogy a tervezett időben elkezdje az első osztályt, édesanyja szakértőkhöz fordult, akik közölték vele, hogy lánya „fogyatékos”. Bár Rosemary írás és olvasás tekintetében egy harmadikos-negyedikes tanuló szintjén ragadt meg, háromjegyű számok összeadására képes volt. Mint dr. Steven Holtz, a Berkeley Egyetem neurológusa, Rosie későbbi kedvenc ápolója a lány történetének könyvet szentelő Elizabeth Koehler-Pentacoff számára kifejtette, aki képes komplex matematikai műveletek elvégzésére, azt aligha lehet szellemileg súlyosan visszamaradottnak tekinteni. Rosemaryt a források alapján sokkal inkább – gyógypedagógiai szakterminussal élve – tanulásban akadályozottnak lehetne minősíteni, ami akár enyhe fokú intellektuális képességzavart (értelmi fogyatékosságot) is jelenthet.
A szülők úgy vélték, nem engedhetik meg maguknak, hogy lányuk valós állapotát elismerve kockáztassák társadalmi tekintélyüket, ezért úgy döntöttek, Rosemaryt is ugyanúgy fogják kezelni, mint a többi gyereküket. A lány 11 éves korától kezdve bentlakásos iskolák sorát járta végig. Először egy szellemileg visszamaradottaknak fenntartott pennsylvaniai intézetbe került, később azonban egy olyan intézménybe is beíratták, ahol egészséges társaival kellett versenyeznie. A szülők még a tanárok többségét sem értesítették róla, hogy lányuk hendikeppel indul. Rosie pedig egyre szorongóbbá vált a teljesíthetetlen elvárások miatt. Édesanyjának 12 évesen küldött levele egy kétségbeesett, magányos lány képét rajzolja elénk: „Megkérdezted Miss Devereux-t, hogy hazaenged-e hálaadásra? ( ) Kérlek, tedd meg. ( ) Nagyon hiányzol. ( ) Írj nekem egy hosszú, hosszú, hosszú levelet.” Elhagyatottsága később sem csökkent. Tizenhat évesen így írt édesapjának: „Drága Apu! Köszönöm, hogy meglátogattál. Bármit megtennék, hogy boldoggá tegyelek. Utálok neked Csalódást [sic!] okozni bármiben is. Látogass meg hamarosan. Nagyon magányos vagyok mindennap.”