1898. február 11-én született Budapesten Spitz Leó néven. A találékony fiú kiskorában, amikor testvére beteg lett és elkülönítették, távírókészüléket eszkábált össze, hogy tartani tudják egymással a kapcsolatot. Iskoláival nem volt nagy szerencséje, saját bevallása szerint matematika tanára „igazi idióta volt”.
Egyetemi tanulmányait Budapesten kezdte, de a zsidó származású diákok arányát maximalizáló numerus clausus miatt az első adandó alkalommal „a fizika Mekkájának” tartott berlini egyetemre ment. Disszertációját Entrópiacsökkentés termodinamikai rendszerben intelligens lény hatására címmel írta.
Itt barátkozott össze Einsteinnel, akivel több közös találmányt is jegyeztek, ezek egyike egy hűtőszekrény volt. A szerkezet nem terjedt el, de a hűtőfolyadékot áramoltató mágneses szivattyújának elvét ma is alkalmazzák az atomerőművekben.
Szilárd Hitler hatalomátvétele után az utolsó pillanatban, egy nappal a zsidók határátlépését megtiltó rendelet előtt hagyta el Németországot. (Ezután állandóan bepakolva tartott ágya mellett két bőröndöt, hogy ha kell, azonnal indulni tudjon).
Londonba érkezve egy szakmai konferencián hallotta a világhírű fizikus, Ernest Rutherford szavait: „Aki az atomenergia ipari méretű felszabadításáról beszél, az holdkóros”. Szilárd persze azonnal a téma tanulmányozásába fogott és a legenda szerint 1934-ben séta közben, egy közlekedési lámpa előtt megállva ötlött fel benne a láncreakció gondolata: ha találna egy elemet, amely a neutron hatására szétesik, és egy neutront felhasználva kettőt bocsát ki, akkor ezen elemből elég sokat felhalmozva, láncszerű magreakciót lehetne előidézni. Be is nyújtotta szabadalmát, de titokban tartotta, s jelentősége miatt az admiralitásra ruházta.
Más téren is korát megelőző gondolkodó volt, ő vetette fel az elektronmikroszkóp, a lineáris gyorsító és a ciklotron ötletét, elképzeléseit azonban nem publikálta, így a dicsőség másoké lett.
1938 szeptemberében, a müncheni egyezmény idején egy előadáson vett részt az Egyesült Államokban és ott is maradt. Pár hónappal később értesült arról, hogy német tudósoknak sikerült az uránt neutronokkal bombázva végrehajtaniuk az első atomrombolást, azaz az általa megjósolt láncreakció valósággá vált.