1925. február 10-én született Szvitek Ádám néven Tápiósápon (ma: Sülysáp) egy félig szlovák, félig magyar családban. A falu legszélső házában lakó szegény családban ő volt a legidősebb gyerek, és a szülei örökbe akarták adni, hogy otthon eggyel kevesebb éhes száj maradjon.
Ő azonban tiltakozott, inkább elment szolgálni és lett kanász, tehenészbojtár, mindenes legény, majd 12-13 évesen summás (mezőgazdasági idénymunkás). Négy évig szíjgyártóinas, egy évig segéd volt Budapesten, bár inkább fűszeres, pék vagy hentes szeretett volna lenni.
A színészet eszébe sem jutott, de 1945 után egy újságban olvasta azt a felhívást, amelyben a Színművészeti Főiskola keresett tehetséges munkás- és parasztfiatalokat. A „csábításnak” nem tudott ellenállni, de a felvételiről már lekésett, és az intézményben a titkár azt közölte vele, egy év múlva jöhet csak vissza.
Szirtes az asztalra csapott: hol lesz már ő egy év múlva, miért hirdetnek az újságban, miért csapják be az embert? A zajra bejött Hont Ferenc, az igazgató, és végül felvették a reklamáló fiatalembert, aki a híres Horváth Árpád népi kollégium − az új színésznemzedék gyülekezőhelyének − első lakója lett.
Óriási gyötrelmek árán tanulta a szakmát, erős volt benne a kisebbségi érzés, sokszor eltöprengett azon, vajon jól választott-e.
A fizikai munka annyira hiányzott neki, hogy néha hazaszökött falujába dolgozni.
1950-ben szerzett diplomát a főiskolán, és előbb a Honvéd Színház, majd 1952-ben a miskolci színház tagja lett.
1957-ben szerződtette a budapesti Nemzeti Színház, amelynek 1973-ig volt tagja, ezután a győri Kisfaludy Színház, majd 1976-tól 1985-ös nyugdíjba vonulásáig a Thália Színház művésze volt.
Játszhatta Zubolyt a Szentivánéji álomban, Balgát a Csongor és Tündében, volt Tiborc és Petúr a Bánk bánban, sőt Dózsa is, de csak sokára vált színpadi színésszé.
„Tíz-tizenöt évnek kellett eltelnie, míg a színházzal barátságba kerültem” − vallotta meg egy nyilatkozatában.A filmmel sokkal nagyobb szerencséje volt. Már debütálásával a figyelem fókuszába került: 23 évesen, főiskolásként játszotta el a Talpalatnyi földben Piros Góz Jóska szerepét és hódított meg minden magaslatot.