1925. február 10-én született Szvitek Ádám néven Tápiósápon (ma: Sülysáp) egy félig szlovák, félig magyar családban. A falu legszélső házában lakó szegény családban ő volt a legidősebb gyerek, és a szülei örökbe akarták adni, hogy otthon eggyel kevesebb éhes száj maradjon.
Ő azonban tiltakozott, inkább elment szolgálni és lett kanász, tehenészbojtár, mindenes legény, majd 12-13 évesen summás (mezőgazdasági idénymunkás). Négy évig szíjgyártóinas, egy évig segéd volt Budapesten, bár inkább fűszeres, pék vagy hentes szeretett volna lenni.
A színészet eszébe sem jutott, de 1945 után egy újságban olvasta azt a felhívást, amelyben a Színművészeti Főiskola keresett tehetséges munkás- és parasztfiatalokat. A „csábításnak” nem tudott ellenállni, de a felvételiről már lekésett, és az intézményben a titkár azt közölte vele, egy év múlva jöhet csak vissza.
Szirtes az asztalra csapott: hol lesz már ő egy év múlva, miért hirdetnek az újságban, miért csapják be az embert? A zajra bejött Hont Ferenc, az igazgató, és végül felvették a reklamáló fiatalembert, aki a híres Horváth Árpád népi kollégium − az új színésznemzedék gyülekezőhelyének − első lakója lett.
Óriási gyötrelmek árán tanulta a szakmát, erős volt benne a kisebbségi érzés, sokszor eltöprengett azon, vajon jól választott-e.
A fizikai munka annyira hiányzott neki, hogy néha hazaszökött falujába dolgozni.
1950-ben szerzett diplomát a főiskolán, és előbb a Honvéd Színház, majd 1952-ben a miskolci színház tagja lett.
1957-ben szerződtette a budapesti Nemzeti Színház, amelynek 1973-ig volt tagja, ezután a győri Kisfaludy Színház, majd 1976-tól 1985-ös nyugdíjba vonulásáig a Thália Színház művésze volt.
Játszhatta Zubolyt a Szentivánéji álomban, Balgát a Csongor és Tündében, volt Tiborc és Petúr a Bánk bánban, sőt Dózsa is, de csak sokára vált színpadi színésszé.
„Tíz-tizenöt évnek kellett eltelnie, míg a színházzal barátságba kerültem” − vallotta meg egy nyilatkozatában.A filmmel sokkal nagyobb szerencséje volt. Már debütálásával a figyelem fókuszába került: 23 évesen, főiskolásként játszotta el a Talpalatnyi földben Piros Góz Jóska szerepét és hódított meg minden magaslatot.
A teljes hitelesség jellemezte alakítását, amely belülről, az emlékezetből jött: saját életéből, szülei és faluja életéből.
A Szabó Pál regénye alapján készült film után „beskatulyázták”, paraszt- és munkásfigurák sokaságát kellett eljátszania. Szirtes ekkor döbbent rá, mennyire nem ismeri még a szakmát, és a görcs csak lassan oldódott.
A Simon Menyhért születésében és utána a Körhinta parasztlegényében, a Katonazene tisztiszolgájában, a Hideg napok balga tizedesében aztán megmutatta, hogy első színészi csodája nem a véletlen műve volt.
Száznál is több filmben játszott, ezek több mint felében főszerepet, számos tévéjátékban bukkant föl alakja. Ízes beszédmódja, megjelenése szinte predesztinálta arra, hogy a legtöbb paraszt- vagy munkástémájú filmben ő legyen a főhős.Kislányát zavarta is, hogy apja állandóan rongyokban szerepel, ezért Szirtes 1965-ben, amikor a Háry Jánost forgatták, huszáregyenruhában, csákóval a fején, karddal az oldalán felszállt a buszra, és hazament megmutatni magát a tízéves gyereknek.
Ranódy László tv-játékfilmje, a Kosztolányi műve alapján forgatott Fürdés a példa arra, hogy nemcsak megszokott szerepkörében volt képes nagyszerűt nyújtani, itt egy kishivatalnok rémisztő alakját formálta meg.
Nem ő tehetett róla, hogy ilyen szerepet kevés rendezőnek volt bátorsága ráosztani. Éppen Ranódy írta róla: „...művész csak az lehet, aki jó és tiszta ember és aki hivatásból végzi a munkáját. Én őt ilyen embernek ismertem meg...”
Szirtes Ádám a színpadtól utolsó éveiben fokozatosan visszavonult, de szinte haláláig forgatott, és amikor ráért, szigligeti szőlőskertjét gondozta. A Tiszta Amerika, a Tüske a köröm alatt és A legényanya című szatíra voltak utolsó filmjei. 64 éves volt, amikor 1989. július 27-én meghalt.Már 1955-ben megkapta a Jászai Mari-díjat, majd az érdemes és kiváló művész cím birtokosa lett, a Kossuth-díjat azonban elég későn, csak halála előtt egy évvel kapta meg.
Szintén színészi pályára lépett lánya, Szirtes Ági édesapja írásaiból könyvet adott közre Szirtes Ádám: Életünk − életem címmel, amelyben a színész egyéniségének tiszta embersége tükröződik.
2013-ban emléktáblát avattak tiszteletére egykori lakhelyén, Budapesten, a II. kerületi Árpád fejedelem útja 20. szám alatt.
