1934-ben került be a magyar válogatottba, s Varsóban a csapat tagjaként 23 évesen Európa-bajnok lett – egyéniben pedig Gerevich Aladár mögött ezüstérmet szerzett –, s ezt a címet megvédték egy évvel később is. Aztán egy újabb év elteltével már a berlini olimpia fináléjában vívott az olasz csapat ellen. Neki jutott a döntő asszó, amit egy korabeli tudósítás így idéz fel: „Rajczy az olasz Masciotta ellen feltartóztathatatlanul szerezte a kilencedik magyar győzelmet, hogy vele a magyar kardvívás újabb olimpiai sikerét érje el. Rajczy arcán lángol az öröm, mikor sisakját lekapja. Masciotta pillanatra habozik, de a bíróság elnökének intésére ellenfele, legyőzője keze után nyúl. A nézőtéren pedig elemi erővel harsog a huj, huj, hajrá, tombol az ünneplés.”
1937-ben aztán Párizsban a világbajnoki döntőben verték meg az olaszokat, ebben az esztendőben Rajczy Imre vezette a világranglistát, s ő nyerte a hazai bajnokságot is. Nem akármilyen utat járt be a vívócsarnokon kívül sem: államtudományi doktorátust szerzett, majd művészeti titkárként és szabadalmi ügyvivőként dolgozott, később a Magyar Olimpiai Bizottságban titkárként működött. Az 1935-ös budapesti főiskolai világbajnokság főrendezője volt, ahol mind a kard egyéni, mind a csapatverseny eredményhirdetésekor a dobogó legfelső fokára állhatott.
A világháború után a hatalom rossz szemmel nézte, hogy minisztériumi köztisztviselő volt a Horthy-érában. 1945-ben feleségével és két gyermekével elhagyta Magyarországot és Argentínában telepedett le. Buenos Airesben tíz éven át az argentin kardválogatott edzője volt, majd az 1951-es Pánamerikai Játékok rendezésében is tevékeny részt vállalt, 1955-től pedig az Argentin Olimpiai Bizottság titkáraként működött, így a hivatalos delegáció tagjaként jelen lehetett a melbourne-i olimpián is. Az 1961-es Buenos Aires-i vívó világbajnokságnak ő volt a főszervezője.
Később foglalkozott motorkerékpár- és kisautógyártással, cégét magyar társakkal alapította, ahogy a Buenos Aires-i Centro Hungaro nevű magyar központot is, emellett elnöke volt a Hungaria klub vívó szakosztályának. Itt, külhonban halt meg 1978. március 31-én.
Idén szülővárosában, Szombathelyen – ahol sportiskola is viseli a nevét – a legendás kardvívó születésének századik évfordulóján Rajczy-emlékévet tartanak.
