Ráday Pál Kayr Mátyás építésszel terveztette meg kastélyát. Kayr 1722-ben kezdte el a munkálatokat: első lépésként a területen álló késő reneszánsz udvarház elemeit építette be. (Az udvarház ma is jól látható a kastély keleti szárnyán.) Az építkezést fia, Ráday Gedeon folytatta. Mayerhofer András és fia tervei alapján készült el a déli emeleti teremsor, a borház, a képtár, az istálló és a díszkert.
A művelt, jó ízlésű család egy különleges, tizenötezer darabos barokk könyvtárat helyezett el az épületben, amelyet 1861 óta Budapesten őriznek. Rendkívül gazdag festmény-, érem-, bútor- és porcelángyűjteménye miatt méltán nevezték a kastélyt a magyar felvilágosodás vidéki szentélyének. A könyvtárterembe mitologikus és allegorikus képek, a díszterembe Ovidius ihlette, festett jelenetek kerültek. A királyi lakosztályba a ház ura az orvostudomány és a művészetek allegóriáit, Habsburg uralkodók medalionképeit helyeztette el. Felbecsülhetetlen károkat okozott az 1825-ös tűzvész, amelyben a kastély gyűjteményei – így például képtára – elpusztultak.
A Rádayak 1872-ig, azaz csaknem százötven évig éltek Pécelen. 1872-ben eladták a kastélyt a Kelecsényi családnak, amely mindössze két generáción át lakhatott a pompás épületben.
A birtokoscserével a hely szellemi, művelődéstörténeti jelentősége gyakorlatilag megszűnt.
Az államosítás után szükséglakásokat hoztak létre a gyönyörű barokk termekben, majd a MÁV kisegítő kórháza foglalta el a helyiségeket. A társaság – lehetőségeihez képest – szemmel tartotta a kastély értékeit, ezért feltáratta és restauráltatta a királyi lakosztály falképeit.
A teljes épületet érintő, tudományos igényű feltárások 1998-ban kezdődtek, miután a Műemlékek Állami Gondnoksága átvette a kastély gondozását. Az egészségügyi hasznosítás – az értékmentés ellenére – kissé átszabta a helyiségek enteriőrjét, ezért először ezeket a jellegzetes kórházi elemeket kellett eltüntetni. A falkutatások, a kertben végzett feltárások és levéltári munkák csak ezután kezdődhettek meg. Ismét előkerültek a falképek, a földszint barokk ajtónyílásai, a konyha beépített elemei, valamint a díszítőfestés is.
A millenniumi történeti berendezésgyűjtő akció barokk tárgyait a szakemberek a kastélyban helyezték el: háromteremnyi festmény és bútor került az épület üres helyiségeibe. A kastély a megújulás óta látogatható, tudományos előadás-sorozatot, hangversenyt és bált is rendeztek már benne.
Darazsak miatt lángolt két személyautó Pécsen
