A fennmaradt helytörténeti dokumentumok szerint a birtokot I. Lipót a komáromi vár tartozékaként adományozta Zichy Istvánnak 1659-ben. A kastély története azonban csak 1744-ben kezdődött, amikor az utód Zichy Miklós felesége, Berényi Erzsébet elhatározta, hogy egy csodálatos családi kastélyt építtet a régi uradalomban. Zichy Miklós 1746 májusában meg is kötötte a szerződést Jager János Henrik urasági építőmesterrel. Foganasították, hogy nyolcezeregyszáz forintért felépíti a kért kényelmes, és a grófi család minden igényét kielégítő kastélyt, úgy, hogy az eredeti családi építmény oldalszárnyait megtartja. A tervező Héder Henrik volt, de nem lehet figyelmen kívül hagyni Bebó Károly nevét sem. Bebó a kastély szobrait készítette, a budai festő Vogl Gergely pedig a gyönyörű freskókat. Baráti kapcsolat fűzte a művészetpártoló grófot az alkotókhoz, ennek köszönhetően munkát is teremtett nekik az udvaron belül. Bebó Károly például udvarmesterként a kastély állandó lakója volt. Az ő kézjegyét őrzik azok az emeleti kis puttók is.
Valóságos barokk élet zajlott a hátsó udvaron. A kertbe a grófi család nem csak narancsligetet telepített, de már ebben az időben a lövöldétől a biliárdig, a könyvtárteremtől a lovagteremig a kor legpazarabb szórakozási lehetőségei álltak rendelkezésükre.
De hogy is nézett ki ez a barokk-rokokó épület? A szerződésben is kiemelt két oldalszárny mellé új melléképületet kerültek. Az oldalhomlokzatot 14 ablak és íves kapu szabta fel. A Hajógyár utca felőli ma oromzatos részen volt az egykori kápolna. A kastélyban gazdagon faragott kőpilléres, ballusztrádkorlátos lépcsőházat alakítottak ki. Az elülső és a hátsó homlokzatra is középerkélyt nyitottak. A palota előtt és mögött két gyönyörű kastélykert jött létre, amelyekhez vasrácsos kapukon keresztül vezetett az út.
Kastélyként csupán húsz évig működött az építmény, Mária Terézia idején ugyanis a terület a kincstárhoz került. Az épület sorsát az örökösök perlekedései megpecsételték: Zichy Miklós testvére ugyanis magának kérte a birtokot. 1766-ban Berényi Erzsébet 159 ezer forintért és meghatározott életjáradékért átengedte az uradalmat a kastéllyal együtt a kincstárnak. Ekkor a kastély nem csak funkciót, de küllemet is váltott, némileg. A létesítményt egyébként a XIX. századig kétszer építették át: először még a XVIII. század végén, amikor az oldalszárnyakra emeletet húztak fel. Miután eladták az uradalmat beépítették az északi és nyugadi oldal nyitott részeit is. Ezt követően dohányraktárként működött az építmény.
Csak az 1970-es évek hozták el az állami tulajdonú kastély ideiglenes felvirágoztatását, amikor az épületkomplexumot eredeti mintája szerint újjáépítették. Ennek persze már harminc éve, és az újabb felújítás láthatóan esedékes. Ugyan a kilencvenes években egy kisebb műemléki rekonstrukció keretében a kastély kis sarkát rendbe hozták, de a munkálatok nem terjedtek ki a teljes épületre. Pedig a kastély minden bizonnyal a korszak egyik legkiemelkedőbb alkotása volt: egy régészeti ásatás folytán a helytörténeti múzeum munkatársai bemutatták azt a csodálatos régmúltat, amelyről ez az épület mesélni tud.
A helyreállítást követően több intézményt is otthonául fogadott a kastély: éppen huszonöt esztendeje működik itt a Kassák Múzeum, amely állandó kiállítása keretében nem csak az író művészi tevényekségét mutatja be, de rendszeresen tárlatokat is rendez. Az emeleten és a földszinten jól megférnek egymással a képzőművészeti és a civil tevékenységek: a Vasarely Múzeum alatt dolgoznak az állami népegészségügyi és tisztiszorvosi szolgálat munkatársai. Az önkormányzatnak is itt működik egy kis helytörténeti múzeuma, amelyben állandó kiállítással a hely régmúltját idézi fel. A sokáig vitatott Tér Színház is megtarthatta telephelyét, és a tervek szerint ide kerülne az Építészeti Múzeum is. A kastélyban van még a Magyar Gallup Intézet is. Ezen túl önkormányzati szervek, kft. és egy szobrászművész is ténykedik ma a barokk kastélyépületben.
Kilenc gyermek költözhet be ebbe a legújabb gyermekotthonba
