A Savoyai-kastély környezetében lévő telket Sacelláry György 1879-ben vásárolta meg. A neves bankár a század elején telepedett le Pesten, és elsősorban ingatlanbefektetésekkel foglalkozott. Így kapott hírt a szép promontori birtokról, amelyet házasulandó lányának szánt.
Irén 1885-ben hozzáment a nála valamivel fiatalabb Törley Józsefhez – a közeli pezsgőgyár tulajdonosához –, akivel 1898-ban egy kétszintes, kívülről historikus stílusú kastélyt emeltetett. (Arról, hogy a kastély ekkor már állt, egy korabeli képeslap tanúskodik.) Az épület tervezője ismeretlen, bár a külső falakat feltehetően más tervezte, mint a később kialakított szecessziós stílusú belső teret. Irén éveken át szépítgette leendő otthonát, férjével pedig a Törley-kastélyban lakott. Időközben a pezsgőgyáros a Sacelláry-telek mellett hatalmas birtokot vásárolt leendő gyára számára.
A főbejáratot a Törley-birtok irányában alakították ki, majd áthelyezték az utcafrontra. Innen egy folyosó vezetett a nagyterembe, ahol ma a család faragott címere – a pajzson szereplő hattyúval – látható. A napjainkban is központi funkciójú helyiséget Róth Miksa üvegablakai díszítik. Az anyagukban színezett ólmozott és savmaratott üvegek a Tiffany által kikísérletezett opalizáló üveg első hazai példái. Az üvegablakokat vadgesztenye, gesztenyelevél díszíti. A nagyteremből nyílt a könyvtárszoba, az ebédlő, a szalon, a biliárdterem és a télikert is. A hálószobák az emeleten voltak, ide gyönyörű, faragott tölgyfalépcső vezetett. A belső tér szecessziós jellegét a szobák mennyezetén, illetve falain látható stukkók erősítik.
A kastély körül a tulajdonosok kéthektáros angolparkot alakítottak ki, amelyet Sacelláry Irén gesztenyefákkal és egyéb díszfákkal ültetett be, a parkot pedig egy hatalmas kőkerítéssel óvta.
Törley József 1907-ben hirtelen meghalt, a két család között pedig súlyos nézeteltérés támadt. A birtokok közé egy kőkerítést emeltek. Sacelláry Irén 1923-as halála után a birtok két testvére kezébe került át. A legenda szerint a Sacelláryak elkártyázták nővérük vagyonát, a szerencsés nyertes pedig a postának adta el a kastélyt. Az új tulajdonos a két világháború között szanatóriumot rendezett be az épületben. A kastély a világégéseket különösebb károk nélkül vészelte át. Érdekes, hogy az elmúlt száz év alatt a Róth-féle üvegablakok is épségben maradtak. A negyvenes években a Tétényi úti kórház tüdőgondozó intézete rendezkedett itt be.
1987-ben a Magyar Hitelbank Rt. megvásárolta a birtokot, a kastélyt pedig az eredeti tervek szerint újíttatta fel.
A tulajdonos Közép-európai Egyetem kulturális és egyéb rendezvényeket tart ma az épületben, s jól kihasználják az kastélypark adottságait is.
Vitályos Eszter idén a sportban is megmutatta tehetségét
