Az épület az úgynevezett Palotanegyedben található, ahol a Nemzeti Múzeum közvetlen közelében a hazai arisztokrácia egymás után emeltette a szebbnél szebb palotákat az 1860 és 1900 közötti időszakban. Ez a terület volt a társasági élet központja, itt, a Bródy Sándor utcában állt a régi Képviselőház épülete is, amely ma az Olasz Kultúrintézetnek ad otthont.
A Nemzeti Múzeum másik oldalán, a Múzeum utcában építtette fel Károlyi Istvánné, született Csekonics Margit a család palotáját. Férje országgyűlési képviselő volt, és az MTA tagjai közé is beválasztották. A kivitelezés 1881-ben kezdődött meg az osztrák Ferdinand Fellner és a porosz Hermann Helmer tervei nyomán. Az építészpáros elsősorban színházai révén vált ismertté, az ő munkájuk egyebek között a pesti Vígszínház épülete is.
A Károlyi–Csekonics-palota legszebb része a 360 fokos panorámaképünkön is látható hall, ahol ma is megcsodálhatjuk Thék Endre műiparos remekbe szabott falépcsőjét. A palota többi része sajnos sokat alakult az elmúlt század során, mivel az épületet funkciója többször is megváltozott.
Károlyi István 1907-es halála után özvegye a francia nagykövetséggel osztotta meg a palotát, majd az ő halála után eladták az épületet. Iparostestület, illetve szakszervezeti központ is működött a falak között, majd a második világháború után az Országos Műszaki Könyvtár köteteit helyezték itt el. A rendszerváltozás után 2006-ra fejeződött be a műemléki helyreállítás, melynek során visszabontották az 1955-ben, a könyvtárrá alakítás során készült födémeket. Jelenleg a Közigazgatási és Igazságügyi Hivatal rendezvényhelyszíneként hasznosítják a palotát.