Pest visszafoglalása (1686) után a magisztrátus az akkori Fő téri romházakból épített magának városházát. Mire ez ismételt át- és újjáépítések után toronnyal és szobrokkal az 1884-es renoválást követően valóban impozáns és reprezentatív lett, 1900-ban az Erzsébet híd építése miatt lebontották. Ezzel eltűnt a belvárosi Városháza és tere – Pest, később Budapest központja.
A ma „réginek” nevezett Városházát Széchényi György esztergomi érsek kezdeményezése nyomán a bécsi Udvari Katonai Tanács kezdte építtetni 1716-ban Fortunato de Prati tervei alapján, invalidusház és kórház céljára.
Helyén nagyrészt üres telek és a szervita rend által templomként használt dzsámi állott. Az építkezés 1719-ben félbeszakadt; 1727-ben Anton Erhard Martinelli folytatta, és 1738-ban nagyrészt be is fejezte.
Az eredetileg négyudvarosra tervezett, szabályos épületnek csupán a háromemeletes nyugati szárnya és a másfél emeletes formában kiépült középső, észak–déli keresztszárnya és déli traktusának csaknem teljes egésze készült el. A teljes négyzetes tömb elkészültének útját állta a városfal, amelyet a magisztrátus és a katonák sem engedtek lebontani.
(Az ismert Salomon Kleiner-féle metszet a tervezett és nem a megvalósult együttest mutatja.) Az irgalmas rend kápolnáját 1766-ban fejezték be. Főoltárát, orgonájának emelvényét és kórusát, továbbá a városfalon kívül a kórházi szárnyhoz csatlakozó új tébolydaépületet Franz Anton Hillebrandt építette fel.
II. József 1783–1784-ben a pesti invalidusokat Nagyszombatba költöztette, épületüket gránátoskaszárnyává alakíttatta át. A kápolnát emeletekre osztva kórházzá alakították át, az oldalszárnyakra újabb emeletet húztak. Az együttest 1883-ban Knotz Sándor renoválta.
A belterületi fővárosi katonai ingatlanokat civil kézbe adó, 1884. évi XX. törvénycikk nyomán az együttest a főváros kapta meg – városháza céljára, 5,6 millió forint örökváltságért.
Ez az „adtál, uram, esőt, de sarat is” tipikus esete volt; a fővárosnak égető szüksége lehetett irodahelyiségekre, de leharcolt, alkalmatlan épületre nem. 1899 és 1902 között az együttest restauráló Hegedűs Ármin tervei alapján az oldalszárnyak barokk másfél emeletét lebontották, és helyükbe vasbeton födémes három emeletet építettek.