Valamikor egy utca volt a Várnegyedben található Hess András tér, és a domonkos rendnek köszönhetően Szent Miklós nevét viselte. A törökök aztán a hódoltság idején Hüszrev pasa piacát rendezték itt be. Ezt követően „Zöldfának” keresztelték el a teret, egy terebélyes fa nyomán, amelyre a téren lévő Zöldkút is emlékeztet. A jezsuiták iskolái és kollégiuma nyomán Iskola térnek is hívták egy darabig, de néhány évtizedig Pázmány Péter nevét is viselte. Az első budai nyomdász, Hess András emlékét 1954 óta őrzi.
A Hess András tér 3. szám alatt valamikor jóval több lakóház volt, mint manapság. A Várnegyed impozáns épülete ugyanis a középkorban négy részből állt: a Hess András téri egykori épülethez a Fortuna utcában és a Táncsics utcában is csatlakozott egy-egy tömb.
Az örményesi pálosok a XIII. század elején kapták meg a házat az építtető Kont Miklós örököseitől: Kanizsai Miklóstól és Jánostól. Emléktábláját 1866-ban a Magyar Tudományos Akadémia régészeti bizottsága helyezte el: „Ez volt I. Lajos k. idejében Kont Miklós nádornak (a mai Pálffy gr. család ükapjának) egyik háza, kinek unokái László és Imre ezt 1400-ban a csatkai pálosoknak ajándékozták. A kapualjban még négy ajtófél a régi korszak épen megtartott maradványa. A M. T. A. R. B. 1866.”
A történelmi események kissé átszabdalták az épület valamikori látképét, amelyet az 1686-os ostrom után építettek újjá. A ház ma is népszerű „Vörös Sün” elnevezését (Zum roten Igl) először az 1696-ban megjelent budai telekkönyv-nyilvántartás – úgynevezett Zaiger – megkopott lapjain olvashatjuk. Hogy honnan kapta ezt a nevet, nem nehéz kitalálni, hiszen a kapu feletti dombmezőbe ágyazott vörös sün jelképezi ma is az épületet. Az akkori tulajdonos Stiegl András posztókészítő volt.
A Budapesti képeslapok című könyv megemlíti, hogy a XVIII. század végéig ez volt az egyetlen vendégfogadó a Várnegyedben. A híres Fortuna ugyanis csak 1784-ben épült meg. A városi bálokat, fogadásokat is itt rendezték. Vándorszínészek, bábjátékosok is itt tartották meg alkalmi bemutatóikat. „Egy drámai előadás első nyomai Budán az 1760-as évek kezdetén találhatók, amikor Thália vándor gyerekei tartottak ünnepségeket a Vörös Sünben” – írja egy 1882-ben megjelent kiadványban Schams Ferenc városmonográfus. Itt és a Fehér Kereszt Fogadóban voltak az első budai színielőadások.
Rendszeresen csak 1783-tól léptek fel a fogadóban. A Theater-Taschenbuch szerint a Mayer, Dichtelmayer, Landerer házaspár is itt lépett fel néhányszor. 1784-ben Schmallögger asszony társulata mutatkozott be német darabokkal, de játszottak magyar műveket is.
Az egyik legnagyobb sikert Bulla Ká-roly társulata aratta, amely 1785-ben lépett fel a Vörös Sünben. A Budapesti képeslapok előkereste Perczel budai rendőrigazgató december 26-án kelt rendeletét, amely írásban rögzítette a társulat fellépéseit, és azt is megszabta, hogy két őr vigyázza a rendet a „színház” előtt az előadások alatt. A színi társulatok azonban rövidesen áttelepültek a Várszínházba. Egy korabeli tanulmány szerint a Vörös Sün előadásai túl alacsony színvonalat jelentettek az úri közönség számára, ezért is szerencsés volt a Várszínház megnyitása.
A külső homlokzat ekkor még nem volt egyeséges: Nepauer Mátyás tulajdonos – egyben építőmester – vonta egybe a három házrészt. Klasszicista stílusú külsejét 1810-ben alakították ki.
Újabb változtatás csak 1889-ben történt: ekkor a két udvari függőfolyosót kicserélték újabb szerkezetekre. A kapualj gótikus ajtajait gyámköves szemöldökű ajtókkal pótolták. A legtöbb helyiség középkori barokk dongaboltozatos.
1944–45-ben az épület alig sérült meg: csak a tető és a vakolat szenvedett némi kárt. Érdekes módon a sérüléseknek némi haszna is volt, ugyanis a vakolat alatt középkori falmaradványok kerültek elő. Dragonits Tamás középkori állapotának megfelelően tervezte újjá a házat, úgy, hogy a nyílásszerkezetek és a homlokzatok egységére is ügyelt. A Hess András téri főhomlokzat copf és késő barokk jelleget kapott, a Táncsics Mihály utcában pedig meghagyták a záró alsarokkő maradványait. A három különböző épületre a Fortuna utcai párkánymagasságok szintkülönbségei emlékeztetnek.

Hatalmas robbanás rázta meg a települést, a helyiek azt hitték, kitört a háború