„A Buzogánytornyot az én első tervemben nem állítottam helyre – emlékezett Gerő –, hanem csak a nyakáig vittem az egészet, a tetejét nem tettem rá. Amikor ezt beadtuk a kormánynak, akkor azt mondták, hogy hát »ez is egy vár, hogy nincs egy tornya meg minden? Hát a Halászbástya, az igen, mert ott van torony tényleg!«. Hát azért egy második Halászbástyát én nem akartam itt építeni, viszont a Buzogánytoronynak a fejét megrajzoltuk. […] A kápolna és a nagyterem helyreállítása is sok hadakozásba került. A kormány képviselői közölték, hogy ezt vagy le kell bontani, vagy lejjebb kell tenni legalább három méterrel, hogy ne zavarja azt a sétányt, ahol Rákosi körbe akar grasszálni. Mint ahogyan Horthy Miklós körbejárt… Ennek érdekében a nyugati udvart, amelyet már feltártak, visszatöltették, és vele együtt a kápolna egy részét is. De voltak nehézségek alacsonyabb szinten is. A gondosan összeszedett, nagyszámú ágyúgolyóbist például, amelyek az ágyúállások mellé kerültek volna, az építésvezető, aki fakereskedő volt, elvitette a hulladékgyűjtő vállalathoz, a MÉH-be, és kapott értük egy vándorzászlót.”