Neapolis felfutása miatt a kikötő csendes kisvárossá vált, a nagyvárosi pezsgés ide már nem ért el, ezért is lett közkedvelt pihenőövezet a rómaiak alatt, a környéket vízvezeték, fürdők és számos pompás villa tarkította. Noha a Vezúv legismertebb, 79. augusztus 24-i pusztító kitörése - többek között Pompeji és Herculaneum mellett Nápoly térségét sem kímélte, a terület a késő antikvitásban és a középkorban is lakott maradt. Állítólag Szent Péter és Szent Pál is megfordult és prédikált erre, nem mellesleg pedig Károly Róbert is innen érkezett a magyar trónra, de megfordultak előtte itt a normannok is.
Hozzájuk is köthető a kikötő felett magasodó erőd, amelynek nem akármilyen története van. A kis szigeten az első épületet, egy villát még a Kr. e. 1. században maga a hedonizmus egyik első számú nagykövete, a tivornyáiról és elképesztően pazar lakomáiról elhíresült Lucullus, a nem kevésbé hedonista dictator, Sulla egyik hadvezére emelte. Innen jött a korai elnevezése, a Castellum Lucullanum is. Ezt később a pannóniai felmenőkkel is bíró III. Valentinianus (425–455) erődítette meg, ahová a nyugat-római birodalom bukását követően az utolsó császár, Romulus Augustus is visszavonult, miután 476-ban a germán származású Odoaker letaszította a trónról. A noricumi szerzetes, késő antik történetíró, Eugippius 492-ben kolostort alapít, amit a helyiek attól való félelmükben bontottak le a 9. században, hogy nehogy a szaracén kalózok vigyék el a köveket építőanyag gyanánt. Az első erődöt építik aztán itt a 12. században a normannok, később az Anjouk és Károly Róbert (1301/1308–1342) idejében a nápolyi királyi udvartartás és kincstár székhelye lett. 1387-ben még innen próbálták megszerezni a jogot a magyar koronára Luxemburgi Zsigmond (1387–1437) ellenében, de mint tudjuk, ez nem járt sikerrel. A vár mai formáját az aragón fennhatóság alatt, a 15. században nyerte el.
