Ludbreghez számos legenda kapcsolódik, ezek egyike a világ közepéről szóló. Történt ugyanis, hogy 1141. április elsején Varasdfürdőn (Varaždinske Toplice) megszületett Ludbrega, akiről Ludbreg a nevét is kapta. Honorius apát feljegyzése szerint olyan erővel kergette vissza a kezében lévő fakereszttel a sátánt a föld alá, hogy az a földgolyó túloldalán kibuggyant egy kicsiny vulkanikus sziget formájában. Ezután a svájci Erasmus Weddingen arra is rájött, hogy bizonyos fontosabb városok (mint Varasd, Csáktornya stb.) egyenlő távolságra helyezkednek el Ludbregtől, így kinevezték a várost a világ közepének és ezt minden évben április elsején meg is ünneplik.
Ludbreg a Batthyány család számára viszont valóban a világ közepévé vált, mivel itt építették fel a 360 fokos panorámaképünkön látható kastélyukat. A ma látható barokk kastélyt Batthyány Lajos hozta létre 1745 és 1753 között egy korábbi reneszánsz udvarház felhasználásával.
A kastély másik magyar vonatkozása az, hogy Faludi Ferenc híres jezsuita költő, műfordító édesapja, Faludi János Batthyány Ádám grófnak, majd az özvegyének, Strattman Eleónórának volt a tiszttartója Ludbregben.
A kastélyra visszatérve, a háromszintes, 32×33 méteres egyszerű homlokzat 11,5×16,5 méteres belső udvart rejt. A földszinten laktak a szolgák, itt volt a börtön és a kápolna is. Az első emeleten kapott helyett 11 főúri szoba és a díszterem is. A második emeleten vendégszobák voltak, míg a harmadikon újabb szobák és kiszolgáló létesítmények (konyha, raktár stb.) helyezkedtek el. A belső tereket értékes barokk freskók díszítik, különösen kiemelendők a kápolna és a Salla terrena festményei. Ma az épületben irodák találhatók, emiatt látogatásra csak hétköznap nyílik lehetőség.