Szent István király a Pécsi Egyházmegyét 1009-ben alapította. Az akkortájt épült székesegyház és püspöki palota 1064-ben tűz áldozata lett. A XII. században másodszorra is megépítették mindkét épületet. A püspöki palota nem a mai helyén, hanem a székesegyház mögött helyezkedett el, és később Koppenbachi Vilmos püspök (1361–1374) engedélyével Magyarország első egyetemének is otthont adott. A XIV. században épült meg a jelenlegi palotaépület, amelyen Scitovszky János püspök (1838–1849) idején nagyobb átalakítást hajtottak végre.
A nagykapun belépve már a „sötét folyosón”, a volt kocsiszínben is impozáns szobrok várják a látogatókat. Az egyik II. János Pál pápának állít emléket. A szentatya 1991-ben tett pécsi látogatásakor a székesegyháznak a basilica minor kitüntető címet adományozta. A palota legmonumentálisabb alkotása Zala György munkája, amely Szűz Máriát és Mária Magdolnát ábrázolja. A szoborcsoportot egy tömb carrarai márványból faragta ki 1884-ben. Szemben vele kapott helyet a székesegyház két védőszentje: Szent Péter és Szent Pál is. Az épületben különböző korszakokból származó festmények láthatók, valamint a XVII. században Brüsszelben készült hatrészes falikárpit-sorozat, amely Mózes életét eleveníti fel.
A palota a mindenkori püspökök lakhelyeként szolgál, az évszázadok során a kinézete kívül és belül is változott. Az L alakban elhelyezkedő épület két szárnyból áll: a székesegyház felé néző oldala turisták számára is látogatható. A másik szárnyban a 85. pécsi püspök, Felföldi László lakrésze is helyt kapott. A palotakiállítás alapját a hajdani püspöki bútorokkal berendezett enteriőrök adják. Az első termét empire stílusú bútorokkal rendezték be. A falon képkeretben az egyházmegye numizmatikai gyűjteményéből kapunk ízelítőt. Az érméket Klimó György püspök kezdte el gyűjteni az 1700-as években. A másik szobában barokk és rokokó stílusú bútorokat helyeztek el, és egy gyönyörű rózsafából készült írószekrényt. A régen szalonnak használt helyiség érdekessége a háromszög alakú kártyaasztal. A palota kis erkélye a székesegyház felé nyílik. 1846-ban Liszt Ferenc Scitovszky János püspöki rezidenciájának vendége volt. Három napot töltött Pécsett, és a székesegyházban is koncertezett. A városi fiatalok a téren adtak szerenádot a művésznek, aki erről az erkélyről köszöntötte rajongóit. E látogatás emlékére készítette el Varga Imre a palota sarkán álló Liszt Ferenc-szobrot. A folyosón az arcképcsarnokot nagy méretű olajfestmények, püspöki portrék gazdagítják.
