Eredetileg a jezsuiták székházának épült, a város főterén, a Bányászok tere északi oldalán áll. A rozsnyói püspökséget 1776-ban alapította Mária Terézia. Többszöri átalakítás után az épület a végleges formáját 1776-1778-ban, az egykori jezsuita kolostor és a mellette fekvő lakóház összekötésével nyerte el, akkor kapta az egységes klasszicista homlokzatát. A 19-20. században további átalakításokat eszközöltek rajta, többek közt kibővítették a díszes kapualjjal, az északi és a nyugati részt új épületelemekkel egészítették ki. Az udvarban belül kert található. A püspöki kápolnában és az épület lakórészében 19. századi berendezés található, valamint festmények a 17-19. századból.