Jau XVI a. šioje vietoje stovėjo pastatų ansamblis. Čia veikė LDK kanceliarija, rezidavo kelios kanclerių ir Vilniaus vaivadų Radvilų kartos – Mikalojus Radvila, jo sūnus Mikalojus Radvila, vaikaitis Mikalojus Radvila Juodasis, Mikalojus Radvila Rudasis ir jo sūnus Kristupas Radvila Perkūnas. Vėliau ši valda perėjo Žemaitijos vyskupijai. XVIII a. inventoriuje minima, kad šioje valdoje stovėję keli mūriniai ir mediniai namai, kai kurie dviaukščiai, visi gana prastos būklės. Juose gyvenę amatininkai ir miestiečiai. XVIII a. viduryje vietoje šių statinių Žemaičių vyskupas Antanas Tiškevičius pastatė vieną didelį pastatą. XVIII a. pabaigoje rūmai priklausė Lopacinskiams, vėliau – Oginskiams. Šie 1797 m. pastatą pardavė valdžiai, čia įsikūrė iždas, kalėjimas, teismas ir kitos valstybės įstaigos. XIX a. 8 dešimtmetyje pagal architekto Ivano Levickio projektą atlikta kapitalinė pastato rekonstrukcija: pristatytas naujas korpusas, užstatytas trečias aukštas, pagrindinis fasadas nukreiptas į Katedros aikštę. Čia įsikūrė įvairios valdžios įstaigos, dalyje patalpų gyveno šių įstaigų darbuotojai. Pastato paskirtis iki šių dienų išliko nepakitusi. Sovietmečių čia veikė LSSR vidaus reikalų ministerija, nuo 1990 m. pastate įsikūrusi Lietuvos Respublikos vidaus reikalų ministerija.