Zgradu su sagradili isusovci 1710. godine, a od 1731. služi za potrebe Kolegija te u njoj borave učenici i studenti. Nakon ukinuća isusovaca i pavlina zgrada je od 1788. do 1830. služila kao vojno skladište, bolnica, vojničko konačište za vrijeme austrijsko-francuskih ratova te konačno trgovačko skladište. Ponovno ju je otkupio zagrebački biskup Aleksandar Alagović 1832. godine te u nju smješta Orfanotrofij (Sirotište).
Godine 1904. dograđen je treći kat, a po nacrtima zagrebačkog arhitekta Janka Holjca zgrada je dobila sadašnje glavno pročelje te postala najveća i najviša zgrada u Požegi.
Isusovačka rezidencija, zvana Kolegij 1946. godine je nacionalizirana i u nju se smješta Đački dom i neke druge ustanove (Financijska policija, Državni arhiv, ugostiteljski lokali).
Požeško-slavonska županija i grad Požega darovnicom su vratili zgradu Kolegije Zagrebačkoj nadbiskupiji 1995. godine, koja tada započinje s obnovom zgrade. Dvije godine kasnije osnovana je Požeška biskupija, a zgrada nekadašnje Kolegije, postaje njezinim sjedištem.
Od 1997. do 2001. godine po nacrtima zagrebačke arhitektice Ane Nade Krpelnik zapuštena i devastirana zgrada temeljito je obnovljena i prilagođena za nove svrhe.