Jak již název ulice napovídá, dům se nachází na místě, kde se dříve nacházely prostory královéhradeckého hradu, který byl zničen za husitských válek (1424) a následně byla tato lokaliza pokryta městskou zástavbou. Sám původní dům čp. 91 vyhořel v roce 1762 při velkém požáru města, který způsobili pruští kozáci. O 3 roky později koupilo jeho spáleniště představenstvo kněžského semináře za 500 zlatých. Na něm vybudoval královéhradecký stavitel František Kermer nové prostory pro kněžský seminář, přičemž náklady na stavbu činily 2 000 zlatých.
Tehdy to byla jednopatrová budova, v níž bydlel rektor. V letech 1789-1790 byl objekt znovu přestavován a rozšiřován podle návrhu Antonína Kermera, syna výše zmíněného stavitele. Přístavbou proti kostelu sv. Jana Nepomuckého se tak areál kněžského semináře uzavřel. Navíc byla nad fortnou z venkovní strany osazena pískovcová socha sv. Jana Nepomuckého z roku 1766, která předtím stávala na náměstíčku před kostelem kněžského semináře.
S rozšířením počtu studentů přestaly dostačovat dosavadní budovy semináře, a tak došlo v roce 1805 k zakoupení sousední budovy čp. 92, jejíž původní čp. bylo 180. Po úpravě sem byla přestěhována seminární knihovna a z chodby v 1. patře vznikla společná ložnice seminaristů.
Při požáru 24. srpna 1814 shořely kněžskému semináři střechy. Zároveň byl zničen nábytek a knihy, v seminárním kostele podlehly zkáze varhany a oltář. Rekonstrukce objektu probíhala až do roku 1820, takže seminaristé museli být ubytováni jinde.
O něco později bylo požádáno c. k. fortifikační ředitelství, aby povolilo ohradit svah pod purkrabským domem a kostelem zdí a plotem. Povolení bylo vydáno a vznikla zde tak zahrada, která byla přístupná veřejnosti vždy jednou v roce, a to na svátek sv. Jana Nepomuckého, kdy se zde konal jarmark.
Při dalším rozšiřování kněžského semináře v roce 1839 bylo rozhodnuto odkoupit čp. 93 a 94. Tímto krokem byly získány další prostory pro svou činnost. Roku 1858 měl tak kněžský seminář v jednopatrových budovách celkem 38 obytných místností a 9 komor.
Poklidný život semináře narušil 23. října 1863 požár, který vypukl v půdních prostorách budovy. Za oběť mu padly všechny střechy předních domů semináře. Necelé 3 roky po požáru byl seminář opět postižen. Tentokrát ostřelováním města pruskými dělostřelci během prusko-rakouské války v roce 1866. Do seminárního areálu dopadly celkem 3 dělostřelecké granáty, jeden z nich na kostel sv. Jana Nepomuckého. Místa zásahů byla následně označena replikami dělostřeleckých granátů. K opravě poškození po dělostřelecké střelbě došlo až roku 1888, kdy byl kostel opět vysvěcen.
Výše zmíněná slova potvrzuje rovněž následující citace z knihy "Hrst vzpomínek na starý Hradec Králové" od Jiřího Vladimíra Tolmana: "Dům čp. 91-94 tvoří diecesní seminář, patří českému náboženskému fondu včetně kostela sv. Jana Nepomuckého, postaveného roku 1714. V původním slovanském hradě na opevněném návrší nebo na východní jeho části, kde nyní stojí město Hradec Králové, byl na severovýchodní straně vystavěn hrad asi za Boleslava II., když bývalé knížectví Chorvatské s Hradcem přivtěleno k říši české, jež rozdělena na kraje, z nichž Hradecko bylo jedním z největších. Na hradě, který byl jen dřevěný, bydleli krajští úředníci. Teprve když se stal Hradec věnným městem královen vdov, první z nich Eliška, vdova po Václavu II. a Rudolfovi dala vystavět počátkem XIII. století kostel sv. Ducha z cihel a dílem z kamene a nový hrad co své sídlo. Roku 1424 hrad Žižkou a Hradečany dobyt a zbořen. Před rokem 1570 v místech, kde stával královský hrad, počal se stavět dům pro krajského purkrabího, stavba dokončena roku 1586. Nazývala se pak "Novým hradem". Blízko téhož obec postavila solnici a špýchar. Když roku 1706 byl purkrabský soud zrušen, obdržel hrad darem biskup Tomáš Becker a založen zde roku 1709 seminář, vystavěn kostel sv. Jana Nepomuckého, v minulém století, kde stával královský hrad a kde se dosud říká "Na hradě", postaven městský dům, nyní dívčí gymnasium a okresní úřady. Seminář vyhořel asi roku 1764, při obrovském větru rozbito přes sedmdesát okenních tabulí. Přednášky zde řídili v semináři: Frodl, Suchánek, Pour, Dr. Soukup, Dr. A. Frýdek, Ed. Brynych, Dr. Domabyl, křižovník Dr. Pecháček, Dr. Stárek, Dr. Hejčl, Dr. Cibulka, Dr. Šulc, Dr. Ferd, Beneš, Ruth, Zima, Dr. Brychta, Dr. Kryštůfek, později rektor university, Horák, Smolík, Dr. Reyl, Dr. Jindra, Dr. Novotný, Slabý a Dr. Konečný. Rektory zde bývali A. Zima, Frodl, Dr. Frýdek, Suchánek a Dr. Doskočil."
Biskupský katolický seminář byl vlastníkem čp. 91-94 až do komunistického převratu. Na základě vládního nařízení ze 14. července 1950 byl zrušen a do jeho prostor se nastěhovala knihovna Lékařské fakulty Univerzity Karlovy v Hradci Králové, která zde po několika dočasných přesunech získala trvalé sídlo. 14. ledna 1964 byl objekt navíc zapsán do státního seznamu kulturních památek (viz
https://pamatkovykatalog.cz/seminar-knezsky-purkrabsky-dum-a-kostel-sv-jana-nepomuckeho-2153185). K jeho opravě došlo koncem 80. let 20. století. Při celkové rekonstrukci budovy vznikl reprezentativní Sloupový sál, který se lékařská fakulta rozhodla využít k pořádání různých slavnostních a kulturních akcí, včetně pravidelných výstav výtvarného umění, a tak 2. října 2007 zde zahájila činnost Galerie Na Hradě.