Do těchto míst měl částečně zasahovat královský hrad, který byl v roce 1432 husity rozbořen a již nikdy nedošlo k jeho obnově. Větší část pak tvořila zástavba, o níž můžeme uvažovat, že se zde nacházela již v předgotickém období a nejspíše vypadala podobně jako další části zástavby směrem k hradbám, a to včetně zadních domů. Současná trojkřídlá dvoupatrová budova v barokních formách vznikla v letech 1787-1797 na místě několika domů s gotickou dispozicí se starým čp. 183-195, přičemž objekty čp. 185-190 byly pouhými zbořeništěmi, a to od posledního velkého požáru města. Od komplexu bývalého biskupského kněžského semináře je oddělena úzkou uličkou, která byla dříve zvána jako Křížovní nebo Nemocniční. Vznikla pro účely vojenské nemocnice, což potvrzuje i zmínka v knize "Hrst vzpomínek na starý Hradec Králové", v níž píše Jiří Vladimír Tolman následující: "Dům čp. 95 je vojenskou nemocnicí, nyní zrušenou, nejdelší dobu zde působil obrštába Hadwieger."
Vojenský erár koupil výše jmenované objekty v roce 1787 za celkovou částku 22 633 zlatých. Prvním domem za biskupským seminářem bylo staré čp. 183. V době prodeje patřil dům mečíři Josefu Fišerovi, který od eráru obdržel 2 245 zlatých. Následoval dům čp. 184 (podle prvního číslování v Hradci Králové), který byl v majetku punčocháře Josefa Kopřivy. Ten za něj získal 885 zlatých. Další dům čp. 185 patřil zámečníkovi Josefu Procházkovi, který za něj obdržel 1 645 zlatých. Následující dům čp. 186 byl v majetku Antonína Pelzhofera a byl oceněn na 1 963 zlatých. Dům čp. 187 patřil truhláři Matěji Charouzkovi, který za něj dostal 945 zlatých. Následující čp. 188 patřilo Magdaleně Zollmanové a dům byl oceněn na 1 075 zlatých. Za dům čp. 189 bylo vyplaceno majitelce Františce Göttingerové 1 170 zlatých. Dům čp. 190 patřil krupaři Františku Černikovskému a byl oceněn rovnou na 2 373 zlatých. Další dům čp. 191, patřící provazníkovi Adamu Čermákovi, byl ohodnocen na 955 zlatých. Následující objekt čp. 192, který patřil Stanislavu Novákovi, nebyl patrně v roce 1790 ještě vykoupen a zbourán. Majitelem domu čp. 193 byl Jan Kužel a za svůj majetek obdržel od eráru 1 350 zlatých. Za další dům čp. 194, který patřil mistru kominickému Františku Jelínkovi, dostal vlastník 2 025 zlatých. Za následující dům, patřící tkalci Františku Samuelovi, byla vyplacena nejvyšší částka ze všech domů, a to 3 867 zlatých. Poslední vykoupený dům měl čp. 195 a patřil vdově Veronice Hartlové, která za něj obdržela 2 165 zlatých.
V roce 1821 byla v zahradě vojenské nemocnice postavena na cihlové podezdívce pískovcová kostka s německým nápisem, která vznikla na památku zakladatele zahrady a velitele pevnosti generálmajora Johanna Sechtera von Hermannstein. Když byly o 100 let později zbořeny staré poškozené schody od Klicperova divadla do Žižkových sadů, bylo možno se dostat do této zahrady a toho využili nějací chuligáni, kteří kámen shodili dolů. Ten se rozbil na 2 kusy a byl následně uložen v depozitáři městského historického muzea. Sama vojenská nemocnice se stávala i středem zájmu, většinou v negativním slova smyslu, třeba roku 1902 se jednalo o zapáchající kanalizaci, což nám potvrzuje krátká zmínka v "Obnově", jež vyšla 15. května 1902: "Nedostatek stokových záklopek. Žižkovo náměstí jest málo vábným místem svým morovým zápachem, jenž vychází z otevřených stok. Dvě veliké stoky z trestnice a z vojenské nemocnice probíhají tímto náměstím a postrádají obvyklých uzavírek, proto vydávají nesnesitelný zápach. Kdo chce kol těchto otvorů projíti, musí tajiti dech. Stejnou vadou trpí odpadní stoka z obecních jatek. Stoka probíhá hříště studující mládeže, která místo osvěžení na zdravém vzduchu moří se v nezdravém zápachu. Což za ročních 1000 zl. nemůže městský lékař věnovati trochu pozornosti tomuto do nosu bijícímu nešvaru? Kdo pak se má o to starat?" Nejvíce byla nemocnice využívána ve válečných obdobích, tj. za prusko-rakouské války roku 1866 a za 1. světové války v letech 1914-1918, kdy zdejší osazenstvo tvořil primář MUDr. J. Meisner, lékař MUDr. F. Brabec, medici Jiří Březina a Alf. Winkler a množství ženských ošetřovatelek, jak řádových sester, tak některých místních dam. Tehdy byla vedena jako c. k. náhradní vojenská nemocnice.
Jako vojenská nemocnice objekt sloužil do roku 1924, i když o výstavbě nové vojenské nemocnice se uvažovalo již před rokem 1903, poté to byla kasárna a štábní budova (do roku 1998), nyní se jedná o sklady a výukové prostory Policie ČR. Za německé okupace sloužily velké lochy a sklepení pod kasárnami jako protiletecké kryty, naopak přímo pod nemocniční budovou žádné nebyly, z čehož vyplývá, že sklepení z původních objektů byla při výstavbě kompletně zničena. V roce 1951 došlo k výraznější přestavbě budovy. 14. ledna 1964 byl objekt zapsán do státního seznamu kulturních památek (viz
https://pamatkovykatalog.cz/nemocnice-vojenska-12580842).