Zástavba v těchto místech existovala již v pozdním středověku, ale zanikla v 18. století s výstavbou královéhradecké pevnosti, aby neměl případný nepřítel oporu při jejím obléhání, což je vidět jak v I. vojenském mapování z let 1764-1768, resp. v jeho rektifikaci z let 1780-1783 (viz
https://chartae-antiquae.cz/cs/maps/12899/?view=-78.57878352235599,14.189541306171204,7), tak v indikační skice stabilního katastru z roku 1840 (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=skicic&idrastru=HRA201018400). Budovat se totiž v této lokalitě začalo až po zrušení pevnosti a osvobození města od "pout hradebních". Tento objekt byl totiž dostavěn a zkolaudován až v roce 1900 na původním pevnostním pozemku, který byl obcí prodán roku 1899 pražskému architektu Kollmanovi. Podle obecní kroniky byl vybudován pro Františku Kollmanovou, jež vedle toho vlastnila nemovitost čp. 366. Následujícího roku však byl již jeho majitelem Jan Skála (v historických záznamech se objevuje rovněž jako Skala) z Hradce Králové čp. 146, který nabízel byt k pronajmutí v čp. 321, který obsahoval kuchyň, 4 pokoje, předsíň, 2 záchody, spíži, koupelnu, sklep a půdu, přičemž nájemné mělo činit 28 zlatých měsíčně. O rok později nabízel další, ale to již z nájemného slevil 3 zlaté.
Z toho vidíme, že byl objekt vystavěn zejména k činžovnímu bydlení a pouze v přízemí se nacházely obchodní prostory, z nichž nutno zmínit nově vybudované dílny pro sochařsko-kamenický závod Zdenko Ježka, který se v témže čase snažil o to, aby přesvědčil ostatní členy Živnostensko-čtenářské jednoty i vedení města, aby byl pro živnostenské domy získán blok při silnici k nádraží (dnešní Gočárova třída), a to z toho důvodu, že živnostníci musí mít výklady a dílny na místě živém, aby se jim dařilo. V roce 1903 náležel objekt Karlu Skálovi. I tento dům je zmíněn v knize „Hrst vzpomínek na starý Hradec Králové“ od Jiřího Vladimíra Tolmana, který v ní napsal o objektu toto: „Dům čp. 321 stavěl bývalý obchodník Skála, zdědila ho dcera, vdova po náměstku starosty pí Russová-Jeřábková, od níž jej koupil advokát Dr. Miloš Kafka.“
30. června 1908 městská rada postoupila živnostenskému odboru žádost Josefa Hladíka o povolení ke zřízení kantiny v domě čp. 321. Živnostenský odbor ji následně kladně vyřídil. V témže roce v objektu působila c. k. místodržitelstvím koncesovaná informační kancelář Pavla Bayera, která podávala zprávy o úvěrových poměrech firem a živnostníků, dále pak zprávy všeho druhu o poměrech soukromých, o půjčkách na nemovitosti i na osobní úvěr, zprávy o dobývání pohledávek i ohledně vyrovnání s věřiteli. 29. listopadu 1909 bylo firmě J. F. Langhans, c. k. dvorní dodavatel, městskou radou uděleno povolení k umístění výkladní skříně na domě čp. 321 za nájemné 76 haléřů. O 2 roky později v domě žili: služka Anna Altmanová, vdova po obchodníkovi Alžběta Babická, již zmíněný majitel informační kanceláře Pavel Bayer, pokladník a ředitel Záložny Jan Císař, sesazovač pian Otto Hurdálek, vdova po řídícím učiteli Františka Hurdálková, stavbyvedoucí Antonín Chudomel, úředník Záložního úvěrního ústavu Antonín Jelínek, vdova po obchodníkovi Růžena Jeřábková, vdova Marie Matějková, strojní sazeč Josef Mazura, společnice Marie Mušková, strojní inženýr Pražské akciové strojírny Rudolf Neumann, praktikant Záložního úvěrního ústavu Alois Němec, vdova po učiteli Emilie Němcová a její dcera Marie, studující obchodní školy, student obchodní akademie Zdeněk Němeček, služka Anna Nováková, vdova po soudním sluhovi Marie Nývltová, úředník Záložního úvěrního ústavu Ladislav Ponec, strojní inženýr Pražské akciové strojírny Moric Porkert, vdova po sochaři a majitelka sochařského závodu Albertina Samková se svými syny Bohumilem a Jaroslavem, sochařskými pomocníky, odborný dílovedoucí c. k. zámečnické školy Otto Seitz, soukromník a tehdejší vlastník čp. 321 Jan Skála, c. k. poštovní podúředník Vojtěch Škrábal a soukromnice Emilie Vincíková.
V roce 1928 se sem z Velkého náměstí přestěhoval se svou kanceláří právní zástupce, městský zastupitel za národní demokracii a výrazná postava Spolku majitelů domů pro Hradec Králové JUDr. Miloš Kafka, který v domě mj. poskytoval bezplatné informace členům Ligy čs. motoristů. Roku 1931 byl zmíněn jako spolumajitel tohoto domu (spolu s manželkou Antonií), jenž ho získal koupí od již výše zmíněné Růženy Russové, vdovy po náměstkovi starosty Juliu Russovi, která zemřela 5. března 1940. Kromě jeho advokátní kanceláře se zde nacházela galanterie F. Abelesové a jako nájemníci zde žili: úřednice Růžena Červinková, automechanik František Langr a krejčí Jar. Rezl. V roce 1932 obdržel JUDr. Miloš Kafka povolení ke zřízení nové střešní krytiny. Ta byla zřízena ještě téhož roku. V téže době byla na objektu umístěna jedna z šesti poštovních schránek, jež byly rozmístěny na území města. Další byly na poštovním úřadě, u Grandhotelu, na domě České banky, na domě čp. 357 v Čelakovského ulici (Kieslichův obchod) a na domě čp. 469 (Skuherského závody). Ve 30. letech 20. století v objektu působil odborný kamnářský závod Josefa Jelena, jehož reklamní tabule byla povolena roku 1935, a před ním umělecko-průmyslový závod pro práce z kovů Otto Seitze, ale bývala tu rovněž trafika a později různé kosmetické salony a kadeřnictví, zejména je třeba zmínit kosmetický salon ASTRID, který v roce 1974 prošel adaptací a 1. srpna 1984 rozšířil svoji otevírací dobu od 6.00 hod. do 21.00 hod. a nabídl větší rozsah nabízených služeb, přičemž sobotní provoz musel být dopředu objednán. Od roku 2009 se v domě nachází provozovna TOPSTYL CZ s. r. o. a od roku 2014 Parfumerie Elysées Paris s. r. o. V současnosti náleží tento bytový dům Renatě Still.