Na místě tohoto barokního paláce s nástavbou a hlubokým dvorním klasicistním křídlem stály původně 2 gotické domy (v některých pramenech se udává ještě existence třetí nemovitosti), které byly později přestavěny. Nesly původní čp. 95 a 96 a jejich existence je prokazatelně doložena v roce 1697, kdy byl jeden z objektů v držení rodiny Wagnerovy.
Roku 1714 však již výše zmíněné domy nestály. Není známo z jakého důvodu, nejspíše podlehly požáru nebo jejich vlastník chtěl na jejich místě vystavět nový objekt, ale nakonec z toho sešlo. V roce 1731 koupil v dražbě tato místa krajský fyzik (lat. fysikus, lékař) a městský radní MUDr. Ferdinand Částka. Byla to pro něj velmi výhodná koupě, protože za ně zaplatil pouhých 650 zl. Následně na jednom z míst vybudoval dům. Později se však rozhodl k jeho přístavbě a následující přestavbě v jednopatrový barokní objekt.
Zajímavé je, že se tu svého času ubytovávaly různé výrazné osobnosti, snad z toho důvodu, že měly blízko na radniční dům i do jiných tehdejších úřadů. Tak např. v zimě 1755/1756 přebýval v domě kníže August Josef Antonín Lobkowicz se svojí manželkou Marií Josefou Ludmilou Czernin von und zu Chudenitz. Později tu bydlel generál Ferdinand Philipp Graf von Harsch, kterého v domě v roce 1766 navštívil císař Josef II. Ten se tu ubytoval i při své návštěvě 11. října 1771.
Na přelomu 18. a 19. století byl dům ve vlastnictví rodiny Grillovy. V letech 1806-1807 byla majitelkou objektu vdova Anna Grillová. O 2 roky později byl jeho vlastníkem Jiří Svoboda, od něhož ho zakoupil Alois Kemlink, jehož vlastnictví je zaznamenáno v letech 1826-1839. Zemřel v roce 1859. To již byl dům v majetku dědiců z rodu Isakoviczů, za nichž bylo roku 1855 přistavěno stavitelem Františkem Dobrkovským 2. patro s klasicistní fasádou. Majetkem Jiříka Isakovicze z Isakoviczů se dům stal v roce 1864. O 2 roky později patřil Aloisii z Isakoviczů-Kemlinkové, jež palác dostala věnem. Roku 1884 byl při kopání děr pro trámové lešení nalezen před domem 1 zlatý závitek, podobný malým závitkům zlatého drátu ze základů domu čp. 230, který se následně dostal do sbírek královéhradeckého historického muzea. V letech 1894-1911 byl uváděn jako vlastník domu Karel z Isakoviczů, který měl 2 dcery, a to Markétu, provdanou Bulvasovou, a PhDr. Marii z Isakoviczů, provdanou Weatherallovou. Markéta Bulvasová měla 2 dcery - MUDr. Jaroslavu Riegerovou Bulvasovou a Markétu Emrovou-Bulvasovou. Jim patřilo po jedné čtvrtině domu, polovinu vlastnila již zmíněná Marie Weatherallová, která žila v Anglii. Její děti se zase usadily v Kanadě a o polovinu domu se v roce 1996 podělily.
Ohledně vlastníků i dalších obyvatel domu je vyčerpávajícím zdrojem Jiří Vladimír Tolman ve svém díle „Hrst vzpomínek na starý Hradec Králové“ z roku 1928, v němž se píše toto: „Dům čp. 164 náležel rytmistru od husarů, šlechtici Isakovicsovi, týž byl pravoslavného vyznání a měl prvý v městě pohřeb v tomto ritu. Chotí jeho byla Kemlinková, z rodiny boháčů Kemlinků, jimž patřila velká řada zdejších domů. Synové byli Edvard, statkář v Pileticích, jeho choť Werterova, Karel, dvorní rada v. v., dosud žijící, choť Teinerová z Opočna, Konstantin zemřel na neštovice. V krámě obchodoval čepičkář Bukovský, kožař Stein, otec majitele parní pily, krupař Volf, jenž se později přestěhoval do jím koupeného domu čp. 28, kde je dnes Stückgold, obchod sukny, Z. Bass, přesídlivší později vedle lékárny „U jednorožce“, Filip Zeiner, obchod hračkami, filiálka závodu kuklenského, změnivší později obor tento za látky a přesídlivší do domu čp. 137 na Velkém náměstí, kde je sklenář Kadečka, dále delikatesní obchod Gergurič, rodem Chorvat, starší bratr dnešního šéfa, jenž později přesídlil na své vinice do své vlasti, nyní má krám pronajat Singer, šicí stroje. V domě tomto bydlel president krajského soudu Kobercz, měl zde dále advokátní kancelář Dr. Javůrek, po něm Dr. Czurba, po něm Dr. Miloš Kafka. Koncipienty zde bývali Dr. Riegl, nyní advokát v Ústí n. Orl., Dr. Tolman, nyní vedoucí návladní v Mostě, solicitátorem zde byl Morávek a Julie Douchová, dále zde bydlel obuvník Řehák a domovník Růžička. Druhý menší krámek míval Arn. Dvořák, rukavičkář a obecní starší, kontrolor lesní a zastavárny, pilný pracovník v Živnostensko-čtenářské jednotě a v Řemeslnické besedě. V pozdější době druhé poschodí vypuštěním příčky spojeno s vedlejším krajským soudem a jsou zde umístěny některé soudní kanceláře. O sobotních trzích a jarmarcích míval Guyrkovicz, blízký známý obchod. Gerguriče na celé zdi domu proti Rážžovi svaté a jiné obrazy na prodej, jeho velkou nectností bylo, že se často notně opil a pak je prodával pod cenu, ba někdy i rozdával.“
Stejně tak mnohdy bývá přehled těch, kteří byli zdejšími nájemníky. Dejme slovo knize "Adressář a schematismus král. věnného města Hradce Králové, obsahující stručný průvodce, podrobný adressář, seznam majitelů domů, protokolovaných firem, úřadů samosprávných a úplný schematismus živností, obchodů, průmyslu, ústavů, škol a úřadů, spolků a společenstev, s nejnovějším plánem města Hradce Králové", jež vyšla v roce 1911 a podle ní v čp. 164 žili: c. k. soudní sluha Josef Adolf, pomocník při výrobě klávesnic Jan Adolf, hodinářský učeň Jaroslav Adolf, studující obchodní akademie Jan Czurba, právník Jiří Czurba, advokát JUDr. Josef Czurba, švadlena Anna Řeháková, vdova a domovnice Kateřina Řeháková a modistka Marie Řeháková. Dále se tu hovoří o 4 provozovnách - obchodu a lahůdkářství Antonína Gerguriče, modistství Marie Řehákové a rukavičkářství Arnošta Dvořáka a dílně švadleny Anny Řehákové. V dodatku k němu jsou pak ještě zmíněni: tkadlec Bedřich Liškovský a služka Marie Pluhařová. O mnoho se nezměnil stav ani o 20 let později, kdy bychom zde mohli narazit na: úředníka Jana Czurbu, vdovu Annu Czurbovou, úřednici Marii Czurbovou, trhovce Františka Pohla, státního podúředníka Antonína Vaněčka, rotmistra ve výslužbě Jar. Vohralíka a vedle toho fungovalo v domě rukavičkářství A. Dvořákové, obchod střižním zbožím Justiny Červinkové a filiálka firmy Singer Sewing Machine Company.
Od vlastníků objektu a zdejších nájemníků nyní pojďme k jeho stavebním úpravám i k dalším událostem, s ním spojeným. Ve 2. polovině 90. let 19. století byla část domu upravena pro tovární sklad obuvi firmy Al. J. Nejedlý z Kuklen, jehož existence je zde doložena v letech 1897-1898. Roku 1905 bylo městem zakázáno Vojtěchovi Günzburgrovi, aby vysoušel kůže z kůzlat přímo v domě, a to ze zdravotních důvodů. V roce 1913 bylo Antonínu Gerguričovi povoleno umístění reklamní tabule přímo na domě. Roku 1922 bylo požádáno o prohloubení oken do krámu. Práce provedla stavební firma Jana Krause z Hradce Králové. O 3 roky později zažádala firma Singer Sewing Machine Company, která tu měla pronajaté obchodní prostory, o povolení opravy přízemní fasády a provedení světle zeleného nátěru. V roce 1929 získal spolumajitel Ing. Jan Bulvas povolení ke zřízení 2 krámů v přízemí. Plány i realizaci těchto prací si vzala na starost stavební firma V. Nekvasil a R. Schmidt. Roku 1931 patřil k domu i zadní sešlý dům do Rokitanského ulice, který sloužil jako skladiště židovskému vetešníkovi Zikmundu Barbierovi.
V roce 1936 byl vypracován podle nákresů z roku 1840 plán stavby skladiště, jehož autorství měla na svědomí místní stavební firma Jan Mádlík a Jan Včelák. V témže roce byl Václavem Hálou vyvěšen reklamní portál s nápisem: „Hála praží dobrou kávu“. O 2 roky později došlo k přestavbě opuštěných soudních kanceláří ve 2. patře budovy, přičemž došlo i k zazdění dveří, jež je spojovaly s radnicí. Zhotovením těchto úprav byl pověřen stavitel František Kňourek. Roku 1941 zde začala Anna Weisnerová provozovat mandl a žehlení prádla. O 8 let později byla opravena poškozená střecha. K rekonstrukci fasády došlo v letech 1961 a 1968. Od 14. ledna 1964 je objekt památkově chráněn, protože byl zapsán do státního seznamu kulturních památek. V roce 1977 vzniklo v krámě Učňovské středisko služeb v Hradci Králové. Roku 1991 získali objekt do svého vlastnictví restituenti Markéta Emrová, MUDr. Jaroslava Riegerová, John Waetherall, Robert Waetherall a Karel O´Brien. Více o domě lze nalézt zde:
https://pamatkovykatalog.cz/mestansky-dum-12544118, i když nejvíce se objevil v centru zájmu v roce 2023, kdy po konzumaci jídla ve zdejší vietnamské restauraci Chich food´s onemocnělo 134 lidí (viz
https://www.idnes.cz/hradec-kralove/zpravy/asijska-restaurace-velke-namesti-salmonela-hygiena-pokuta-vezeni.A230421_134842_hradec-zpravy_kvi).