Na místě tohoto dvoupatrového měšťanského domu s přízemním dvojitým portálem a se sedlovou střechou stávaly původně 2 renesanční objekty, jejichž výstavba se datuje před rok 1570. Vyloučeno však není, že zde byla již gotická zástavba. V letech 1760-1770 byly oba domy spojeny do jednoho, který získal klasicistní úpravu a podle svých vlastníků byl tehdy nazýván jako dům Šnajdrovský (též Schneiderovský). Od 6. června 1765 se začal před domem stavět každoročně oltář pro Boží tělo, což byla pro majitele nemovitosti velká čest. Do té doby oltář stával před domem Rudlovským (dnešní čp. 10).
V roce 1790 byl vlastníkem domu František Šnajdr (psán i jako Schneider a Schneidr). 31. ledna 1792 byl dům zakoupen městem pro krajský úřad, který se vrátil z Hoříněvsi, a to za 5 500 zlatých a 12 dukátů. V červnu téhož roku zde začal úřadovat. Jeho osazenstvo bylo tehdy tvořeno: krajským hejtmanem, sekretářem, kasírem (pokladním) a 2 komisaři. V roce 1806 náležel objekt Ferdinandu Schererovi a o rok později Josefu Bubníkovi. Nejspíše od něj koupil dům František Kaldarar, a to i s dědičnou poštou zde se nacházející, kterou do roku 1800 provozoval Ludvík Talacko a po něm Jan Šaur (či Šauer). V roce 1819 byla postavena společná zeď mezi Kaldararovým domem a obecním objektem čp. 127. Zhotovena byla účetním pravovární pokladny Václavem Hromádkem a náklad na ni byl rozdělen tak, že na Františka Kaldarara vyšlo 152 zlatých a 57 krejcarů. Téhož roku vlastnila dědičnou poštu Vincencie Kaldararová, roz. z Kastenbergů, ale příjmy z ní se rok od roku snižovaly. K tomu dům v roce 1836 vyhořel, a tak ho musela majitelka domu značným nákladem opravit. Aby se již tak nestalo, vyměnila dosavadní šindelovou střechu za pálené tašky. Roku 1841 držela poštu i dům s dalšími spolumajiteli, jimiž se stali Karel, Terezie a Františka Kaldararovi, ale již v roce 1866 patřila pošta pouze Františce Kaldararové.
Ta musela v exekuční dražbě pozůstalosti po Karlu Kaldararovi odkoupit jak poštu, tak dům čp. 128. Důvodem této dražby byla pohledávka u Jakuba Brady z Třebechovic pod Orebem ve výši 1 050 zl. Můžeme jen odhadovat, ale mohlo jít o následek výše zmíněné opravy domu. Roku 1884 byla postavena prádelna podle plánů stavitele Antona Dobrkovského a o 10 let později byl dům v majetku dědiců Kaldararových. V roce 1903 provedl stavitel J. Bahník adaptaci domu, v němž poté byla dvojice obchodů, dvůr a prádelna. Tehdy dům náležel Em. Kaldararovi a společníkům. Roku 1911 byla nemovitost rozdělena mezi tyto vlastníky: Emanuela, Bedřicha, Huga, Františku a Eugena Kaldararovi (všichni po 1/7) a Marii, Annu, Hugona a nezl. Marii Kaldararovi (všichni po 1/14). V té době tu bydleli: student obchodní akademie Josef Bergmann, vdova po advokátním solicitátoru a majitelka obchodu s potravinami Anna Brožová, soukromnice Marie Buková, zámečnický pomocník Jan Cvrček, obchodní pomocnice Slávka Geigrová, krámská Zdeňka Geigrová, úředník filiálky Živnostenské banky Václav Hašler, soukromnice Hermína Jonášová, student reálky Vladislav Kavka, obchodní příručí Josef Lopata, stavitelský praktikant Karel Machatý, kostelník Václav Machatý, účetní v obchodě Václav Mencl, zámečnický pomocník Václav Pázler, služka Marie Řížková, úředník filiálky České banky Václav Škola, zřízenec České banky František Urban, c. k. ohňostrůjce 27. pol. děl. pluku Karel Veverka, služka Josefa Vrabcová a obchodní pomocnice Berta Weisová. Kromě toho měl v domě klempířskou dílnu František Hlávka a potraviny prodávala Anna Brožová.
O historii domu se zmiňuje rovněž Jiří Vladimír Tolman ve své knize "Hrst vzpomínek na starý Hradec Králové", kde píše: "Dům čp. 128, stará dědičná pošta, majetek rodiny Kaldararovy, nyní náleží staviteli Jihlavcovi. Kaldararové byli poštovní rodina. Synové Eman byl majorem, Bedřich, Alfred, Hugo, Eugen, Jan, samí poštovní úředníci, z nichž sloužil na zdejší poště Alfred. Kondukterem pošty býval zde Matuška a Lankaš. Dcera starého pana Kaldarara měla za choť rytmistra od četnictva. Bydlíval zde sládek pivovaru Pichl, jenž zde sloužil před Znojemským a Mattušem a dal postaviti od Zdenka Ježka sochu "Gambrina" na pivovaře a postavil na svůj náklad budovu podniku směrem k bývalé plynárně, nyní garáži pana ing. Nováka, bydlel zde dále výběrčí městských trhů a povelník hasičů Buk, kostelník Machatý. Za staré dědičné pošty sloužil zde úředník Cylani a jediný listonoš pro celé město Bauer, později Šubrt, pak Kašpar, jenž se pak stal sluhou Spořitelny. Prvním ředitelem pošty po sestátnění stal se Machník, po něm Nermuť. Dcera Machníkova Frýda, krasojezdkyně na bruslích, pletla svojí krásou studentům jejich horké hlavy. V létech osmdesátých za éry ředitele Klumpara byly zde více let tři třídy státního gymnasia a v domě tomto měla své úřadovny od založení roku 1862 Záložna, přestěhovaná později do domu čp. 118 na Malém náměstí. Jeden ze synů starého pana Kaldarara, major Eman, dal při vypuknuvší stávce ve Svárově u Liberce rozkaz střelby do lidu a byl předčasně pensionován."
Roku 1914 byla zřízena v domě parní strojní mlékárna. V roce 1925 musela být několikrát vyčištěna kanalizace, protože se odpadem ucpávala a způsobovala škody zejména Panenkově mlékárně. O rok později bylo dosavadní krupařství přestavěno zpět na byt, ale jeho nový držitel Ladislav Duran ho předělal na pekařství, i když zprvu bez dovolení vlastníka nemovitosti a dokonce bez povolení magistrátu. V letech 1927 a 1931 se objevily stížnosti na zápach z hnoje od zde chovaných koní. Vše se však vyřešilo až zrušením chovu. V roce 1931 byl majitelem domu stavitel Josef Jihlavec a žili v něm: obchodník Adolf Buk, obchodnice Marie Buková, obchodník Bedřich Hrádek, hudebník Vilém Pojman, topič ve výslužbě Adolf Řezníček, švadlena Marie Šulcová a porodní asistentka Marie Tlustá. Zároveň měl v domě koloniál Jindřich Hrádek, své služby nabízela porodní asistentka Marie Tlustá. O 3 roky později byla před domem postavena benzínová čerpací stanice firmy Vacuum Oil Company. Roku 1935 nechal vlastník domu Josef Jihlavec přestavět 1. patro a opravit všechny fasády. V následujícím roce bylo upraveno též 2. poschodí a nádvorní domek, v němž žil trhovec se střižním a konfekčním zbožím František Pohl. Roku 1938 byla ve dvoře vybudována garáž a o rok později byla zbořena kůlna a na jejím místě vznikla nová prádelna. 14. ledna 1964 byl dům zapsán do státního seznamu kulturních památek. V 60.-70. letech 20. století došlo k různým rekonstrukčním pracem a přestavbám, např. v roce 1970 provedl Bytový podnik opravy fasády a roku 1991, kdy se stal po restitučním řízení vlastníkem domu Josef Jihlavec z Prahy, došlo k připojení objektu na plyn. Více o domě, patřícím v současnosti Vladimíře Jihlavcové, lze dohledat zde:
https://www.pamatkovykatalog.cz/mestsky-dum-byvala-posta-13826254.