Na místě tohoto domu stávala původně nejspíše trojice gotických domů, z nichž se do dnešní doby zachovaly jejich sklepy. Prvním známým vlastníkem čp. 51 byl v roce 1554 doktor Jan Hovorka, po němž byl zván dům jako Hovorkovský. Ten působil v letech 1554-1568 téměř nepřetržitě jako jaroměřský primas a ve svém domě si vydržoval pivovar. Dům čp. 51 byl později spolu s pivovarem v majetku Jiříka Klače. Z roku 1602 pochází obecní nařízení o tom, že měšťané z čp. 24-27 a 50-65 museli vařit pivo právě v Klačově pivovaru. Jednalo se z většiny o tzv. „bílé pivo“, které bylo vařeno z pšenice. Pod domem rovněž vedla městská zeď s valy a s baštou, jež byla počátkem 16. století obcí prodána a v roce 1554 je zmíněna již jako soukromý majetek. Tehdy totiž koupil domek na valích „na baště za fortnou“ od Markéty Bavůrkové Jan Hamák.
Od Jiříka Klače koupil dům roku 1610 Daniel Mann. Obchod mezi oběma však nějak nedopadl, nejspíše nebyla uhrazena celá částka za prodej, a tak se v roce 1613 ujal nemovitosti opět Jiřík Klač. Roku 1619 ho zakoupil Adam Strejček. V roce 1637 ho převzal Jiřík Payer. Roku 1650 ho Jan Juliš prodal Václavu Ziobskému. V roce 1689 se dostal dům koupí do rukou primátora Daniela Miselia, jehož snaše Anně, rozené Kylingrové a zemřelé 30. března 1721, vytvořil legendární sochař Matyáš Bernard Braun výjimečný náhrobek, později přezdívaný jako „Plačící žena“. Roku 1721 převzal dům jeho syn Jan Miselius, který ho držel 14 let. Tato rodina byla velmi významná, takže o ní můžeme najít rozsáhlejší zmínku v knize „Oživlá krypta“ od MUDr. Vojtěcha Paula z roku 1924, z níž vybírám:
„Rodina Miseliusová měla svůj rodný dům na náměstí č. 51 (hospodářská záložna). Zakladatel rodiny Miseliusovy v Jaroměři byl Daniel Miselius, primator, zemřelý v r. 1704, a byl pochován pod radní stolicí; první to řadě stolic na levo pod stupněmi k hlavnímu oltáři. Krycí kámen hlásá: „Stůj, pocestný, a patř kamenem zde ukrytého osmdesátiletého primasa ctného ... dvaadvacet let … jemu přece života odňal“. Byl rodičem pražským, dříve praeceptorem, pak správcem statku v Chvalkovicích. Oženil se r. 1672 s Kateřinou, dcerou Lukáše Skály, primasa v Jaroměři. Z potomstva Danielova pocházejí bratří František a Karel a sestra Ludmila provdaná Stifová. Rozvětvením rodiny dostaly se ještě domy č. 53 (p. Kuhn, pekař) a č. 54 (p. inž. Jakl) do držení její. Též č. 42 patřilo Frant. Miseliusovi.“
V roce 1735 se domu k svému dědičnému užívání ujala Marie Braunová, sestra Jana Miselia, a po ní František Andreides, jenž v letech 1707-1747 působil jako zdejší císařský rychtář. V téže době bydlel v domě soudce a v letech 1747-1778 císařský rychtář Josef Krňovský, který v něm rovněž 24. září 1778 zemřel. V roce 1759 byl dům koupen Janem Jelínkem a roku 1777 ho převzal jeho syn Jan Jelínek, jenž byl místním syndikem. Z pozdějších vlastníků ještě jmenujme Dr. Jana Andreise, který již v roce 1755 zakoupil dvůr v Jezbinách; Kroupu; Mikše a Valentu.
Ve všech dobách byl tento dům různě přestavován a upravován, a to i v době, když se jednalo o samostatné domy, jejichž počet se udává mezi 2-3, neboť co pramen, to jiný názor. V 16. století mělo dojít k renesanční úpravě pravé části současného domu a o 2 století později byla upravena jeho levá část, tentokrát však barokně. Koncem 18. století byly domy spojeny a upraveny do klasicistního vzhledu. Vzniklý objekt byl koncem 19. století opět adaptován.
Od roku 1884 sídlila v domě rovněž redakce i administrace beletristicko-politického týdeníku „Ratibor“, který byl založen Pavlem Albierim (narozen jako Jan Mucek). Po dvouletém působení však přeložil časopis do Hradce Králové. Později se zde usídlila Okresní hospodářská záložna, jež vznikla na základě zákona ze 22. března 1882 sloučením bývalých kontribučenských a peněžních fondů a svoji vlastní činnost zahájila k 1. lednu 1883, přičemž její 1. ustavující valná hromada se konala 3. května 1883. Dům zakoupila v roce 1888 za 19 000 zlatých a úřadovat v jeho 1. poschodí začala 1. července téhož roku. Aby se mohla v budoucnosti rozšiřovat, zakoupila záložna v roce 1921 sousední dům čp. 52 za 120 000 korun. V domě se nacházela též okresní úřadovna a roku 1903 svrškařská dílna Josefa Fettra. V roce 1937 obdržela Okresní hospodářská záložna povolení k úpravě omítek na obou vlastních domech a práce se rozjely ještě téhož roku. V letech 1939-1945 sídlil v čp. 51 okresní sekretariát Národního souručenství.
Po 2. světové válce se objekt dostal do rukou státu a jeho správu měl na starosti Bytový podnik
Náchod. V přízemí se nadále nacházely obchodní i restaurační prostory a patro sloužilo činžovnímu bydlení. Do státního seznamu kulturních památek bylo čp. 51 zapsáno 20. června 1979 (viz
https://pamatkovykatalog.cz/mestansky-dum-13910445). Od těch dob se tu vystřídala řada nájemců, např. v letech 1992-1996 tu byla cukrárna a kavárna Renaty Žižkové, v letech 1996-2006 se zde nacházela vzorkovna a prodejna nábytku Miroslava Lelka z Jasenné, v letech 2000-2011 pobočka bezpečnostní agentury BARA HK, s. r. o. a v letech 2007-2010 a 2011-2017 holičství a kadeřnictví Simony Holínské (v mezičase tu působila Iveta Vašicová). Dále ještě zmiňme: zastoupení ČSOB Pojišťovny a České podnikatelské pojišťovny, kanceláře advokátů (od 1. září 2018 JUDr. Vladimír Hencl), ale prodával se tu a nadále prodává levný textil, módní doplňky, kabelky a boty. Podloubí zase posloužilo při natáčení filmu „Oběti a vrazi“ (2000). V současnosti dům náleží Jaroslavu a Markétě Husákovým.