Tento jednopatrový měšťanský dům s přízemním loubím na trojici arkád a se sedlovou střechou byl postaven kolem roku 1600 na místě 2 gotických parcel, na nichž původně stávaly nejspíše roubené nebo poloroubené objekty a čistě kamenné byly pouze sklepy. Zanikly buď jedním z požárů, na něž reagoval v roce 1504 král Vladislav Jagellonský, který svým privilegiem rozšířil městské důchody o vybírání dalších cel ze zboží, případně až 12. září 1548, kdy lehlo popelem celé město a z mnoha stavení se stala pouhá spáleniště.
První zmínku o čp. 41 máme až z roku 1553, kdy koupil tento dům Dr. Václav Kvasnička od předchozího majitele Víta Lysého a v roce 1564 k němu přikoupil ještě čp. 32. V té době byla tato řada domů, kde se nacházelo rovněž čp. 41, zváno jako „nad Pražskou branou“. V roce 1586 ho získal koupí Jan Hlaváč, roku 1599 Václav Hejl, v roce 1602 Petr Rychter a roku 1604 Matěj Svědík, o němž máme zmínku z 19. prosince 1619, kdy byl zvolen konšelem, a stejně tak z 9. února 1623, kdy došlo k obnově městské rady.
Za třicetileté války byl objekt zničen, nejspíše již při prvním švédském nájezdu v roce 1642, neboť roku 1649 byl k ruce komory české v dražbě prodán „zpustlý a na nejvýš zruinirovaný“ Janu Vlachovi, který se ještě v témže roce pustil do výstavby nového domu, jenž roku 1670 ujala vdova Kateřina Vlachová. Někdy poté byl přestavěn v barokním slohu. Roku 1693 patřilo čp. 41 Dr. Janu Konvičkovi, jenž zasedal dlouhá léta v městské radě, v roce 1767 se stal primasem a zemřel roku 1773, a v roce 1731 ho zakoupil Jiří Žďárský. Roku 1789 vlastnil tuto nemovitost Dr. Josef Kučera a v roce 1800 Dr. Jan Chmelík (nezaměňovat se zdejším děkanem P. Janem Chmelíkem, který zemřel 3. října 1859). Od toho byl některými zván jako „dům doktorský“.
V té době byl již přestavěn do klasicistního stylu. Někdy poté zde fungoval hostinec, o čemž píše Václav Hejna ve svých „Vzpomínkách ze staré i nové Jaroměře“ toto: „Hostinec »U Arnoštů« na malém podloubí č. 41, nyní dům pana Stanko Stárka, měl své místnosti dopředu, kde je nynější obchod, a byl asi v letech 1864 zrušen. Dle doslechu čepovalo se tam něco málo piva, více to byla vinárna, hostinec byl sousedský.“
Úpravami ve 20. století byl dům částečně znehodnocen, což uvidíme hned od pohledu. V roce 1908 náležel dům Anně Stárkové, později připadl obchodníku Stanko (Stanislavu) Stárkovi, jenž musel za 1. světové války narukovat na vojnu, ale ještě v listopadu 1914 sloužil ve vojenské nemocnici v Josefově ve vlastním oděvu. Tento obchodník byl rovněž významným činitelem v Občanské záložně v Jaroměři a velkým podporovatelem všech národoveckých podniků a spolků. Roku 1928 bylo povoleno zřízení nové výkladní skříně obchodnici střižním zbožím Marii Koudelkové. Stavební úpravy celého domu byly Stanko Stárkovi povoleny již v předchozím roce. Fasáda s raně barokním štítem byla roku 1932 zjednodušena, okna rozšířena a vložena za špaletu. V roce 1936 nemovitost náležela stále obchodníku s provaznickým zbožím Stanislavu Stárkovi. Ten zemřel 27. prosince 1938. Během jeho éry i po něm se tu nacházelo zastoupení přádelny konopí a továrny na provaznické zboží M. a J. Stárkových. Tato firma vyvíjela činnost při čp. 231 na Pražském Předměstí v letech 1924-1948.
Po roce 1948 byl dům zabrán státem a objekt spravovala místní domovní správa. V přízemí se stále nacházely obchody a místnosti v patrech sloužily k nájemnímu bydlení. 28. února 1964 byl objekt zapsán do státního seznamu kulturních památek. Z roku 1999 pocházejí plány na opravu střechy. Dnes dům náleží Miloslavu Honcovi, který tu od roku 1992 rovněž obchodoval. V té době bychom zde nalezli cestovní kancelář, v letech 1999-2004 a od roku 2010 tu je kadeřnictví Dany Paďourové, předtím Třasákové, od roku 2014 hodinářství Josefa Novotného, v letech 2013-2014 tu Lucie Adámková provozovala bazárek KIKI, v letech 2015-2016 tu bylo zastoupení společnosti Allianz (Jiří Jaro), ale vystřídala se zde rovněž řada vietnamských obchodníků a provozoven různých služeb bylo v domě za poslední desetiletí nespočet. Více o domu lze dohledat zde:
https://pamatkovykatalog.cz/mestansky-dum-13961975.