Tento jednopatrový objekt s jedním arkádovým obloukem v přízemí a sedlovou střechou vznikl na místě mnohem staršího gotického objektu, čehož důkazem je zejména valeně zaklenutý sklep z 15. století. Během času prošel mnoha úpravami a přestavbami, např. v 18. století byl upraven do barokní podoby a na konci téhož století získal klasicistní fasádu. Jeho adaptace proběhla v roce 1923, což potvrzuje ve fasádě mezi okny 1. patra vyvedený strom a nápis s datací: „U ZELENÉHO STROMU 1923“.
O existenci domu na tomto místě se dozvídáme již v 16. století, kdy ho spolu s dnešním čp. 46 vlastnil zdejší primátor Vavřinec Chudek (Chudecius), zmiňovaný v tomto úřadu v letech 1554 a 1557, přičemž vyhořet měl při velkém požáru města roku 1548 ve středu před Povýšením sv. kříže (12. září). Jeho syn Mikuláš rovněž vlastnil oba objekty (tehdy o větším rozsahu než dnešní čp. 46-47, neboť zahrnovaly i část dnešních sousedních nemovitostí) a v letech 1576-1585 a 1596 byl také jaroměřským primátorem. Zemřel v roce 1606. Mikulášův syn Vavřinec se stal roku 1599 bakalářem, díky čemuž byl v letech 1609-1641 členem obecní rady. V roce 1621 prodal Eliáš Chudek čp. 47 Václavu Sahanovi a roku 1624 připadl tento objekt koupí Matěji Kernerovi. Domy čp. 46-47 později podlehly opět požáru, protože se o tomto místě hovořilo pouze jako o pustém místě chudkovském.
Na části tohoto gruntu byl kolem roku 1660 zřízen obecní pivovar (od roku 1877 budova dívčí školy), vedle něhož je v roce 1668 zmiňováno místo pusté s domem Václava Kosiště (dnešní čp. 47), jež téhož roku zakoupil od obce Jan Rynkeš. V roce 1676 koupil tuto nemovitost Jan Kuba, roku 1689 Jan Mareš a v roce 1694 Jiří Michalec, po němž dům převzal roku 1728 jeho syn Václav. V roce 1745 se ujala domu Marie Braunová, od níž ho koupil o 4 roky později Vojtěch Žďárský. Roku 1757 se stal novým vlastníkem čp. 47 Josef Šeps a v roce 1785 ho zdědil Matěj Koláček.
Sám hostinec téhož názvu jako dům měl vzniknout asi ve 40. letech 19. století a u jeho počátků stal místní měšťan Matěj Koláček, není jisté, zda otec nebo syn, od něhož ho koupil kramář a fiakrista Václav Homola. Za něj byl navštěvován zejména trhovci a svými kolegy fiakristy. Později byl hostinec pronajat a nájemců se zde vystřídalo opravdu hodně – Josef Kryštof, Antonín Klimeš, Josef Bortlík a J. Zábrodský. Následně dům zakoupil hostinský a předseda Živnostenské jednoty hostinských v Jaroměři Jindřich Rýdl, který hostinec posléze zrušil a obchodoval pouze s lahvovým pivem. V roce 1904 si zařizoval zdejší krám knihkupec Edvard Fastr. Tehdy se snažil sehnat použité regály a zachovalý pult o délce 2,5-8 m. Znám byl také jako prodejce vstupenek na všechny místní kulturní akce a zábavy, vedle toho podporoval místní muzeum, jemuž daroval řadu věcí, např. roku 1908 půdorys plánu chrámu sv. Barbory a vyhlášené byly jeho ilustrované průvodce po českém severovýchodě. Roku 1936 byl objekt ve vlastnictví Josefa Fettra, který tu měl obuvnictví a sklad obuvi a známý byl zejména jako aktivní člen jednoty "Jarboj". Vedle toho se tu nacházela drogerie Josefa Trojánka.
Jaroměřský obchodník Bohumír Rykrt ve svém článku „Jaroměřské náměstí před šedesáti lety“, který vyšel v roce 1948 v 5.-6. čísle „Jaroměřska“, vzpomíná na tento objekt takto: „Následuje dům v němž byl hostinec „U zeleného stromu“. V přízemí měli obchod Höfrovi. Prodávali výbavičky pro novorozeňata a pletli na objednávky. Sousedí s domem p. Andra. Co má krám p. Trojánek, drogista, byla tam vinárna. Chodil jsem tam pro tatínka, když se poněkud déle zdržel. Maminka mne navedla, abych řekl, že jej čeká nějakýpán, aby ihned přišel domů. Tatínek však, dal mi líznout vína, pousmál se, a řekl - „Jdi domů a řekni mamince, že hned přijdu“– a maminka ta kolikrát čekala marně. V druhém krámě, co má nyní obchod p. Braha, byl myslím knihkupec Fastr.“
Po 2. světové válce se dostal dům jako mnohé sousední do rukou státu. 20. června 1979 byl zapsán do státního seznamu kulturních památek. V roce 1980 bylo vlastníkem domu družstvo Sněžka
Náchod, jež tu provozovalo sběrnu oprav veškeré kožené galanterie, stanů a spacích pytlů a prodej téhož sortimentu, a dnes objekt náleží Soně Pražákové, která zde od roku 1992 prodává přírodní kosmetiku a léčivé byliny. Více informací o domě se dá nalézt zde:
https://pamatkovykatalog.cz/mestansky-dum-13977054.