Při pohledu z náměstí na tento, několikrát přestavovaný jednopatrový dům sotva někomu dojde, že se jedná o jednu z nejstarších jaroměřských nemovitostí. Původnímu domu, který vznikl na místě 2 starších gotických objektů z 15. století (sloučením a přestavbou), z nichž se do dnešní doby zachovaly sklepy, se před očíslováním říkalo „Ráj“, později „V ráji“, právě podle toho byl pojmenován jaroměřský primas Jiřík Rajský, který ve svém úřadu působil před rokem 1580. Sama existence domu je doložena zprávou z roku 1581, kdy ho držela Anna Rajská (zapisovaná rovněž jako Rejská). Protikladem domu mělo být čp. 39, kde se říkalo „Pekelec“.
Již za své klasicistní přestavby na konci 18. století se v něm nacházel známý hostinec, který nesl stejné jméno jako sám dům. Důkazy o tom, že byl šenkovním již předtím, se nedochovaly. Pravovarečným však byl již v roce 1602, kdy náležel Dorotě Vosáhlové. Další zpráva o nemovitosti pochází z roku 1641, kdy ji spolu s pivovarem a vším příslušenstvím ujal po Jiříkovi Vosáhlovi syn Vít Vosáhlo. Již v roce 1657 ho převzala jeho sestra Dorota Rybaříková a roku 1667 zeť Jan Konvička. Po roce 1670 musel být obnoven, protože i on podlehl zkáze v podobě požáru města, k němuž došlo 8. srpna 1670. Tento oheň byl opravdu zničující, protože ve městě mu podlehlo celkem 44 stavení. Roku 1715 ho koupil Václav Skála, v roce 1753 Daniel Mejtský a roku 1757 Vojtěch Žďárský, jehož dcera Marie se provdala za Václava Valentu a v roce 1790 mu postoupila polovinu domu. Po nich náležel objekt Ignáci Valentovi.
Roku 1724 přebýval v hostinci kočí, který vozil pravidelně sochaře Matyáše Bernarda Brauna mezi Kuksem a Jaroměří, když pracoval v Jaroměři. Z indikační skici stabilního katastru z roku 1840 od geometra 2. třídy Franze Kraissla vidíme, že k čp. 49 náležel pozemek pod domem a poté ještě zahrada, která byla umístěna za Mlýnskou strouhou. Nejkratší cesta do ní vedla přes dřevěný most pod děkanstvím. V 60. letech 19. století si najal od města výčep kořalky a likérů židovský košerák A. Altschul a umístil ho právě v čp. 49. Ke zrušení této kořalny došlo až v 90. letech téhož století. Toho času už byl objekt bez podloubí, protože roku 1867 bylo povoleno majitelům domů čp. 48 a 49 zastavět podloubí, čímž vzniklo tzv. „Velké“ a „Malé podloubí“. Koncem 19. století byl zdejším nájemcem Václav Rýdl, po něm hostinec převzali manželé Lomečtí a následně manželé Alois a Josefa Beranovi. V té době byl střediskem venkova a místních hostů, zejména štamgastů z blízkého okolí. Za nájemců Beranových přestavěl hostinec majitel Hynek Mencl. Hostinec se tak zvětšil o velký sál s novou šenkovnou, kde se následně odbývaly různé zábavy, schůze, valné hromady a jiná veřejná shromáždění. V sále měl rovněž sídlo divadelní odbor TJ Orel. V roce 1900 totiž vybudoval stavitel Josef Sehnoutka zadní část levého dvorního křídla a zadní příčné křídlo. V té době tu měl svůj textilní obchod Antonín Martinek. Roku 1912 byla jako majitelka domu zmíněna A. Menclová (rovněž psaná jako Menzlová). Během 1. světové války posloužil hostinec k ubytování vojáků pěšího pluku č. 98, který byl dočasně přeložen z Josefova. Kromě něj bydleli vojáci v upravených kasárnách, ve 2 školních budovách, v Grandhotelu a v hostinci „Na Balkáně“. 15. ledna 1918 zde byla otevřena okresní oděvna, přičemž lístky na oděv byly vydávány na obecním úřadě od 9.00 hod. do 11.00 hod.
Společensky žil hostinec také po vzniku ČSR, kdy se zde scházelo velké množství místních spolků. Některé z nich měly v hostinci své spolkové místnosti (Československá strana lidová, DTJ, TJ Orel). Z tehdejších akcí jmenujme např. Kateřinskou zábavu skupiny kovodělníků 20. listopadu 1920 a taneční zábavu při pouti Národní jednoty severočeské 28. září 1928. Roku 1936 měl hostinec pronajat Karel Jenčovský a jako jeho vlastníci jsou zapsáni dědici Menclovi. Při volbách tu zase sídlily obvodní volební komise.
Po osvobození se dostal do rukou státu a v 70. letech 20. století byl jeho vlastníkem Oblastní podnik Komunálních služeb
Náchod. Do státního seznamu kulturních památek byl zapsán 20. června 1979 a obecním majetkem je dodnes. V roce 2006 došlo k opravě krovu, výměně střešních latí a krytiny, byly znovu vyzděny komíny a opraveny všechny klempířské prvky a trojice vikýřů do náměstí. V letech 2007-2008 došlo na opravu a nátěr fasády, výměnu klempířských prvků, opravu oken, výměnu výkladců a vchodových dveří, opravu pískovcového soklu a konzervaci pískovcového ostění vchodu. Roku 2008 byla vypracována studie obchodní pasáže a v roce 2011 ověřovací studie propojení náměstí s ulicí Na Valech objektem čp. 49.
Teprve v letech 2014-2015 proběhla rekonstrukce části domu, kde sídlila společnost RANA, během níž se vytvořila tzv. Pasáž Jaroslava Žáka, slavnostně pojmenovaná 18. června 2015 po učiteli a spisovateli Jaroslavu Žákovi, spojující lokalitu Na Valech s náměstím. O pasáži si můžeme přečíst zejména zde:
https://www.odumdal.cz/projekt/pasaz-jaroslava-zaka-v-jaromeri/. Díky rekonstrukci vnitřních prostor pasáže s bustou Jaroslava Žáka od sochaře Petra Nováka z Jaroměře firmou STAKO z Hradce Králové přesídlil na náměstí finanční úřad. Dále zde byla umístěna kancelář notářky Mgr. Lubislavy Randusové, kavárna Žákova Studovna, prodejna květin a nové veřejné toalety, které nahradily nevyhovující WC u Komenského mostu. Roku 2015 byl také dostavěn výtah. V letech 2018-2019 proběhla rekonstrukce 2 spodních podlaží, kam se v roce 2020 přestěhoval odbor dopravy a silničního hospodářství. Téhož roku byla provedena rekonstrukce obchodů v domě. Více informací o domě lze získat na webu památkářů:
https://pamatkovykatalog.cz/mestsky-dum-13910393.