Současný objekt vznikl spojením dvou domů gotického stáří, které tu stávaly již v roce 1364, kdy byl Úštěk zmíněn jako město, avšak to povstalo z původní osady, o níž se hovořilo již k roku 1187, takže vzhledem k položení musely být oba objekty ještě starší, i když nejspíše nejprve dřevěné s kamenným sklepením a později byly přestavěny do zděné podoby v gotickém slohu (viz
https://www.mesto-ustek.cz/mapy-mesta-dle-vyvoje/d-144152/p1=11729), aby 21. srpna 1765 poprvé podlehly velkému požáru města. V té době se v jednom z nich již nacházel původně zájezdní hostinec, kterému se až do roku 1948 říkalo jako "Panský dům" (něm. Hotel Herrenhaus) a jednu z prvních zmínek o jeho existenci máme z roku 1715 (avšak musel existovat již v roce 1654, ale ani jeden z tehdejších tří hostinců nemůžeme přímo a nepochybně spojit s tímto objektem, avšak víme, že již v 15. století býval ze 2 objektů spojený dům veden jako pravovárečný a od roku 1575 byl nazýván právě jako Panský, neboť náležel i občas zde bydlícím majitelům úštěckého panství Sezimovým z Ústí a na Úštěku, před nimiž patřil Friedrichu a Anně Klingnerovým a ještě dříve Janu Hanušovi; levý objekt býval někdy nazýván jako Sezimův dům a pravý jako starý Panský dům) a poté z roku 1758 v souvislosti s tábořením roty císařských pěšáků, z nichž nakonec nikdo v hostinci ubytován nebyl.
V roce 1623 byl darován jezuitům, kteří vlastnili liběšické panství, avšak to bylo díky zrušení řádu rozparcelováno a rozprodáno, takže 27. května 1777 koupil Panský dům František Linek z Rašovic za 550 zlatých (v kupní smlouvě se mj. zavázal k výhradnému prodeji panského piva a lihovin, čehož porušení mohlo být potrestáno pokutou 20 tolarů) a byl to právě on, kdo se zasloužil o propojení obou objektů, čímž pro svůj podnik získal mnohem více místa než dosud a spojený dům též připadal případným návštěvníkům skoro jako zámeček. Není tedy pravda, jak se někdy uvádí, že ke spojení obou nemovitostí došlo až po požáru města v roce 1856. Dokladem toho může být i indikační skica stabilního katastru z roku 1843, kde je čp. 58 vedeno jako spojené v jednu zděnou stavbu (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=skicic&idrastru=LIT009018430), ale i to, že shořely domy na úplně jiném místě Úštěku a stejné to bylo i s ohněm o 3 roky později, kdy byla zasažena část k Českému předměstí. Teprve požár sousedních domů čp. 52-57 v roce 1879 si vyžádal rekonstrukci objektu.
Následně tedy došlo k jeho obnově, i když stále byla z původních domů zachována část nadzemního zdiva s podloubím a sklepy. Touto klasicizující přestavbou vznikl současný jednopatrový objekt se čtveřicí okosených kamenných oblouků podloubí, které je ze 3/4 plochostropé a pravé krajní pole je zaklenuto plackovou klenbou. Uvnitř podloubí se pak ukrývá hlavní vstup s dvoukřídlými klasicistními dveřmi a vpravo od něj je situována šestice oken, přičemž tři poslední jsou zvýrazněny zdobně vyvedenými kamennými ostěními v duchu klasicismu. Patro hlavního průčelí je hladce omítnuté a obsahuje 9 oken s olemováním v podobě iluzivních paspart, jež měly nahradit původní ostění. Patro je pak zakončeno profilovanou korunní římsou a střecha domu je sedlová s hřebenem, jenž je orientován podélně s přilehlou komunikací.
Vedle exteriéru je zajímavý také interiér budovy. Za vstupem v první ose zleva se nachází plackovou klenbou zaklenutá síň, odkud míří na dvůr plackami a segmentem zaklenutá chodba. Mezi síní a chodbou se nachází vstup se dvoukřídlými rámovými dveřmi s kazetovými výplněmi a dřevěnou obložkovou zárubní. Nad nimi je pak situován segmentově ukončený prosklený nadsvětlík. Za síní směrem k východu se nachází plochostropá místnost výčepu, k níž vzadu přiléhá plackovou klenbou zaklenutá světnice a na ni další místnost s valenou klenbou. Tu má také průjezd při výchoním okraji domu. V patře však nalezneme pouze ploché stropy, jež jsou výsledkem klasicistních úprav objektu. Pod schody do patra se pak vstupuje okoseným gotickým portálem do valeně klenutého horního sklepa a z něj poté do spodního sklepa ve skále. Napravo pak pokračuje schodiště, z něhož se rozvětvují vstupy do předního i zadního suterénu ve skále.
7. března 1829 převzala dům i hostinec Antonia Marschner, roz. Linke. Spojený objekt, který nadále fungoval jako hostinec a následně i hotel, se brzy stal jedním z center společenského, kulturního i politického života města. Vedle různých schůzí a valných hromad se zde tancovalo, hrálo divadlo a počátkem 19. století tu existoval rovněž kulečník, jenž byl do roku 1838 jediným v Úštěku. Elektrického osvětlení se však dočkal až v roce 1922, a to stejně jako ostatní objekty ve městě. S přívodem vody to však bylo jinak, již od středověku stávala před hostincem studna s rumpálem, kam se chodilo pro pitnou vodu. K jejímu zrušení došlo roku 1910 a o 3 roky později byla zakryta novou betonovou deskou a nad ní umístěnou dlažbou z lomového kamene. Nebylo jí totiž již potřeba, neboť v roce 1909 byl do objektu zaveden nový obecní vodovod, jenž byl s císařským svolením pojmenován jako "Jubilejní spádový vodovod císaře Františka Josefa I. města Úštěk". V téže době také došlo k jeho trvalému odkanalizování. Později hostinec náležel Franzi Stiebitzovi a po něm Rudolfu Stiebitzovi, přičemž roku 1931 měl 10 pokojů s 15 postelemi.
Po odsunu německého obyvatelstva se hostinec dostal do rukou čs. státu, resp. města a místní hasiči si na jeho dvoře upravili sál, jenž vyhořel v roce 1962, shodou okolností v průběhu hasičského plesu, takže to volně pomalu připomíná děj filmu Miloše Formana "Hoří, má panenko". Nedlouho poté si domu všimli také památkáři a 18. května 1964 byl zanesen do státního seznamu kulturních památek (viz
https://pamatkovykatalog.cz/dum-18286598). V současnosti zabírá přízemí nadále restaurační zařízení (Pivnice pod Podloubím) a v patře se nacházejí bytové jednotky. Vlastníky domu pak jsou Radek a Miloslava Piskačovi, kteří se starají o chod výše zmíněné pivnice. Co se týká jeho oprav, tak ta poslední největší byla dokončena roku 2011. Tehdy šlo o střechu objektu, a to s pomocí dotace z Programu regenerace městských památkových rezervací a zón. Na závěr dodejme, že ranější historii objektu se věnuje stať "Etwas vom "Herrenhause" in Auscha" od Josefa Jarschela, která vyšla v červnu 1913 v periodiku "Mittheilungen des Nordböhmischen Exkursions-Klubs".