Původně se na tomto místě, jež dříve náleželo přímo k Žernovu, nacházela roubená chalupa, jejíž existence je doložena v piccolominském urbáři k roku 1587 a po celou dobu existence byla vedena pouze jako chalupnická živnost. V roce 1628 náležela zahradníkovi Janu Nyklů a roku 1770 Janu Celbovi (zapisováno jako Czelwa či Celwa). Příjmení držitelů se často měnilo, nebylo to tím, že by byl objekt často prodáván, ale kvůli tomu, že se zdejším majitelům rodily zejména dcery, takže se sem téměř vždy někdo přiženil, aby následně převzal hospodářství. Nějakou dobu se zde provozovalo i handlířství s koni i dobytkem.
V roce 1807 byl jejím vlastníkem František Celba, který provozoval hospodu v přístěnku objektu. K ruce mu byl i manžel jeho dcery Františky Josef Mencl (tehdy psán i jako Menzl). V letech 1829-1830 převzal otcovskou živnost syn Dominik Celba, který ji měl podle některých pramenů v 50. letech 19. století zbořit a na jejím místě postavit kamennou hospodu. Ta je však zaznamenána na svém místě již v indikační skice stabilního katastru z roku 1840 (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=skicic&idrastru=HRA569018400), takže došlo spíše k záměně číslic a zděná stavba čp. 5 vznikla již ve 30. letech 19. století. Hospoda však přinesla Dominiku Celbovi velký finanční úspěch, díky němuž se stal nezávislým na vrchnosti a časem zakoupil několik stavení a k nim náležejících pozemků. 29. září 1850 byl dokonce zvolen žernovským radním, aby posléze přepustil hospodu synu Antonínovi a zemřel v roce 1863.
Roku 1858 zakoupil jeho živnost za 5 000 zlatých Jiří Vilém Schaumburg-Lippe, čímž založil na dolním konci Malé Skalky tradici panského hostince. V 60. letech 19. století byla budova přestavěna do současné podoby, nevíme však, kdy k tomu přesně došlo. Jisté je, že v Dílečném nákresu obce Žernov, Riesenburk, Ratibořice a Pohodlí z roku 1878 je objekt čp. 5 uveden již jako zděný a plošně je větší než ten dosavadní. Nejspíše tehdy také získal patrovou nástavbu a do toho času býval pouhou přízemní budovou. 24. listopadu 1898 zemřel nájemce hostince Josef Hanuš. K dalším úpravám došlo několikrát ve 20. století. Živým podnikem byl i v protektorátním období, kdy zde byl nájemcem František Raitmajer. Konaly se tu totiž koncerty, hrálo ochotnické divadlo, pořádaly různé tancovačky apod. 17. července 1944 zemřela jeho manželka a dlouholetá restauratérka Emilie Raitmajerová.
Na základě Benešových dekretů byl hostinec odebrán rodu Schaumburg Lippe a stal se státním vlastnictvím. 7. listopadu 1957 Státní památková správa v Praze uzavřela s Jednotou, lidovým spotřebním družstvem v Hronově, smlouvu o bezplatném odevzdání Panského hostince a přilehlých budov na stavební parcele 104 do trvalého užívání. Jednota měla povinnost provozovat zde restaurační činnost a trvale svěřený majetek udržovat. Bez souhlasu Státní památkové správy jej nesměla ani pronajmout, ani převést na jiného uživatele. V roce 1963 zřídila Jednota v Panském hostinci restaurační samoobsluhu. Od 28. února 1964 byl objekt památkově chráněn, ale roku 1978 při zřízení národní kulturní památky vypadl z jejího výčtu. Tento stav byl napraven až v roce 1999.
Roku 1990 odkoupil hostinec od státu za 200 000 Kčs Agropodnik Česká Skalice, aniž by došlo k zaplacení celé částky. O rok později tato firma založila společnost RATIS a ta od ní zakoupila tento hostinec. Roku 1995 vstoupil do společnosti RATIS František Wolf a zůstal jediným majitelem této společnosti, kterou pak přejmenoval na Podzámčí. Ta nechala hostinec uzavřít a dlouhá léta se o objekt nestarala. V roce 2003 nabídla státu možnost jeho odkupu. Ten proběhl následujícího roku, ale již mezi Národním památkovým ústavem, územním odborným pracovištěm v Pardubicích (zastupujícím stát) a likvidátorem firmy Podzámčí s. r. o. v likvidaci. Změna majitele se však nikterak neprojevila a objekt je nadále uzavřen (viz
https://www.ratiborice-babiccinoudoli.cz/babiccino-udoli/pansky-hostinec).
Na závěr zmiňme jako zajímavost to, že v roce 1898 v hostinci pobýval hudební skladatel Karel Kovařovic, jenž byl pobytem v Ratibořicích inspirován ke složení opery „Na Starém bělidle“. Ředitel Národního divadla F. A. Šubert tu zase napsal drama „Jan Výrava“. Dodejme ještě, že právě zde obsluhovala Barunčina kamarádka Kristla z „Babičky“ od Boženy Němcové, která milovala Jakuba Mílu. Rovněž se před touto hospodou stavěl známý rtyňský forman Hejna se svými vozy, s kterými jezdil do Vídně. Kolem hostince měl projet i ruský car Alexandr I. se svou družinou, jenž 16. července 1813 navštívil na ratibořickém zámku Kateřinu vévodkyni Zaháňskou a setkal se zde s pruským králem Bedřichem Vilémem II. a rakouským prvním ministrem Klemensem Wenzlem Nepomukem Lotharem knížetem z Metternich-Winneburgu, vévodou z Portelly a hrabětem z Kynžvartu.