Když vcházíme Zelenou branou na Pernštýnské náměstí, tak kolikrát přehlédneme rohový, renesančně přestavěný gotický dvoupatrový dům čp. 77, jenž se nachází po levé straně, kde přechází Zelenobranská ulice v již zmíněné náměstí. Teprve když se ohlédneme zpět, tak vidíme, o jaký krásný objekt se jedná, protože jeho líc nese od roku 1511 votivní desku s Vojtěchem z Pernštejna a jím vedoucího zubra, zbytek ozdobných sgrafit ze 2. poloviny 16. století a empírový mariánský obrázek.
I on náleží mezi ty domy, jež můžeme zařadit mezi nejstarší ve městě samém. Oficiálně je označován za nejstarší na Pernštýnském náměstí. Prvním známým držitelem domu byl v roce 1507 Kolář a po něm jeho vdova Dorota, která předala roku 1516 všechen svůj majetek manželovi Vítovi Ryhnovskému, jenž byl soukeníkem. Po nich tu v roce 1541 žil Diviš Bošínský, pán na Mezilesicích. Jeho syn Jan prodal dům roku 1548 bydžovskému soukeníkovi Janu Kyčkovi, který za něj hotově vyplatil 450 kop míšeňských. Po něm objekt vlastnil od roku 1549 Jindřich Kyčka. Když zemřel, ujal se v roce 1598 celého gruntu sirotčí písař Jan Vostřešanský, a to za 950 kop grošů. V letech 1622 1627 byl majitelem budovy Jan Vostřešanský ml., který ji odkázal své manželce Anně. Ta se opět vdala za Jana Vorla Pardubského, jenž držel dům v letech 1627-1628. I on udělal z manželky Anny vdovu. Ta vlastnila objekt v letech 1628-1651.
Jan Vorel Pardubský však nadělal velké dluhy v panských důchodech, jež činily celkem 706 kop grošů. Ten uhradil primátor Jan st. Klebsatl z Milhausu (též psán jako Klepsatle z Milhúz), který byl bratrem Anny Vostřešanské, později Vorlové. Díky tomu v letech 1651-1671 vlastnil spolu s manželkou Marií čp. 77 a k němu náležející pozemky. V letech 1671-1701 byl objekt majetkem pardubického primase Jana Daniela Frodleho z Tatenic, syna Albrechta Václava z Tatenic, a jeho ženy Alžběty (za 1 215 kop) a v letech 1701 1712 koželuha Jana Jakuba Svobody (jeho dílna je zde doložena v letech 1697-1712) a jeho manželky Anny (1 820 zlatých), aby poté připadl Svobodovu zeti Václavu Michalovi Maternovi z Květnice a jeho ženě Kateřině. Ta již jako vdova prodala dům v roce 1727 Antonínu a Lidmile Skalickým. Spolu s rolí vyšel na 2 250 zlatých. V letech 1741-1762 pak dům, popisovaný jako "dluhy na nejvýš obcesirovaný", držela panna Barbora Brandsteinová. V letech 1762-1803 vlastnili objekt manželé Bartoloměj a Eva Stohlovi (za 2 150 zlatých).
Po magistrátním radovi Stohlovi se často majitelé měnili. Důkazem budiž rok 1803, kdy byl dům ve vlastnictví Františka a Jany (Joanny) Kozlíkových, poté Františka a Aničky Kudrnáčových (též byli zapisováni jako Gudrnatschovi) a od nich ho získal advokát Emanuel Wolf, v jehož držení zůstal do roku 1807. Pak se budova navrátila zpět rodině Stohlových, neboť v letech 1807-1808 ji vlastnil Antonín Stohl (za 7 400 zlatých) a v roce 1808 c. k. vojenský pekař Josef Stohl. Po něm následovali: v letech 1808-1813 Václav a Barbora Storkovi, v letech 1813-1834 František a Rozalie Koudelkovi, v letech 1834-1850 městský návladní Filip Koudelka, v letech 1850-1898 Markus Oesterreicher, nájemce pivovaru z Pecky (za 10 400 zlatých c. m.), v letech 1898 1923 jeho synové Gustav a Berthold a od roku 1923 manželé Gustav a Berta Oesterreicherovi.
Markus Oesterreicher byl židovského původu a využil zrušení práva židovské výluky při gruntovních smlouvách, k němuž došlo ústavou z roku 1849. 13. února 1850 požádal magistrát, aby vtělil jeho trhovou smlouvu o koupi čp. 77 do gruntovních knih. Odpovědí mu bylo odmítnutí s poukazem na to, že předem neprokázal přijetí do svazku zdejšího měšťanstva. Proti tomuto rozhodnutí podal protest a vrchní zemský soud nařídil pardubickému okresnímu soudu, aby Oesterreicherovu smlouvu vtělil bez průtahů do knih. Obec se odvolala na ministerstvo a k nejvyššímu soudu, protože chtěla kupní smlouvu zrušit a vyloučit Markuse Oesterreichera z Pardubic, ale nakonec byl její odpor 28. září 1850 zamítnut. V 80. letech 19. století byla používána půda domu k natažení lana provazochodců, případně k ubytování jiných komediantů, zvláště šašků. Někdy se tvrdí, že v objektu býval hostinec, ale průkazné materiály k tomuto chybí. Pouze ve vzpomínkách Ing. Jiřího Oesterreichera, jež vyšly v roce 1914 pod názvem "Můj děd. (K článku "První žid v Pardubicích."), se píše toto: "Cestou slibnými tehdy Pardubicemi doslechl se o prodeji domu Koudelkově. O tomto domě byla prý i báje o bílé paní, dům ten byl za epidemie cholery též špitálem a v letech 1846 snad šlechtickým kasinem (?) atd. Byl to starý, černý, zchátralý dům, v němž po dlouhý čas byl zájezdní hostinec s nečistým průjezdem u Zelené brány."
Roku 1897 zemřel Markus (psán později i jako Marek) Oesterreicher, od roku 1859 starosta židovské náboženské obce v Pardubicích. Právě jemu může současný dům poděkovat, že zde stále existuje, protože ho musel kromě základů a přízemí kompletně přestavět. Tehdy mu obec opravdu "přála", neboť zde nemohl postavit lešení a dokonce ponechat na místě odbouraný materiál, což vyřešil tím, že ho zdarma přenechal tomu, kdo si ho chtěl okamžitě odvézt. V roce 1899 byl stavitelem Josefem Novotným vyhotoven a realizován nový výklad s dveřmi a roletou. Roku 1905 bylo povoleno rozšíření dosavadních dveří na výkladech, protože v té době byla v dosavadním skladišti zřízena podle plánu Františka Leiského elektrická pražírna kávy. V té době se nacházel dole v přízemí obchod smíšeným zbožím Markuse Oesterreichera, jenž byl zaprotokolován již 22. listopadu 1863. V roce 1923 byla opravena fasáda domu a při této příležitosti byly mezi okny 2. poschodí objeveny renesanční fresky. Další úpravy měly být provedeny v letech 1925 a 1930 a měly se týkat zejména výkladních skříní a jiných přízemních obchodních částí. Roku 1936 proběhla další oprava fasád.
Díky židovskému původu majitelů byl objekt zkonfiskován a v letech 1941-1942 odkoupen pardubickou obcí, jež ho upravila k činžovním účelům. Sami majitelé byli deportováni do koncentračních táborů, a to prosincovými transporty roku 1942, kterými opustilo Pardubice 1 258 Židů z města a jeho okolí, z nichž se dožilo svobody pouze 92. Tam zahynuli i jiní obyvatelé domu: obchodní zástupce Bedřich Kohn († 11. května 1943 v Terezíně), obchodník Julius Silberstein († někdy po 6. září 1943 v Osvětimi), úředník Ota Silberstein († po 26. lednu 1943 v Osvětimi), úředník Pavel Silberstein († po 23. lednu 1943 v Osvětimi), Pavel Silberstein († po 23. lednu 1943 v Osvětimi), Hermína Silbersteinová, manželka Julia Silbersteina († po 6. září 1943 v Osvětimi), vdova po důstojníkovi Josefa Weinbergerová († po 15. prosinci 1943 v Osvětimi), Helena Weinerová († po 23. lednu 1943 v Osvětimi), Růžena Weinerová († po 23. lednu 1943 v Osvětimi) atd. V roce 1944 zde byly zřízeny policejní místnosti. To však neznamenalo, že by se o stav objektu příliš staralo. O 2 roky později došlo ke zřícení části zdiva na straně k Zelené bráně, ale stále se nic nedělo.
Teprve od poloviny 50. let 20. století probíhaly jeho úpravy pro účely okresní lidové knihovny (otevřena 1. září 1960, tehdy byla zpřístupněna pouze půjčovna pro dospělé a oddělení pro mládež, čítárna a studovna byly otevřeny až později), k jejichž ukončení došlo v roce 1960. Tehdy byla pod pozdně barokně-klasicistní fasádou se štukovým reliéfem pštrosa objevena a obnovena původní iluzivní architektura. 12. března 1964 byl dům zapsán do státního seznamu kulturních památek. V letech 1971-1972 byl zřízen v domě výtah a roku 1983 došlo k opravě fasád (viz
https://kkpce.cz/cs/o-knihovne/historie-budov/). V letech 1998-2000 došlo k celkové rekonstrukci budovy (generálním dodavatelem těchto prací byla firma Vestap s. r. o.), kdy byla též propojena se sousedními domy, aby vznikl jeden celek, do něhož byla umístěna krajská knihovna (viz
https://kkpce.cz/cs/). Později však začala rozpadající se omítka ohrožovat kolemjdoucí, takže muselo dojít v letech 2023-2024 k její obnově (viz
https://www.idnes.cz/pardubice/zpravy/pardubice-fasada-opravy-pernstynske-namesti.A230421_151438_pardubice-zpravy_mvo). Více o tomto domě, náležejícím dnes Pardubickému kraji, lze zjistit na webu památkářů:
https://pamatkovykatalog.cz/mestsky-dum-20074723.