Smržovka není tak stará, jak by se některým lidem zdálo, neboť byla založena jako osada v pralese před rokem 1540 a od svých počátků náležela k semilskému panství. Později připadla známému vojevůdci Albrechtu z Valdštejna. Ten však byl 25. února 1634 zavražděn se svými pobočníky v Chebu a Smržovka připadla o rok později Mikuláši hraběti Desfoursovi. Prostě počátky tohoto města jsou zahaleny mnoha tajemstvími, stejně tak jako jeho název, u něhož se soudí, že vznikl buďto od některého z pánů ze Smiřic nebo podle hub smržů, které měly vždy hojně růst na okolních stráních.
První očíslování domů bylo provedeno až v letech 1770-1771, kdy bylo ve Smržovce 273 domů, z toho přímo na náměstí byl jen zámeček (něm. Schlösschen) s čp. 1, pivovar s čp. 3 a 1 vrchnostenský dům s čp. 2. Celá tato trojice objektů měla vzniknout počátkem 17. století, když byly v roce 1630 zbourány staré zchátralé sýpky a nahrazeny kamennou budovou, do níž byl později suituován pivovar a spolu s ním vznikly též ostatní budovy, přičemž zámeček byl určen zprvu jako letní byt vrchnosti. Roku 1698 zničil požár jak zámeček, tak pivovar s palírnou a vaření piva bylo v přestavěné budově obnoveno až v roce 1708. V té době byla obnovena též budova zámečku, i když přesný rok těchto prací neznáme, co pramen, to jiné časové zasazení. Sám pivovar, jenž vyhořel ještě roku 1734, produkoval velmi znamenité pivo, jež si získalo oblibu dokonce až v sousedním Sasku, kam se od 19. století vyváželo. Jeho kvalita byla ovlivněna znamenitou vodou z pramenů nad železniční trati a rozsáhlými sklepy, které se táhly hluboko do žulového masivu, čehož bylo později využito k uskladňování brambor, jež sem dával zásobovací podnik. Zámeček naopak sloužil jako letní sídlo vrchnosti. Vedle něho stojící dům byl určen pro úřednictvo, kde byla i vrchnostenská kancelář. Ten byl v roce 1974 zbořen i s pivovarem (viz
https://www.smrzovka.cz/historie/d-1054/p1=8015), jenž spolu s pivovarem odolal požáru roku 1806.
Sám objekt, nazývaný ještě v roce 1839 Johannem Gottfriedem Sommerem jako zámek, byl nepřímo spojen též s rozvojem místních výročních trhů. V 19. století měla Smržovka 2 místa, kde se konaly tyto trhy. Prvním a původním bylo právě dnešní náměstí T. G. Masaryka, jemuž se tehdy říkalo Desfousovo náměstí (něm. Desfoursplatz), kde byl trh založen v roce 1851 na pozemku o rozloze 2 jiter a 273 čtverečných sáhů, který získal hrabě Desfours-Walderode za 303 zlatých a 14 krejcarů na základě kupní smlouvy z 18. prosince 1850. K němu pak přibyl roku 1878 ještě tzv. Nový trh (něm. Neue Markt). Tehdy a v pozdějších letech bychom na náměstí našli: budovu tržnice s kanceláří starosty, panské budovy se ředitelstvím panství a patronátní kanceláří, panský pivovar (před rokem 1900 byl již mimo provoz) a válečný památník, k jehož odhalení došlo 8. července 1894. Právě zmíněným ředitelstvím panství byl onen zámeček, kde žil a působil správce velkostatku (něm. Reichsgräfl. Desfours-Walderodesche Domänendirektion) Hans Hiersche, který byl zároveň městským radním, členem místní školní rady a působil i jako civilní geometr. Tento stav nám krásně ukazuje indikační skica stabilního katastru z roku 1843 (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=skicic&idrastru=BOL322018430).
Po odsunu německého obyvatelstva a zabavení objektu podle Benešových dekretů připadl zámeček do rukou státu, jenž zajistil rovněž jeho veškeré vybavení a posléze sloužil k různým účelům, zprvu byl jakýmsi skladištěm, kde se prováděly různé prodeje a dražby zabavených věcí, např. mezi 20. a 31. lednem 1947 se tu uskutečnil prodej kuchyňských příborů, talířům hrnců, nářadí a jednotlivých kusů nábytku. Poté se začalo přemýšlet o využití zámečku a toto úsilí bylo završeno akčním plánem MNV ve Smržovce na roky 1954-1956, v němž se psalo: "Všeobecně bude zlepšena forma kulturního a společenského života. Již v tomto roce bude přestěhována knihovna a čítárna do zámečku na náměstí, kde budou rovněž dokončeny úpravy a tak otevřen kulturní dům v obci pro všechny složky Národní fronty a osvětovou besedu." Následně zde byla tedy umístěna knihovna a osvětová beseda. Koncem 50. let 20. století byly zbylé místnosti upraveny pro smržovský Výbor žen, jenž je slavnostně otevřel 26. června 1956 veřejnou schůzí, na níž se projednávala rezoluce z okresní konference žen. Počátkem 60. let 20. století byl zámeček i celá uliční fronta opravena péčí pracovníků výstavby ve Smržovce, avšak tak, aby se co nejvíce zachoval stavební sloh, takže tato místa zůstávaly ozdobou náměstí i později.
Naproti pivovaru se nacházel již zmíněný dřevěný dům čp. 23, který byl rovněž vybudován vrchností a jí také náležel i v pozdějších časech. Jednalo se o panský soud a vězení zároveň. Zde byly vykonávány tresty bitím a ve sklepení bývaly vězeňské kobky. Od konce 18. století tu totiž smržovské panstvo vykonávalo trestní řízení nad poddanými návarovského panstva a opačně. Zemská komora zavedla toto opatření v zájmu spravedlnosti, takže návarovští si chodili pro výprask nebo si pobýt do šatlavy do Smržovky a Smržovští mířili opačným směrem. Tento objekt byl po roce 1898 zbořen a na jeho místě byl postaven moderní dům. Z původního objektu však zůstala sklepení, která se táhla daleko pod státní silnici a v nich zbytky kobek a železné kruhy, k nimž byli provinilci uvazováni nebo zakováni. Ještě v 60. letech 20. století byly tyto sklepy přístupné, protože vlastník domu Jan Matějec ochotně provázel zájemce těmito podzemními prostorami.
Posléze se ze zámečku stalo střediskové kulturní zařízení, kde se konaly různé kulturní a společenské akce a v neposlední řadě velké množství rozličných výstav a prezentací. V květnu 1983 zde bylo otevřeno audiovizuální středisko a malá výstavní síň, které se nacházely v 1. poschodí, naopak dole stále sídlila městská knihovna. Od roku 1987 zde byly naopak prezentovány práce členů nově vzniklého fotoklubu při SKZ MěstNV ve Smržovce. V témže roce bychom v zámečku narazili i na výstavku mysliveckého sdružení Smržovka, jež tu prezentovalo ulovenou trofejní zvěř za období let 1980-1986. V roce 1990 začal v zámečku poskytovat právní služby JUDr. Zdeněk Stránský, vždy každý čtvrtek mezi 15.00 a 17.00 hodinou. Později se začalo uvažovat o zřízení místního muzea a jeho umístění do zámečku, k čemuž došlo 15. srpna 2003, kdy bylo slavnostně otevřeno v jeho půdních prostorách (viz
https://www.smrzovka.cz/muzeum-mistni-historie/d-1248). Vedle něho je v objektu nadále kulturní středisko, obřadní síň a výstavní síň.