Tvrdí se, že svoje pojmenování získal zámek od nedalekých skal, jimž se říká Zkamenělý zámek, které bývaly jinak nazývány jako Starý Karlštejn, a to z německého pojmenování Kahlstein, tj. holý kámen. Avšak řada autorů tuto teorii odmítá, Karel Adámek ho dokonce jmenuje jako Karlštýn, ale těch verzí v průběhu staletí nosil více - Karlštýn, Karlštejn, Karlstein (třeba Schaller, viz
https://chartae-antiquae.cz/cs/maps/42761/?view=-109.32647761209785,84.57012819081234,6), Kalštýn, Karlštein, Carlstein (viz
https://chartae-antiquae.cz/cs/maps/13020/?view=-58.562670914199266,111.16649888671742,6) a Kalštejn. Stejně tak není přesně známo, kdy vznikl sám zámek, protože co pramen a autor, to jiná období jeho stavby.
Když otevřeme knihu "Soupis památek historických a uměleckých v království Českém od pravěku do počátku XIX. století. XI. Politický okres Chrudimský" od Dr. Karla Chytila, můžeme se dočíst následující:
"Karlštejn.
ZÁMEK LOVECKÝ.
Schaller, XI. 176. - Sommer, V. 253. - Brychta, Památky I. 174. - Adámek, Sborník 53."
Zámek vystaven Filipem hrabětem Kinským, jenž od r. 1763 byl majitelem panství rychmburského, k němuž pozemky zdejší náležejí. Jako rok založení udává se 1776 (Sommer 1837 - vor beiläufig 60 Jahren). Leží v lesích na návrší. Budovy rozloženy kol prostranství obdélného (obr. 116.). Přední budovy přízemní sloužily účelům hospodářským; mezi nimi z předu vjezd, k němuž vedla přímá cesta lesem; mezi trakty předními a zadními zeď s dvěma urnami pískovcovými, rocailových tvarů, v traktu zadním střední čásť obytní obdélníková, o jednom patře; po obou stranách nižší křídla; k levému připojuje se kaple sv. Jiljí (obr. 117.), k pravému kuchyně.
KAPLE SV. JILJÍ; oltář svěcen 20. IX. 1708 opatem kláštera hradištského. Čtyrhrané stavení s polookrouhlou apsidou; nad střechou dřevěnou věžka; v presbyteři dvě oválná okna. Vnitřek pilastry a silně vyloženými římsami rozčleněn; v lodi kruhová klenba. Šířka lodi 4.50 m. Kaple v nynější podobě a úpravě z doby Filipa Kinského. Strop malovaný, rocailová ornamentika, uprostřed monogram Panny Marie.
Oltář, na tumbě dřevěné sošky sv. Jiljí, Huberta a Eustacha v malebném uspořádání; nad nimi obraz představující Pannu Marii, jakožto orodovnici, jež béře pod plášť Adama a Evu; v pozadí lesní krajina. XVIII. stol. 2. pol.
Budova zámecká, v středu, jednopatrová, zděná, stěny ovržené s bílými pásy; střecha sedlová, dvojdílná (obr. 118.). Po stranách vchodu prosté sloupy hladké: na nich spočívá balkon prvního patra s kutou mříží; tato složena z čtyrhranných prutů a stáčených ozdob v podobě C a S. Z dolní předsíně rozloženy schody na obě strany; v prvním poschodí v předu prostranná síň, ostatek komnaty. Dveře na veskrz dubové; zámky, štítky klíční, kliky a závěsy železné kuté, rocailových tvarů.
Kamna hliněná (obr. 119.) v síni prvního patra; zeleně polévaná, trojboká, umístěna do rohu; tvary rocailové; linie vypnuté a zakroucené, bohatě členěné profily; v čele výplň s rocailovou kartuší, v ní relief: dívka, která spočívá na podobě lidské, vedle pes a pyramida; jiná postava podává jí korunu. Na vrchu krbu plně modelovaná postava Turka sedícího s nohama skříženýma; tvář začerněná. Výška celku 2.20 m. Šířka 0.80 m. Naproti v rohu podobný Turek, menší, práce slabší; části urážené.
Na webových stránkách zámku se pak hovoří o tom, že byl vybudován v letech 1770-1775 ve stylu středoevropské architektury pozdního baroka, takže jediným průnikem je to, že investorem stavby byl Filip hrabě Kinský z Vchynic a Tetova. Se stejným obdobím pracují též památkáři. Ještě před jeho vznikem se zde nacházela panská obora se střelnicí, která zanikla v roce 1825, i když v některých zdrojích se hovoří, že vznikla až po výstavbě tohoto loveckého zámečku, přičemž v kapli sv. Jiljí konal kněz ze Svratky služby Boží v 2. den prosební a na sv. Jiljí. Následně byl zámek využíván jako lesovna (podle K. V. Adámka však lesovna čili panský jägerhaus byl původně v čp. 3, ale zámek nesl čp. 1) a sídlo některých panských kanceláří, od roku 1784 bychom tu našli panskou hospodářskou správu. Po Kinských z Vchynic a Tetova vlastnil Karlštejn Karel Alexandr kníže Thurn-Taxis, jenž ho koupil roku 1823 za 1 000 000 zlatých. Za něho zde působil významný lesník, botanik, zemský měřič a ředitel dolování v horách na česko-moravském pomezí Petr Jindřich z Lauseckeru (z Luseku), jenž znalecky řídil pokusy o těžbu železné rudy v letech 1831-1832 (viz
https://www.svratka.cz/?lsvr_listing=lovecky-zamecek-karlstejn).
V rukou rodu Thurn-Taxisů zůstal zámek až do roku 1945, kdy byl zabaven státem na základě dekretů prezidenta Beneše. Poté byl užíván k různým účelům, zejména jako rekreační středisko a v 50. letech 20. století i jako obrazárna, a vystřídala se zde řada různých majitelů nebo uživatelů (do roku 1950 KČT, 1950-1952 Čs. obec sokolská, 1952-1956 TJ Spartak Svratka), aby ho následně koupil n. p. ČKD Sokolovo. V roce 1961 lovecký zámeček získal podnik Restaurace a jídelny Žďár nad Sázavou a roku 1963 n. p. Kras Brno, za něhož byl objekt 24. ledna 1964 zapsán do státního seznamu kulturních památek (viz
https://pamatkovykatalog.cz/zamek-lovecky-zamecek-777019). V té době byl stav objektu velmi špatný, krovy byly prohnilé, půdy částečně zřícené, okna vytlučená a hospodářská část úplně v dezolátním stavu. Použitelné místnosti pronajímal n. p. Mars Svratka k noclehu, a to za 5 Kčs, zejména šlo o zimní období, ale i v létě tu bývalo plno. Předposlední vlastník a jeho právní nástupce OP Prostějov sídlo v letech 1967-1972 zrestauroval a uvnitř přestavěl na školicí a rekreační zařízení.
Když přišla sametová revoluce, tak se nevědělo co s ním, nakonec došlo k prodeji tohoto neudržovaného objektu do soukromých rukou, i když zprvu nebyl o něj zájem, což byla zejména otázka ohledně jeho ceny. V roce 2011 ho nakonec získala pražská společnost Glacis Forte, která v ní zvažovala vybudování galerie výtvarného umění (viz
https://www.idnes.cz/jihlava/zpravy/zamek-karlstejn-u-svratky-na-zdarsku.A140519_2065905_jihlava-zpravy_mv) a o 3 roky později nechala vyhotovit stavebně-historický průzkum (Ing. arch. Jan Pešta, Mgr. Renáta Růžičková, Ing. Tomáš Kyncl; viz
https://www.shp-pesta.cz). Díky tomuto kroku nedošlo k jeho zániku, což bylo snad až pravděpodobnou věcí. V letech 2014-2020 pak proběhla velká a nákladná rekonstrukce zámku, jež mu opět vdechla punc pozdního baroka. Slavnostně byla zakončena tím, že 15. září 2020 došlo ke slavnostnímu znovuvysvěcení kaple sv. Jiljí, které vykonal královéhradecký biskup Mons. JUDr. Ing. Jan Vokál, JU.D., a to rovnou ze dvou důvodů, prvním bylo to, že stál v čele diecéze, pod níž patří Svratouch; druhým to, že se narodil v nedalekém Hlinsku. Na závěr uveďme jako zajímavost to, že se zde v roce 1950 natáčel film Temno a zámek se mihl též v několika epizodách Četnických humoresek, které tu vznikaly roku 2001. Více o něm mohou najít lidé na tomto odkazu:
https://www.zamek-karlstejn.cz.