Tento nejvyšší vrchol Jestřebích hor (něm. Hexenstein, 740,8 m n. m.) býval od dávných dob zalesněným územím (důkazem budiž I. vojenské mapování, viz
https://chartae-antiquae.cz/cs/maps/12793/?view=-79.61019797823512,27.64268169588749,5), aby byl později několikrát lesa částečně zbaven, ať již přírodními poměry, nebo lidskými zásahy, takže již od středověku z něj hleděli mnozí lidé dolů do kraje a kochali se Jestřebími horami tak, jak mohli, přičemž zdejší lesy náležely vrchnosti, kterou byl do roku 1945 rod Schaumburg-Lippe, což nám dokazuje indikační skica stabilního katastru z roku 1840 (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=skicic&idrastru=HRA442018400).
Co se týká jeho pojmenování, tak podle JUDr. a PhDr. Ivana Honla vychází buďto z hebrejského osobního jména Salomo (Šalomoun), nebo z německého slova Salmann či jiného germanismu, který by mohl vyjadřovat jakéhosi strážce hranic, což se dá odvodit od toho, že hřeben Jestřebích hor, občas celkově lidově nazývaných jako Žaltman, se nacházel ve středověku na pomezí vízmburského a později náchodského panství a stárkovského panství. PhDr. Quido Hodura naopak připouštěl to, že výraz Žaltman může pocházet z německého slova Schartmann (z německého slova die Scharte - zub, používaného v souvislosti s ostřím nože nebo skalnatými výběžky ve tvaru zubů) a mohl by znamenat horu nebo průsmyk pod ním se zubovitými zářezy. Vladimír Wolf se pak klonil spíše k tomu, že toto pojmenování vzniklo podle nějakého člověka a jako oporu svých tvrzení využívá trutnovského kronikáře Simona Hüttela, jenž v letech 1583-1584 připomínal, že v kraji tehdy řádil lupič a zbojník Georg Santman (Sandtman) se svou tlupou. Tento jakýsi "Jánošík" využíval Jestřebích hor ke svému úkrytu i jako základnu k tomu, že mohl vyrážet nejen po Čechách, nýbrž i do Slezska a podle některých podání se měl objevit dokonce i na Moravě. Jeho konec přišel v srpnu 1584, kdy ho jeden z jeho hrdlořezů zradil a druhý zastřelil v lese mezi Slavětínem a Markoušovicemi. Toto místo se nejspíše nachází kdesi v místech dnešních Pasek (Brend), tedy nedaleko Žaltmanu a protože strach míval vždy velké oči, mohl být vrchol s hlubokými lesy nazván právě podle tohoto loupežníka. J. M. Vlček ve své stati "Jestřebí hory - Žaltman" z roku 1924 tvrdí zase tohle:
"Do nedávna užívalo se pro naše pohoří většinou názvu Žaltmanské pohoří nebo Žaltmanský hřbet, ale rozhodně zdá se starším a tedy i původním název Hory Jestřebí. Řiditel velkostatku náchodského Nývlt ve svém, již v roce 1734 vydaném spisu "O prospěšnosti vod" potoka Svatoňovického, uvádí tento pěkný český název, jako "od starodávna užívaný". Rovněž v německých spisech ze starších dob nazývá se pohoří toto "Falkengebirge". I v starých mapách nalézáme toto označení. Je dále nesporné a historickými záznamy doložené, že rybník, který se za starodávna rozkládal pod Svatoňovicemi, v místech, kde nyní je přádelna Bří. Buxbaumů, nazýval se "Jestřebec" a hostinec, který je v místě podnes "Na Jestřebci". Ale dokonce i proslulý historiograf Sedláček ve svém monumentálním díle "Hrady a zámky české" se zmiňuje, že v roce 1250 měl býti současně s hradem Wiesenburgem postaven i hrad "Jestřebí" a roku 1437 zase současně s hradem Viesenburgem a Bischofsteinem zbořen. A dále píše doslovně: "Tou dobou (to je v roce 1250) i mnoho tvrzí na Jestřebích horách co strážnice postaveny, od které doby místo Strážkovice pochází. (Obec tato leží na jihovýchodním úpatí Jestřebích hor.)
Pro název Žaltman mluví pověst, že na rovině mezi Petrovicemi a Radvanicemi rozkládala se osada Žaltman, kde se konávaly trhy. A od této zaniklé osady říkalo se pak pohoří Žaltmanské.
Je zajímavo, že Němci, kteří obývají severní úpatí pohoří, neužívají žádného z uvedených názvů, ani v překladu, tedy ani ne "Falkengebirge" ani "Žaltmangebirge", nýbrž říkají všeobecně "Hexensteingebirge", dle nejvyššího vrchu."
Takže stejně jako původ pojmenování, tak nevíme jistě ani to, zda vrchol Žaltmanu sloužil ve středověku jako strážnice zdejších zemských a obchodních stezek. Vzhledem k tomu, že se v okolí nachází dost velkých skal a velké množství balvanů v různé velikosti, nedá se vyloučit, že by tu nějaká dřevěná tvrz se skalistou ochranou mohla někdy existovat, ale k takovému tvrzení však nemáme žádný prokazatelný doklad, pouze třeba slova Jana Karla Hrašeho z publikace "Zemské stezky, strážnice a brány v Čechách":
"Dlužno mi na tomto místě zmíniti se ještě o zaniklé osadě Žaltmanu, která asi 4 Km. severně od strážnice této mezi obcemi Radvanicemi a Sedloňovem se nalézala a v níž prý i hrad Žaltman stával. Cesta k této zaniklé osadě vede ze Strážkovic přes kopce k Vodolovu a Petrovicům a od nich k zaniklé této osadě, která blízko za Petrovicemi na dosti rozsáhlé rovině se rozkládala. Místu tomu, jež jest okrouhlé a na němž ani lesních stromků, ač tam mnohokráte již zasazeny byly, neroste, aniž tráva se ujímá a které tudíž stále a stále, jakoby na věčnou památku, holým, pustým místem ostává, říká sousední lid "na place." Osada Žaltman byla prý v dávných dobách velká a valně obydlena a držívaly prý se tam hlučné trhy.
Blízko této osady viděti jest prastarou studnu, do níž, jak lid si vypravuje, obyvatelé dědiny Žaltmanské pro vodu chodili. Studna ta jest nyní již velmi zanesena, jelikož z ní nikdo více vody neváží. O hradu Žaltmanu není žádné stopy. Od této osady obdrželo snad celé pohoří Žaltmanské své jméno."
Od 19. století se pak tento vrchol stal místem, kam mířili jak turisté, tak milovníci lyžování. Avšak tato místa lákala rovněž geology a mineralogy, neboť Jestřebí hory byly od dávných časů hojným nalezištěm araukaritů neboli zkamenělých pravěkých stromů, které byly v roce 1857 poprvé popsány prof. Heinrichem Robertem Göppertem a od té doby se objevovaly na různých zahrádkách, v Odolově z nich vznikl originální pomník padlým v 1. světové válce a na hřbitově v Malých Svatoňovicích byl jeden velký araukarit použit jako pomník na hrobě bývalého báňského ředitele Ing. Hrdličky. Počátkem 70. let 19. století přeměřil nadmořskou výšku Žaltmanu prof. PhDr. Karel František Edvart rytíř Kořistka a určil ji na 738 m, přičemž znamení této kóty bylo tehdy umístěno na 41,7 m vysokém smrku ztepilém ("Seznam výšek v Čechách, jež v letech 1877 až 1879 od c. k. voj. zeměpisného ústavu trigonometricky stanoveny byly"). Ve 30. letech 20. století zde došlo k vybudování několika vojenských železobetonových opevnění, jež byla čs. armádou opuštěna v roce 1938, aby Žaltman připadl v letech 1938-1945 k Třetí říši. V letech 1956-1957 na sebe Žaltman zase upozornil velkými škodami na lesních porostech od exhalací uhelných elektráren ve Rtyni v Podkrkonoší (otevřena v roce 1911, roku 1955 byla značně rekonstruována) a v Poříčí u Trutnova (v provozu od roku 1957).
Vrcholem místních dějin se však stalo teprve vybudování zdejší rozhledny, k němuž došlo v letech 1966-1967 (první rozhledna však byla v těchto místech navržena již v roce 1921, i když sudetoněmeckým "Riesengebirgsvereinem"; plánovala se zde též turistická chata, jež nebyla realizována), přičemž všechny práce vykonali členové TJ Baník Malé Svatoňovice tak, aby mohla být slavnostně otevřena 24. září 1967, přičemž o den dříve se na Žaltmanu uskutečnil noční sraz turistů, pořádaný TJ Sokol Havlovice, TJ Baník Malé Svatoňovice a TJ Sparta Úpice. Tato ocelová a volně přístupná rozhledna byla vysoká 12 m, výška nejvyšší výhledové plošiny činila 10 m a počet schodů dosahoval 51. Na svém místě vydržela skutečně dlouhou dobu, protože byla několikrát opravena, např. v polovině 70. let 20. století. V roce 2011 byla nakonec TJ Sokol Malé Svatoňovice darována obci. 24. září 2017 byla dokonce slavnostně odhalena pamětní deska u příležitosti 50. výročí otevření rozhledny. Časem však okolní stromy přerostly rozhlednu a rovněž její stav by se nedal označit za bezchybný, proto byla v roce 2019 rozebrána, aby na jejím místě vznikla nová rozhledna o výšce 25 m, výšce nejvyšší výhledové plošiny 23,5 m a o 122 schodech, jejíž slavnostní otevření se uskutečnilo 24. září 2020. V posledních letech sem však nemíří pouze turisté, ale bývají zde pořádány běhy a jízdy na horských kolech na Žaltman, pokud pomineme tradici novoročních výstupů.
Přesto však tato velmi navštěvovaná lokalita, v níž se měly podle různých legend a vyprávěnek pohybovat takové pohádkové postavy jako Lotrando nebo hejkal pro Čechy a rozličné čarodějnice podle Němců, obdržela též svou přírodovědnou ochranu, protože 15. dubna 2005 byla vyhlášena za evropsky významnou lokalitu (viz
https://portal.nature.cz/w/uzemi-2724#/), když pomineme to, že sám vrchol náleží do CHKO Broumovsko, jež vznikla k 1. květnu 1991 (viz
https://drusop.nature.cz/ost/chrobjekty/zchru/index.php?SHOW_ONE=1&ID=2335). Není to nic divného, protože jak již bylo výše zmíněno, Žaltman se objevil v hledáčku různých botaniků, mykologů a zoologů, kteří si všimli řady různých zajímavostí a rarit, jako příklad můžeme dát stať "Druhý příspěvek ku květeně českých lišejníků" od úpického odborného učitele Václava Kuťáka z roku 1910 či článek "Příspěvek ke květeně Žaltmanu" od Theodora Lokvence, jenž vyšel v roce 1957 ve "Zprávách okresního vlastivědného musea v Trutnově". Nejde však jen o živou přírodu, nýbrž i o její geologickou stavbu v podobě karbonských arkóz a slepenců (viz
https://lokality.geology.cz/295#), takže na tomto místě si každý může najít to své, pokud se ho rozhodne navštívit.