Zámecký vrch byl podle všeho osídlen již v době kamenné, o čemž svědčí řada různých nálezů, z nichž je třeba zmínit zejm. pískovcovou sedící postavu, zlomky kamenné nádoby a hliněnou hlavu nějakého bůžka. Tyto věci zde byly objeveny kolem roku 1840. Posléze tu bylo vybudováno hradiště, jež se svého času přetvořilo na hrad, jehož prvními držiteli byli Bořita z Letovic v roce 1203 a Heřman z Letovic roku 1260. Po nich se počátkem 14. století, resp. v roce 1308, objevují Macek, Hertvík a Stanimír z Letovic, přičemž posledně zmíněný byl v roce 1316 nazýván jako příbuzný pánů z Cimburka.
Za vlády krále Jana Lucemburského přešly Letovice stejně jako jiné moravské hrady, tvrze a statky na český rod Ronovců, takže mezi lety 1322 a 1355 vládl Letovicím Smil z Přibyslavi, po jehož smrti převzali dědictví synové Zdeněk, Čeněk, Hynek, Smil a dcery Eliška (provdaná za Beneše z Kravař) a Markéta (provdaná za Oldřicha z Boskovic). Oba mladší bratři nezanechali po sobě žádné děti, starší Zdeněk a Čeněk drželi společně hrad v roce 1360 (první písemná zpráva o jeho existenci), aby se následně o otcovské dědictví podělili a Letovice připadly Čeňkovi, jenž zemřel někdy po roce 1386. Roku 1388 vládli na hradě Čeňkovi synové Jošt, Zikmund a Smil z Letovic a jejich sestra Anna, později provdaná za Mikše z Kokor, zde měla pojištěných 30 hřiven věna. Následně přejal Letovice Jošt, který se oženil s Eliškou ze Švamberka a zemřel v roce 1402. Jeho nezletilí synové Zikmund a Jan pak získali poručníka v podobě matčina bratra Smila. Roku 1405 užívali hrad Zikmundovi synové Hynek a Čeněk, ale již o rok později byli mrtví a na Letovicích seděl Hynek z Ronova a z Letovic, jenž měl nejspíše pouze dvojici dcer - Elišku a Machnu. Machna se vdala za Markvarta z Lomnice a Eliščiným druhým manželem byl Milota z Tvorkova, který však její díl nezískal, neboť byl prodán v roce 1446 Vaňkovi z Boskovic. Tento stav tak znamenal, že se Letovice rozdělily na 2 poloviny, přičemž sám hrad byl součástí lomnické poloviny. O pozůstalost vedl řadu sporů Markvart z Lomnice a jeho polovinu pak zdědili synové Jan a Čeněk z Lomnice a jejich sestra Jitka, mezi nimiž opět vzplály majetkové nesváry. Ty sužovaly rovněž Albrechta z Boskovic a Čeňka z Lomnice. Albrecht nakonec zemřel roku 1499 a jeho letovický majetek přešel na jeho mladšího bratra Ladislava, jenž v roce 1505 koupil od Jitky z Lomnice i druhou část letovického panství, čímž došlo k jeho opětovnému sloučení.
Pánové z Ronova vládli hradu tedy až do poloviny 15. století, aby následně přešel do rukou moravských pánů z Boskovic, z nichž Ladislavův syn Krištof v roce 1544 prodal hrad s městečkem a s příslušenstvími Krištofu hraběti z Hardeka a Kladska, který se zasloužil o šíření učení Martina Luthera. Po něm zdědil Letovice roku 1558 Volf Dětřich z Letovic a po jeho smrti v roce 1564 Oldřich z Letovic a následně Hanuš Frydrych. Někdy kolem roku 1570 byl hrad přestavěn na renesanční zámek. S Reginou hraběnkou z Hardeka se dostalo zdejší panství Jindřichu Václavu hraběti z Thurnu. To se psal rok 1613. Jeho syn Karel Kašpar z Thurnu prodal Letovice v roce 1642 Jiřímu Štěpánu Bruntálskému z Vrbna. Poté následovala řada cizích šlechticů. 3. května 1645 dobyli zámek Švédové, ale nedlouho poté se odtud stáhli. V roce 1648 vpadla do Letovic švédská posádka z Olomouce, která ovládla zámek i městečko, které nejprve vyplenila a nakonec ho vypálila.
Při druhém švédském nájezdu však nebyl zámek či hrad (občas psáno obojí) nějak poškozen a jak se všude píše, tak ještě roku 1658 nepotřeboval žádné opravy, měl trojici bran a zdvihacích mostů, mnoho pokojů a sklepů. Před předním mostem byl situován pivovar, bednárna a palírna; v hospodářském dvoře před hradem se chovalo na 60 koní a 70 krav, k tomu ještě mnoho vepřů, jimž byli zdejší poddaní povinni sbírat po okolních lesích žaludy a nesmíme opomenout také rozličnou drůbež. Pod hradem pak ještě existovala chmelnice, z níž se sklidilo až 300 měr. V roce 1666 získala Letovice Eliška hraběnka z Náchoda a roku 1668 je od ní koupil ostřihomský kníže Jiří Szelepczenyi z Pohronce, po jehož smrti v roce 1685 byl císařem Leopoldem rozsáhlý majetek rozdělen a rozprodán. Ke konci 17. století navíc zámek získal raně barokní podobu. Roku 1711 získal Letovice Karel hrabě z Roggendorfu, v roce 1724 Heřman Jošt svobodný pán z Blümegenu (v té době dostal zámek barokní obnovu) a jeho syn Jindřich Kajetán udělal ze statku roku 1774 fideikomis. V roce 1788 přešly Letovice dědictvím na syna Františka, jenž je odkázal Josefině de Bellis a Eleonoře hraběnce Kalnokové, oběma rozeným jako z Blümegenu, ale po jeho smrti připadly roku 1820 Petru Heřmanu hraběti Blümegenovi, po němž je zdědil Jindřich hrabě Kalnoky, po něm Gustav Kalnoky a po jeho skonu Alexander hrabě Kalnoky.
Tomuto rodu, který se zasloužil o empírovou a pseudogotickou přestavbu, náležel zámek až do roku 1945, kdy mu byl zabaven a přešel do vlastnictví MěstNV Letovice. V 90. letech 20. století byl zámek navrácen v restituci hraběti Alexandru Kálnokymu, jenž ve spolupráci s městem zahájil statické zajištění a sanaci sklepení jízdáren, v roce 1998 bylo zahájeno statické zajištění vysunuté válcové bašty a později i k rekonstrukci zámeckého parku (viz
http://www.zamekletovice.cz/historie-zamku). Vzhledem k tomu, že byl zámek značně zdevastován a žádal si tak velké množství investovaných finančních prostředků, byl zámek v roce 2004 prodán Bohumilu Vavříčkovi z Boskovic, jenž se snaží navrátit objektu jeho původní tvář a zahladit stopy komunistické "péče", přestože byl zámek 20. října 1964 zapsán do státního seznamu kulturních památek (viz
https://pamatkovykatalog.cz/zamek-18291259). Na závěr chci každého čtenáře pozvat k návštěvě tohoto zámku, i když přišel v minulosti o všechen inventář, ale díky svému majiteli a všem spolupracujícím se dostává do nové reprezentativní podoby, takže se opět stává překrásnou dominantou města Letovic, viditelnou zejména těm, kteří jedou těmito místy po silnici nebo po železnici. Právě díky vstupnému a dobrovolným darům se každou chvíli jeho části mění doslova před očima. Nyní máte šanci ještě do konce října, kdy je objekt otevřen!