Jedná se o zříceninu kamenného hradu na skalnatém ostrohu vrchu Hradnice nad pravým břehem řeky Sázavy u soutoku s Kamenickým potokem, naproti stejnojmenné vesnici. Svůj název (něm. Wüst-Kosteletz), původně jmenovaný jako Kostelec nad Sázavou, měl obdržet podle toho, že se zde měl nacházet farní kostel pro okolní osady a jeho opevněním měl vzniknout pozdější hrad, který zprvu náležel královské komoře. Spoluautor rozsáhlého vlastivědně-historického díla "Po troskách české slávy" Otomar Schäfer o tom píše následující: "Do které doby lze klásti založení Zbořeného Kostelce, není povědomo, dle všeho stával nejprve na temeni skály kostelík nějaký, který později pevnými zdmi a věží opevněn; byloť to místo na nejvyšším bodu skalnatého vrchu Hradnice z míry příhodné, nedostupné a téměř vybízející k založení hradu - odtud název Kostelce, t. j. opevněného chrámu."
K jeho založení mělo dojít někdy v poslední třetině 13. století, a to za krále Václava II., avšak první písemnou zmínku o něm máme až z roku 1342, kdy ho držel jako zástavu Oldřich Medek z Valdeka, což je důkazem toho, že býval komorním majetkem, jenž byl propůjčován do zástavy různým českým šlechticům a určitého času byl rovněž v majetku církve. Karel IV. ho sice před rokem 1356 vykoupil zpět (podle prof. Augusta Sedláčka ještě za života výše jmenovaného a v roce 1351 zemřelého Oldřicha Medka z Valdeka nebo krátce poté od jeho synů Diviše a Špacmana, kteří právě roku 1356 vyznali, že došlo k vykoupení hradu směnou za statek Zalužany), ale potřeba peněz si vyžádala jeho opětovné zastavení, neboť v letech 1357-1358 ho držel jako zástavu Jakub z Kostelce, syn zemřelého podkomořího Frenclina. Ten byl poté opětovně vyplacen a 10. ledna 1360 ho získal Jan z Hardeka a jeho manželka Helena, dcera saského knížete Rudolfa. 13. března 1365 bylo majestátem císaře Karla IV. ustanoveno, že po smrti Jana z Hardeka se má Zbořený Kostelec stát věnným statkem jeho manželky Heleny. Poslední zmínku o Janu z Hardeka máme z roku 1376, kdy podával faráře do Kostelce, ale zda byl hrad dán jeho vdově, tak o tom nenacházíme žádné relevantní zprávy, ale nejspíše k tomu nedošlo, protože od roku 1385 ho dědičně držel Chval ze Rzavého (též se psal z Kostelce), jenž byl také vyšehradským purkrabím a zemřel někdy v období mezi lety 1387-1390. Se svou manželkou Eulalií z Netvořic měl syny Bohuslava, Jana a dceru Johanku, přičemž Jan zemřel kolem roku 1395 a hrad si po něm uzurpoval Mikuláš (Mikš) z Šeslic, který svá práva postoupil v roce 1399 Janu (Ješkovi), proboštovi kostela Všech Svatých na Pražském Hradě. Právo na držení hradu totiž získal předchozího roku, kdy probíhal spor mezi proboštem Janem a zvíkovským purkrabím Zachařem ze Šlovic, jenž skončil tak, že právo na Zbořený Kostelec obdržel jak kněz Jan, tak Mikuláš z Šeslic.
Roku 1399 byl hrad prodán s příslušenstvím královskému lovčímu Filipu Lantovi z Dědic, jemuž byl udělen královský souhlas s touto koupí v následujícím roce. Ten však měl řadu sporů s Chvalovou vdovou Eulalií, která měla na Zbořeném Kostelci zapsáno věno a nesouhlasila s tím, aby se z tamního zboží stalo manství, což se nakonec vyřešilo až u zemského soudu 7. března 1406. Nedlouho poté byl hrad prodán a jeho novým držitelem se stal Jan, řečený Sádlo ze Smilkova, jenž ho pak odkázal v roce 1414 manželce Martě, Přibíkovi z Chotyšan, Janu Střížkovi ze Střížkova a Vojtěchu z Buřenic. Po jeho násilné smrti roku 1421 ho získal syn Jan ze Smilkova, jenž ho kolem roku 1443 prodal Kunešovi Bezkočovi z Dubé, který náležel ke straně "pod jednou způsobou", a tudíž k odpůrcům Jiřího z Poděbrad. Když loupil a drancoval po celém okolí, tak byl v roce 1449 hrad obležen Zdeňkem ze Šternberka a Pardusem Rychmburským, avšak k jeho dobytí nedošlo a následně nastalo křehké příměří, ukončené 23. května 1450 dobytím hradu, jehož hradby byly rozbourány a pustý hrad později připadl právě Zdeňku ze Šternberka, přičemž byl roku 1454 prohlášen jako králi připadlá odúmrť, avšak sám Kuneš Bezkoč (či Rozkoš) z Dubé se s tímto nesmířil a obrátil se na zemský soud, který však dal za pravdu předchozím událostem, aby v roce 1456 byl hrad vyňat z manství a Zdeněk ze Šternberka ho mohl připojit ke konopišťskému panství.
Následně byl opuštěný hrad opětovně obnoven a opevněn, protože Zdeněk ze Šternberka byl odpůrcem Jiřího z Poděbrad. Avšak roku 1467 ho dobylo královské vojsko a následně ho zapálilo a částečně pobořilo (zejména hradby a věž), aby nemohl být nadále využíván k těmto účelům. Za nějakou dobu se Zbořený Kostelec navrátil do rukou Šternberků a držel ho při konopišťském panství Jan ze Šternberka, syn Zdeňka ze Šternberka, který zemřel v roce 1476. Svého otce však o mnoho let nepřežil a dědictví po něm převzali synové Zdeněk mladší a Jiří, aby se po jeho rozdělení dostal Zbořený Kostelec do rukou prve zmíněného šlechtice. Roku 1496 zemřel Zdeněk mladší ze Šternberka. Protože nezanechal po sobě žádné dědice, připadlo jeho panství královské komoře a ta ho darovala Ladislavu ze Šternberka a Kateřině, matce zemřelého. Jako pustý hrad je Zbořený Kostelec připomínán v letech 1569-1610 jako součást konopišťského panství, stejně tak ještě v taxe za rok 1671. V té době však z něj byly již dávno pouhé ruiny, o něž se nikdo příliš nestaral. Teprve 31. prosince 1965 byla zřícenina zapsána do státního seznamu kulturních památek (viz
https://pamatkovykatalog.cz/hrad-zboreny-kostelec-zricenina-a-archeologicke-stopy-2169501), avšak její havarijní stav se nikterak nezměnil, pokud nepočítáme statické posouzení zříceniny z roku 1995.
Přesto je tato romanticky vyhlížející hradní ruina krásným doplněním zdejšího kopce a dokladem toho, že kolikrát dnes, kde nic není, býval před stovkami let čilý život, než se odsud přesunul jinam a je svým způsobem varování nám i budoucím, že nic není stálé a trvalé a mihnutím oka může být vše úplně jinak. Na závěr ještě dodejme, že hrad navštívil náš básník Karel Hynek Mácha, o čemž nalezneme zmínku v jeho literárním zápisníku z let 1833-1835, ale přímo na hrad směřovala řada jiných, mnohdy hromadných návštěv v podobě různých spolků a školní mládeže (16. července 1911 výlet sokolské župy středočeské), které později nahradili turisti (první turistické značení sem bylo zavedeno v roce 1902 a s drobnými změnami obnoveno roku 1920) a trampové, jež si odtud dosud užívají výjimečné výhledy do posázavského kraje. Vynechat bychom však nemohli také řadu různých výtvarných umělců, např. 4. prosince 1905 sem zavízali členové pražského Českého klubu fotografů amatérů, kteří zanechali své stopy po tomto mnohdy přímo ve svém díle.