Ve většině míst bývaly mlýny vrchnostenským majetkem, avšak v Miletíně byl mlýn založen Řádem německých rytířů, a to u rybníka Penížku. Původně byl součástí dvora, k jehož přestavbě došlo roku 1392. Tento stav však netrval dlouho, protože v roce 1410 byl tento mlýn spolu s celým statkem a dokonce i s pivovarem postoupen řádovému členu Benešovi z Choustníka, jenž za všechno zaplatil celkem 800 kop českých grošů. Od té doby se mu říkalo "Panský". Nebyl to však jediný mlýn v městečku, což dokazují slova Jana Nepomuka Lhoty v knize "Miletín nad Bystřicí. Příběhy jeho a památky":
"Mlýn vedle pivovaru, podnes »panský« zvaný, založil bezpochyby také řád Německých rytířů pro svůj klášter; neboť ve smlouvě s Benešem z Chústníka r. 1410. děje se zmínka o mlýně u rybníka pod městečkem. Zdá se, že mlýn byl zprvu níže položen a že voda k němu přitékala z rybníka; později byla hráz vyvýšena a pro mlýn se zřídila zvláštní struha od Miletínka vedoucí mimo bažantnici.
Druhý mlýn na vodě Bystřici, podnes »obecní« zvaný, byl, jak již zmíněno, Jiřím z Valdštýna odprodán obci, kteráž jej pak opět prodala.
K městu náleží také mlýn, »Kačerovský« zvaný, na vodě Bystřici. Před léty, za purkmistra Václava Erbena, chtěla vrchnosť upříti městu tuto příslušnosť a usilovala o to, aby zápisy o tento mlýn se vkládaly do knih pozemkových na kanceláři vrchnostenské, protože tím by tehdejší obvyklé »laudemium« do důchodů vrchnostenských bylo se musilo spláceti. Tomu se městská obec opřela a v rozepři o to nastalé také dosáhla rozhodnutí, že zápisy o tento mlýn vkládati se mají do městských knih pozemkových."
Z tohoto důvodu tak docházelo k různým záměnám držitelů a majitelů miletínských mlýnů (zejména tomu tak bylo u Obecního a Panského mlýna, např. když se hovoří o tom, že Jiří z Valdštejna daroval roku 1580 mlýn obci, zde nešlo o Panský mlýn, nýbrž právě o Obecní a tak bychom mohli pokračovat). Jimi byli v roce 1903 tito lidé - František Fidler, František Fuchs, Josef Hlavatý a František Tuček. Podle urbáře z roku 1561 bylo z Panského mlýna, který v předchozím roce s dalšími majetky zakoupil Jiří z Valdštejna od Albrechta Smiřického, odváděno 10 kop českých grošů a 1 vykrmený vepř ročně. V roce 1645 byl mlýn vypleněn a zapálen, aby byl po ukončení třicetileté války obnoven a zvětšen.
Sám Panský mlýn, u něhož bývala již v 16. století pila, byl již ode dávna zděnou stavbou, což můžeme vidět v indikační skice stabilního katastru z roku 1841 a v jeho reambulaci z roku 1879 (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=skicic&idrastru=BYD248018410), do níž je zakreslena výstavba nové dvojice objektů, z níž jeden je současné čp. 125. Na tomto mlýně se vystřídala řada nájemců. Z nich si zaslouží zmínku mlynář Tobiáš Kytler, jenž byl 13. března 1750 raněn mrtvicí a od té doby měl nepohyblivou pravou ruku. Kdosi mu poradil, aby využil zázračný léčivý pramen v pozdějších Miletínských svatojanských lázních (viz
https://www.miletin.cz/historie/miletinske-lazne-zv-svatojanske/) a skutečně se mu ruka uzdravila, takže s ní mohl již 6. června téhož roku normálně hýbat. V roce 1808 byl zdejším mlynářem František Birna, roku 1853 František Fiedler (za něj byl mlýn 17. června 1846 postižen v panských stodolách vzniklým požárem, jemuž tehdy podlehl zámek, kostel, škola, fara a 212 domů), v roce 1856 Bedřich Fiedler (zmíněn ještě jako panský mlynář), roku 1860 Antonín Rumler, v roce 1875 František Pečenka a roku 1883 Josef Hlavatý († 10. ledna 1911), jenž v roce 1900 zahájil postupnou přestavbu a modernizaci mlýna, kterou dokončil jeho stejnojmenný syn, aby později pekl chléb pro celé miletínské okolí. To již byl jeho mlýn plně automatizován.
Za 1. světové války a těsně po ní mlel mlýn mnohdy naprázdno. Pokud mu bylo nějaké obilí přiděleno státním obilním ústavem, bylo špatné a musel z něj vyrábět mouku takové jakosti, že toho komunisté pod vedením Bohuslava Kňourka a Barbory Krásné využili 12. a 17. srpna 1920 k vpádu do mlýna. Zde kolem 200-300 dělníků zabralo nějakou mouku a v nepřítomnosti mlynáře musela jeho manželka slíbit, že kvalita aprovizační mouky bude mnohem lepší. Zároveň bylo zbito osazenstvo mlýna apod. V těchto těžkých dobách zažádal alespoň o rolnické mletí, ale to mu nebylo povoleno. Na jaře 1923 mu dokonce došla soudní žaloba, kterou na něm vymáhal likvidovaný státní obilní ústav 114 577 Kč jakožto dluh z dřívějšího obchodního spojení. Na ni zareagoval protižalobou, v níž uplatnil vzájemné pohledávky, jež odhadl na 290 000 Kč. Tato škoda mu vznikla vydržováním 2 párů koní a 2 kočí a vydržováním 2 dělníků ve stravě. Zároveň upozornil na to, že státní obilní ústav ho několikrát o zaplacení upomínal, ale vždy o jinou částku, předkládané účty byly vždy vyhotoveny v jeho neprospěch apod.
Později náležel mlýn Kamile Hlavaté, roz. Durstové, jež se v roce 1942 vdala za Němce Alfreda Kristena z Hradce Králové. 17. října 1946 bylo rozhodnuto mlýn zkonfiskovat a uvést jej do provozu, protože tehdy byl mimo provoz. Obytné prostory měly být použity pro učitele a mateřskou školku, hlavní místnost potom ke kulturním účelům. Roku 1948 byla zavedena autobusová linka do Hořic a do Dvora Králové nad Labem. Jako garáž měla být využita stodola čp. 125. V té době byla Kamila Kristenová souzena pro porušení národní cti a ačkoli byla o rok později zproštěna obvinění a získala osvědčení o národní spolehlivosti, mlýn jí nebyl vrácen, neboť šlo o stavbu sloužící obecnému prospěchu, která po trvalém zastavení mlýnského provozu fungovala k mnoha různým účelům, ať již skladovacím, tak výrobním. Dnes je vlastníkem areálu čp. 125 firma S.A.M. Holding s. r. o., jež se zabývá výrobou a renovací povrchů pomocí plazmových a žárových nástřiků (viz
https://www.samholding.cz).