V srpnu 1469 poslal uherský král Matyáš Korvín, který válčil jako papežův spojenec proti králi Jiřímu z Poděbrad, svého nejlepšího vojevůdce Františka z Háje, českého zemana a bratrského hejtmana v Čechách zvaného jako „pan Franc“, se 400 jezdci a 300 pěšáky Slezanům, jež vybídl k válce proti králi Jiřímu z Poděbrad. Toto vojsko nemělo být jen jako pomoc slezským knížatům, ale mělo se rovněž zmocnit Broumova.
18. srpna 1469 přitáhl František z Háje do Svídnice a krátce poté (v pátek po Nanebevzetí Panny Marie) osadil svými muži Broumov. Slíbil sice, že se jeho vojáci budou chovat přátelsky ke zdejšímu kléru i obyvatelstvu, ale slib nebyl dodržen. Město i klášter zkusily od této uherské posádky řadu příkoří. Odtud učinil hejtman z Háje vpád do kraje přes
Náchod a v okolí měst Dvora Králové nad Labem, Jaroměře, Hradce Králové a Jičína zle hospodařil. Mnoho vsí vyplenil nebo vypálil, vše, co se jen dalo, zabral nebo zničil. Svůj zájem však mnohdy zaměřil i do Kladska. Jmenujme přepadení města Radkova 25. srpna 1469, jež bylo sice hrdinně bráněno královským vojskem, ale nakonec došlo k jeho dobytí a vyplenění.
Brzy poté umístil svoji posádku též do polického kláštera, ale krátce na to město i klášter vypálil, aby se tam nemohli usadit jeho protivníci. Z Broumova podnikl spolu se Slezany výpravu k Žitavě proti tam válčícím Čechům, jež se však nezdařila. A tak se vrátil do Slezska a když česká vojska v září téhož roku vtrhla na území vratislavského biskupa u Nisy, vytáhl František z Háje se svým vojskem z Broumova k
Náchodu, který chtěl náhlým útokem obsadit. Tento plán se mu rovněž nezdařil, protože útok byl Náchodskými odražen, 50 uherských vojáků bylo pobito a na 100 těžce zraněno.
S hanbou a škodou nejprve vztekle vydrancoval nehrazená předměstí, pak odtáhl a vracel se do Broumova. Jen 3 hodiny po jeho odtažení od Náchoda přirazila k tomuto městu část českého vojska z Kladska, jež se dozvěděla o tomto Hájově útoku. Nejspíše díky poslu z obleženého Náchoda. Část královského vojska stíhala prchající uherské vojáky přes Polici nad Metují až někam nad Pěkov, kde však František z Háje využil zdejší krajiny, s jízdou zaútočil na své pronásledovatele a řadu z nich zabil nebo zajal. K Broumovu tak odtáhl volně a bez jakéhokoliv pronásledování.
Když pak uherský král Matyáš Korvín jmenoval roku 1470 nejvyšším hejtmanem ve Slezsku právě Františka z Háje, odstěhoval se sice tento z Broumova, ale zanechal tu nadále svoji posádku, jež nadále sužovala obyvatele Broumova. Když toto sužování nebralo konce, dohodl se broumovský opat se zdejšími měšťany a s knížetem Jindřichem, synem krále Jiřího z Poděbrad, který sídlil v Kladsku, na tom, jak se zbavit nenáviděných nepřátel.
24. dubna 1472 tak pozval opat všechny uherské vojáky k sobě na oběd a během něho se přiblížilo k městu tiše české vojsko z Kladska, jež bylo tajně vpuštěno do města. Uherští žoldnéři byli přinuceni složit zbraně a nato obdrželi do rukou hole, aby volně odešli, kam jen chtějí. V městě tak zůstala posádka knížete Jindřicha, která častými vpády do Slezska nepřátelům oplácela tomuto kraji učiněná dřívější bezpráví a škody. Navíc král Vladislav později za mnohé služby zastavil knížeti Jindřichovi Broumov i se zbožím broumovského a polického kláštera.
Jak píše Jan Karel Hraše ve svých "Dějinách Náchoda", byl kníže Jindřich starší Minsterberský "srdce dobrého, povahy mírné a příjemné, v boji však srdce udatného, mysli bystré, prozíravé", takže se snažil vyjít se zdejšími měšťany a potvrdil jim všechna předchozí privilegia a svobody, což vyvolalo dlouhodobé spory místních řádových bratrů s broumovskou obcí. K ruce měl zvláštního hejtmana, sídlícího přímo na zdejším zámku. Tím byl v roce 1478 Václav ze Zahrádky. Konec tomu všemu pak učinil list z 24. května následujícího roku, kdy byl zámek a město Broumov s městečkem Policí a všemi vesnicemi i jiným příslušenstvím postoupen Janu ze Žeberka a z Plané, kterému byl kníže dlužen 1 000 uherských zlatých.
Později se dočkal svých majetků i klášter, když opat Pavel II. (oficiálně by měl být psán jako Pavel III., viz
https://www.brevnov.cz/cs/benediktini-a-brevnovsky-klaster/opati-brevnovskeho-klastera) s královským povolením začal vyplácet Broumovsko z předem zmíněné zástavy, aby 23. dubna 1487 opět uznal knížete Minsterberského jako svoji vrchnost a ten na oplátku vrátil klášteru jeho vlastnictví, jehož se však klášter oficiálně dočkal až později. Nejspíše nešlo doslova o návrat všech řádových majetků do rukou kláštera, nýbrž jen o to, že na nich mohli řádoví bratři hospodařit, protože okolo opata Pavla II. je řada nesrovnalostí, když se v některých zdrojích píše, že vykoupil Broumovsko v roce 1488 (viz
https://www.broumov-mesto.cz/histrorie-mesta/d-5827; důkazem by mělo být to, že opat tehdy potvrdil městu privilegium opata Jana z roku 1449) a jinde se tvrdí, že sháněl finanční prostředky delší dobu a s pomocí těch královských vykoupil Broumovsko a Policko od knížete Minsterberského až roku 1493, kdy panovník nařídil opatovi, aby "bude-li třeba, hrad a město Broumov vojensky hájil, jiného než královského vojska do bran nevpouštěl a berni i jiné platy odváděl jen králi." Aby to nebylo jednoduché, tak někteří autoři tvrdí, že nejpozději se broumovské panství navrátilo do rukou benediktinů v roce 1496 a podle Josefa Šrámka byl tento proces zakončen až 21. května 1500, kdy král Vladislav udělil klášteru privilegium, podle něhož již neměly být nikdy více zastavovány či odcizovány jeho statky, ať již českými králi, nebo broumovskými opaty. Ať tak, či onak, v té době byli uherští vojáci z Broumova dávno pryč.