Na tomto místě se nacházel původně slínovcový pahorek Rožberk (německé názvy: Rosperg v Knize zádušních odkazů z let 1410-1411, Friedenberg na oslavu konce třicetileté války a Kroatenberg podle původu vojáků, kteří zde tábořili za sedmileté války), který byl rozvezen v souvislosti s výstavbou královéhradecké pevnosti, neboť v jejím okolí nesměla stát žádná vyvýšenina, z níž by ji mohlo ohrožovat nepřátelské dělostřelectvo. S jeho rozkopáváním a rozvážením na pevnostní náspy začali vojenští sapéři 21. května 1766. V říjnu téhož roku byla materiálem z Rožberku zasypána labská ramena u sv. Anny. Intenzivní pracovní činnost nebyla přerušena ani tuhou zimou, i když počátkem roku 1767 museli dělníci na Rožberku dobývat zmrzlou zem tuhou jak kámen a dokonce při tom dvakrát došlo ke smrtelným zraněním. Později byl na jeho místě zřízen vojenský hřbitov, který byl posvěcen roku 1787. Ten byl později zrušen a nahrazen roku 1810 nově založeným na Pouchově.
Všechno výše zmíněné je doložitelné až do dnešních dob. Problém je však s existencí původní kapličky, jež měla podle lidové tradice původně stát na jeho vrchu. Nikdo z královéhradeckých dějepisců se však o ní nezmiňuje. Přesnější údaje o jejím vzniku se rozcházejí. Nad vchodem je sice letopočet 1709, ale podle vedoucího odboru památkové péče královéhradeckého magistrátu Ing. arch. Jana Falty jde o mýlku: „Ze spisku z minulého století máme údaj o roku 1769. Domníváme se však, že jde spíše o rok 1799, protože uvnitř kapličky je tento údaj vyrytý až do omítky. Je možné, že při opravách portálu za první republiky byl nápis tak poškozený, že si zjednodušili práci a prostě jej změnili na 1709. To by znamenalo, že kaplička stála dříve než hradecká pevnost. My však máme údaj o tom, že vznikla až později.“ Nedá se však vyloučit, že tu skutečně mohla stát, ale byla rozebrána kvůli rozvážení Rožberku a obnovena až na místě, jež po zaniklém kopci zůstalo. Podle některých zdrojů ji však měl postavit královéhradecký měšťan Josef Neudhart již uvedeného roku 1799, a to na místě původní dřevěné kapličky. Jisté tak je pouze to, že v roce 1864 z ní byl odcizen obraz, jenž se našel u Opatovic nad Labem poškozený, ale malíř Josef Scheiwl ho opravil, takže byl opět zavěšen do kapličky. 3. května 1896 došlo k poškození kapličky, takže musela být opravena. Královéhradecký magistrát na ni tehdy věnoval 50 zlatých. V roce 1905 byl do ní dán obraz Panny Marie Pomocné, který nahradil starou malbu. To již byla kaplička postoupena jezuitům, kteří za ni a přilehlou louku s polem zaplatili 2 400 K.
Tato drobná stavba má skosená nároží, je kryta stanovou střechou a zakončena makovicí s křížkem. Datování je umístěno nad vchodem do objektu. Tato kaplička je v majetku města, na rozdíl od velké kaple, která je v jejím sousedství a je v majetku jezuitů. Město v roce 2009 přistoupilo k úpravě zevnějšku, která spočívala v novém nátěru fasády a střechy, opravě kované mříže, pískovcového ostění a urovnání dlažby. Dláždění bylo nadzvednuté kořenovým systémem stromu, který se pravděpodobně táhnul směrem k pramenu, u něhož byla ve své době kaplička postavena. Po vnějších úpravách přišel na řadu interiér a potřeba výmalby. Následujícího roku se místo očekávaných monochromních barevných vrstev a ornamentálních dekorů restaurátorům odhalila netušená původní figurální výmalba. Nyní tak zdobí interiér kapličky ústřední obraz s Pannou Marií a Ježíškem, andělé po obou stranách a modrá kopule se zlatými hvězdami nad nimi. O významu maleb svědčí drahá barva.
Poněvadž se tam rádi zastavovali kolemjdoucí a konali svoji pobožnost před obrazem Bohorodičky, rozhodla se královéhradecká Mariánská družina paní a dívek v roce 1904 vystavět v těchto místech prostranný kostel, aby všichni zbožní sem přišedší se mohli lépe věnovat svým pobožnostem a zároveň bylo vyhověno potřebám katolických věřících ze Slezského Předměstí. Na velký kostel však chyběly peníze, tak byl postaven tento kostelík v pseudorománském slohu, který byl zpočátku označován jen jako kaple. Základní kámen této stavby byl vysvěcen P. Aloisem Frýdkem 18. října 1908, ale stavební povolení bylo vydáno po mnoha peripetiích až 20. července 1910. Autorem jejího plánu je architekt Rudolf Němec. Ten byl následně upraven stavitelem Františkem Plesnivým z Hradce Králové. Po její dostavbě se však nedostávalo peněz na vnitřní vybavení, hlavně na oltář a trvalo notně dlouho vybrat potřebný obnos jednotlivými sbírkami i výnosy z různých akcí. Kostelík byl nakonec vysvěcen až 26. srpna 1923 královéhradeckým biskupem ThDr. Karlem Kašparem.
Od té doby zde konali mše jezuité a ve správě kaple jim pomáhali místní vysloužilí kněží. Tak tomu bylo až do roku 1950, kdy byli jezuité v rámci nechvalně známé akce "K" internováni. Kostel se tak stal filiálním na Pouchov, což platí dodnes. Poprvé byl opraven za P. Josefa Tichého, jenž se stal pouchovským farářem v roce 1983. Podruhé až roku 1999, a to za nezištné podpory farníků. 18. srpna 2013 se u příležitosti výročí 90 let od vysvěcení kostela konala poutní mše svatá na Rožberku. Jako hlavní celebrant sloužil Mši svatou světící biskup Josef Kajnek. Koncelebrovali P. František Hylmar SJ a současný správce farnosti Hradec Králové - Pouchov, kam kaple Na Rožberku spadá, P. Miloslav Šiffel. Farnost vydala k výročí též pamětní brožuru přibližující historii poutního místa. V roce 2015 získal kostel nové varhany, jež nahradily staré šlapací harmonium z roku 1960, před kterým tu bývaly varhany z období výstavby kostela, jež byly přestavěny rychnovským varhanářem Václavem Poláčkem (viz
https://www.varhany.net/cardheader.php?lok=903). Posvěceny byly 11. ledna téhož roku a jejich dostavba dokončena 30. srpna 2017.
Je to jednolodní budova orientovaná ve směru východ-západ, zakončená trojdílnou apsidou. Loď osvětluje po obou stranách vždy jedno velké sdružené románské okno a jedno jednodílné menší. Za hlavním oltářem se nachází polokruhem sklenuté okno s vitráží, jež má představovat Pannu Marii. V čele předsíně je umístěn portál zdobený po stranách polosloupy. Na jižní straně vedle vstupu stojí kruhová věžice mírně převyšující hřeben střechy. Objekt je zdoben románskými architektonickými prvky, celý ho obepíná obloučkový vlys.
U jižní stěny stojí socha evangelisty sv. Marka s jeho atributy, lvem a knihou, postavená 20. března 1860 nákladem manželů Peřinových a Wintrových a přemístěná sem v roce 1936 z původního stanoviště při silnici do Slatiny. Je to dar manželů Josefa a Aloisie Peřinových a Josefa a Augustiny Vintrových. Na přední straně soklu je nápis: „Ke cti a chvále sv. Marka, Evangelisty Páně. Ó, jak krásné jsou nohy těch, kteří pokoj zvěstují, kteříž zvěstují dobré. K Řím. 10.15.“ K ní ještě dodejme, že před svátkem sv. Marka roku 1911 byl soše rozbit obličej a levá ruka s Biblí. To byl jeden z důvodů k jejímu přemístění, neboť na svém původním místě byla cílem různých vandalů. Při výstavbě sídliště bylo rozhodnuto o tom, že bude zničena, ale akademický sochař František Bartoš ji svým nákladem opravil a přenesl v roce 1977 těsně ke kostelu. Naposledy byla socha opravena roku 2001.
Hlavní oltář, který byl pořízen až v roce 1923, je dvoudílný. Spodní opukovou část navrhl architekt Josef Fanta a zhotovil ji sochař Josef Václav Škoda. Vrchní bronzová část byla navržena akademickým sochařem Čeňkem Vosmíkem a odlita pražskou firmou Josef Hoffmann. Sochu Panny Marie na bočním oltáři zhotovil hradecký sochař Josef Václav Škoda a na zhotovení mobiliáře se podílel i místní truhlář Josef Netuka. Nový obětní stůl a dřevěný kříž s plastikou Krista zhotovil sochař František Bartoš, který vyšel ze závěrů 2. vatikánského koncilu. Dřevěné lavice pocházejí z roku 1922 a vyrobil je místní truhlář Josef Netuka.
Ve věži je zavěšen zvon o hmotnosti 50 kg, o výšce 63 cm, průměru 55 cm a s nápisem: „ULIT JSEM KE CTI A SLÁVĚ BOŽÍ NA POČEST PANNY MARIE ROŽBERECKÉ. PÉČÍ TOVARYŠSTVA JEŽÍŠOVA A PŘIČINĚNÍM MARIÁNSKÉ DRUŽINY DAM V HRADCI KRÁLOVÉ. ZA NEJD. BISKUPA J. EXC. JOSEFA DOUBRAVY L. P. 1911 ULIL ARNOŠT DIEPOLD, ZVONAŘ V PRAZE. POUTNÍCI: VOLEJTE SE MNOU: S BOŽSKÝM DÍTKEM MÁTI, RAČ NÁM POŽEHNATI.“