Hrad byl založen v první polovině 14. století (poprvé připomínán roku 1349), pravděpodobně členy rodu Hrádka nebo Janem z Gutštejna.
Nejznámějšími majiteli byli páni z Hrádku. V 15. století hrad několikrát změnil majitele a po husitských válkách začal ztrácet na významu. Jako pustý se uvádí od roku 1556.
Buben patřil mezi hrady bezvěžového typu s plášťovou zdí (tzv. donjon byl integrován do palácového křídla). Do dnešních dnů se dochovaly rozsáhlé zbytky obvodových hradeb, paláce a vstupního braní.