Hrad stojí na bradle vo výške 497 m.n.m. Počiatky osídlenia hradného kopca siahajú podľa archeologických nálezov do obdobia púchovskej kultúry. Na hradnom vrchu bola tiež nájdená keltská minca. V staršej literatúre sa uvádza nedoložený vznik hradu 1128. Prvá písomná zmienka o hrade je z roku 1316, kde sa spomína ako castrum Bestruche, v držbe Matúša Čáka Trenčianskeho. Po Moháčskej bitke v roku 1526 bol hrad centrom lúpežných výbojov Jána a Rafaela Podmanických. Po ich smrti sa dostal do vlastníctva významného magnátskeho rodu Balašovcov, ktorým však čoskoro prestal vyhovovať a r. 1631 si na úpätí hradného kopca postavili kaštieľ Burg. Balašovci sa zaplietli do Vešeléniho povstania, vďaka čomu hrad cisárska armáda dobývala a poškodila. Neskôr bol poškodený aj počas Tököliho povstania. V roku 1698 hrad spustošili cisárske vojská. Hrad bol síce obnovený, no po výstavbe druhého kaštieľa na úpätí kopca pustol. Hrad páni na dobro opúšťajú v roku 1740. Neskôr, okolo roku 1750 (niektoré zdroje uvázajú i skorší dátum 1676) sa v Podhradí začína výstavba už spomenutého nového, rokokového kaštieľa. 15. januára 1858 o 8 hod. večer postihlo mesto a hrad zemetrasenie, pri ktorom sa údajne zrútila veža väznice. Na konci 19. storočia navštívil hrad aj významný Uhorský pamiatkár, rodák z Bratislavy József Könyöki a takto hrad zakreslil.

Prvým známym majiteľom hradu je Matúš Čák Trenčiansky. Po jeho smrti bol jeho majiteľom Alexander Hedeervári a jeho syn Mikuláš 1324-1354. Žigmund Luxemburský ho dáva v roku 1394 do zálohy Sudivojovi z Ostrorogu. Ten zomiera na prelome rokov 1399-1400 a kráľ ho v roku 1409 dáva do držby PRO HONOR Sudivojovmu zaťovi Ctiborovi zo Ctiboríc. Po smrti jeho syna, taktiež Ctibora ktorý ho ovládal do 1424 sa hrad vracia korune. Žigmund ho teraz daruje svojej manželke Barbore. Nový kráľ Albrecht ho daroval manželke Alžbete. Jej otec Ulrich Cilský dosadzuje na hrad posádku s kastelánom Michalom Baythrharom. 15. marca 1458 ho Matej Korvín za verné služby a za dlh 15 000 zlatých daroval Ladislavovi Podmanickému z Podmanína, ktorého rodu patril hrad 100 rokov. Neskôr ho má Ladislavov syn Ján, od 1504 už barón Podmanický. Po jeho smrti dostávajú hrad jeho synovci Ján a Rafael. Ján zomiera 1545. 1558 rod vymrel Rafaelovou smrťou. Ferdinand I. hrad 13. marca 1560 dáva do dedičnej držby a dostáva sa do majetku Gašpara Serédyho. Po Gašparovej smrti sa jeho manželka r. 1563 vydáva za Ondreja Balašu, ktorý zomiera 1572. 1689 bol hrad Balašovcom odobratýza účasť v povstaní a začal chátrať. 1712 sa zhabané majetky Imricha Balašu dostávajú do vlastníctva rodu Szapáry. Peter Szapáry sa neskôr žení s Teréziou Balašovou. Szapáriovci majetky predajú Móricovi Ulmanovi a ten ich predáva barónovi Popperovi. Na začiatku 20. storočia hrad Popperovcom znárodnia a dostáva sa do majetku turistického klubu, od ktorého ho v roku 2007 odkúpilo mesto Považská Bystrica.