Z hradu sa zachoval iba kus vonkajšieho opevnenia (asi 3 x 6 m) a pomerne zachovalá sústava cisterien na vodu. Hrad prestavili na kamenný už pred príchodom Tatárov (1240) a patril do Svätobenediktínskeho opátstva, ale od roku 1312 už patril Ostrihomskému arcibiskupovi. Spory o hrad medzi uvedenými vlastníkmi pokračovali a hrad rýchlo upadal. Už v roku 1411 je uvádzaný ako Castrum Frascum – hrad porúchaný. Je doložené v historických listinách, že v roku 1563 hrad už nestál. Obyvatelia Breznice celé stáročia hrad rozoberali a materiál používali na stavbu domov.