Der Kern der Burg entstand in der Mitte des 14. Jahrhunderts in Form einer kleinen Feste. Die Burg wurde an günstig gelegener Stelle errichtet, um den Handelsweg (der die Städte Sušice und Horažďovice verband) und die bedeutenden reichen Goldseifen entlang des Flusses Otava zu schützen.

In die Geschichtsschreibung tritt die Burg im Jahre 1380, als die Besitzer der hiesigen Länder bereits die Riesenberger waren. An der Wende vom 14. zum 15. Jahrhundert wurde die Burg umgebaut und befestigt und sie zählte unter die festesten in Böhmen. Die geschah so wahrscheinlich in Folge der Kämpfe zwischen Anhängern König Wenzels IV. und den Mitgliedern der Herrenvereinigung, zu welcher auch der damalige Besitzer der Burg, Břeněk Švihovský von Riesenberg, zählte.

Im Jahre 1407 ging die Herrschft Rabí auf Johann von Riesenberg über, welcher als politischer Faktor und späterer Gegner der Hussiten bekanntwurde. Deshalb belagerte und erstürmte das hussitische Heer die Burg zweimal und das in den Jahren 1420 und 1421. Bei der zweiten Belagerung kam hier Jan Žižka um sein zweites Auge. Diese Ereignisse haben die Burg wahrscheinlich am meisten berühmt gemacht.

Nach dem Tode Johanns von Riesenberg fiel die Burg Wilhelmen dem Jüngeren von Riesenberg zu und ging später auf dessen Neffen Půta II. Švihovský von Riesenberg über, welcher dank seinem immensem Reichtum und seiner einflußreichen Stellung (er hatte das Amt des obersten Landesrichters inne) sich um einen nie dagewesenen baulichen Aufschwung des Objektes verdient gemacht hat. Der Umbau wurde wahrscheinlich unter Beteiligung des führenden Architekten Benedikt Reit durchgeführt. Das Burggelände wurde von stattlichen Befestigungsmauern mit einem System vorgeschobener Geschützbasteien umgeben. Půtas Söhne, denen Rabí ab 1504  gehörte, haben sich aber sehr stark überschuldet und waren gezwungen, das ganze Familienvermögen nach und nach auszuverkaufen. Im Jahre 1548  kahm die Reihe auch an Rabí.

In der folgenden Zeit wechselte die Burg oftmals ihre Besitzer - Heinrich Kurzbach von Drachenberg, Diviš Malowetz von Libjejowitz, Wilhelm von Rosenberg. 1570 erhält sie Anam Chanovský von Langendorf, dessen Nachkommenschaft die Burg bis ins erste Jahrzehnt des 18.  Jahrhunderts hinein behielt. Damals gelangte das Objekt, aufgrund schlechten Wirtschaftens der letzten Besitzer und der schweren Zeit in und nach dem dreißigjährigen Krieg schon beträchtlich verwahrlost, in die Hände des Adelsgeschlechtes derer von Lamberg.

Um 1710 vollendete ein Brand den endgültigen Untergang wie auch die Tatsache, daß die frei zugängliche Burg eine wilkommene Quelle von Baumaterial für Bewohner umliegender Dörfer wurde. Die Lamberger schenkten 1920 dem Verein zum Erhalt historischer, künstlerischer und natürlicher Denkmäler in Horaschdowitz symbolisch für 1,- Kč. Zu dieser Zeit begannen erste Sicherungsmaßnahmen zur Restaurierung der Burg. Im Jahre 1945 wurde die Burg in staatliche Hände übergeben und 1978 wurde sie zum nationalen Kulturdenkmal erklärt.