Unklar ist, von wem die Burg erbaut wurde. Es gibt dazu mehrere Legenden: so sollen Riesen, Römer oder Normannen die Burg erbaut haben.

Mit einiger Sicherkeit kann gesagt worden, daß die Motte zwischen 800 und 1150 aufgeworfen und mit einer Holzburg versehen wurde: archäologische Untersuchungen haben erwiesen, daß der Hügel um 1000 aufgeworfen wurde. Um 1150 wurde der Hügel mit der heutigen Ringmauer aus Stein umgeben. Sicher ist, dass diese Mauer aus Tuffstein 1203 bestand: in kriegerischen Auseinandersetzungen in den Jahren 1203 und 1204 erlitt die Burg Schäden, die mit großformatige Backsteinen repariert wurden.

Im 13. Jahrhundert war die Motteburg schon veraltet und wurde an die Wünsche der Zeit angepasst. Jedenfalls wurde ein Turm erbaut, ihre Funktion ist jedoch nicht klar. Schon im 14. Jahrhundert verlor die Burg ihre militärische Funktion: sie wurde ganz von Umbauung eingesperrt.

Bis zur Hälfte des 17. Jahrhunderts war die Burg in Händen der Leids Burggrafen als Lehen der Grafen von Holland. 1651 wurde der burggräfliche Besitz von der Stadt Leiden gekauft. Seitdem dient die Burg als Symbol das Altertum der Stadt.

Der grüne Burghügel wurde mit Obstbäumen bepflanzt und gut gepflegt. 1660 wurde das Monument um einen Zugangstor mit einem Stadtwappen von Pieter Post versehen und das Herrengasthaus mit Kutschhaus erbaut. Der Zaun rundum die Burg stammt gleichfalls aus dem 17. Jahrhundert. Damals hat es auch ein Labyrinth in der Burg gegeben.

In der Mitte des 18. Jahrhunderts wurde ein schöner formeller Garten auf dem Burghügel angelegt. Zur Hälfte des 19. Jahrhunderts wurde der Garten umgeformt im romantischen englischen Stil. Dieser Zustand ist bis auf heute bewahrt worden.

Quellen: J. Stöver (u.a.) – Kastelen en Buitenplaatsen in Zuid-Holland, Zutphen, 2000 / H.L. Janssen (u.a.) - 1000 jaar Kastelen in Nederland, Utrecht, 1996 / P. van Reijen – Middeleeuwse Kastelen in Nederland, Haarlem, 1979 / F.W. van Gulick – Nederlandse Kastelen en Landhuizen, Voorburg, 1960