Im 13. Jahrhundert wird als erster Teil der Burg der viereckige Wohnturm oder Donjon erbaut. Um 1260 findet wahrscheinlich die erste Belehnung der Burg vom Geldernschen Grafen an Zweder I. von Zuylen von Abcoude statt. Zweder I. ist wahrscheinlich auch der Erbauer der Burg.

Erste urkundliche Erwähnung der Burg erfolgt erst 1322.

1407 stirbt der letzte von Zuylen von Abcoude. Sein Cousin Jacob van Gaesbeek tritt die Erbschaft an. Nach seinem Tod 1459 geht die Burg an die Bischöfe von Utrecht.

Von 1459 bis 1580 residieren die Bischöfe von Utrecht auf die Burg. Die Burg wird ganz modernisiert. Um 1460 lässt Bischof David von Burgund die Burg in burgundischer Art ausbauen, unter anderem mit dem runden burgundischen Turm.

1580 fällt die Burg an den Staat von Utrecht und fängt an zu verfallen, weil der Staat kein Geld für die Burg ausgibt. Die Burg wird von den Duursteder Bürgern als Baumaterialquelle benutzt. Um 1700 ist die Burg schon Ruine.

Ab 1727 ist die Stadt Wijk bij Duurstede Besitzer der Burg.

Nach eingreifenden Restaurierungen in den Jahren 1948 und 1982 wird die Burg heute für Feste und Hochzeiten genutzt.

Quellen: B. Olde Meierink (u.a.) - Kastelen en Ridderhofsteden in Utrecht. Utrecht, 1995. / NKS - Nederlandse Kastelengids. Wijk bij Duurstede