Die von Gräften umschlossene Anlage ist Stammsitz des Grafengeschlechts derer von Westerholt, das sich später von „Westerholt zu Gysenberg“ nannte. Die Familie besitzt das Gut urkundlich schon seit 1290.

Wessel von Westerholt (ca. 1300–nach 1378) übergab die Burg als sein freies Eigentum der Kölner Kirche als Offenhaus und erhielt sie als Lehen zurück. Sein Sohn, Wessel von Westerholt († 1388) erbte die Burg. Er wurde als Hauptmann in der Dortmunder Fehde tödlich verletzt und vererbte den Besitz an seinen Sohn Johann von Westerholt, der kinderlos blieb. Zusammen mit Johann wurde der entferntere Verwandte Adolph von Westerholt mit der Burg und der dazugehörigen Burgsiedlung belehnt. Außerdem war Adolphs Bruder Reyner von Westerholt, Richter von Recklinghausen, Mitbesitzer der Güter.