La construction sera achevée entre le dernier quart du XIIIe s. et le début du XIVe s., probablement à l’initiative d’Arnould V. L’importance des dettes qu’il laissa – près de 5000 livres selon la réserve instituée par testament en 1304 – reflète à la fois la difficulté à tenir son rang et, peut-être, à conduire les grands chantiers naguère entrepris. Les murs d’attente ne furent cependant pas employés, et le projet primitif fut réduit aux proportions plus raisonnables qu’on lui connaît, soulignées par l’infléchissement progressif des nouvelles courtines. Le plan en fer à cheval de la dernière tour d’angle, sa voûte réalisée en gros moellons de grès, et ses arbalétrières tôt adaptées aux besoins d’une artillerie naissante, distinguent l’ouvrage de la première phase de construction. La haute-cour étant enfin close, une porte à arc cintré débordant put être percée au rez de la tour maîtresse, symétrique à celle de la tour septentrionale.
Le castrum, désigné comme tel en 1314 et tombant dans le patrimoine de la famille de Looz par alliance, passera de mains en mains jusqu’à l’achat par la famille de Glimes, en 1435. Il ne sera sommairement décrit que dans l’état qu’Antoine de Glimes fit dresser de ses biens en 1440 : ung chasteil à tours, mares et fosses doubles, basse court, jardins, cortis joindant le dit fosseis de dite chastiel. Parallèlement, la fouille de la basse-cour a révélé plusieurs bâtiments en matériaux organiques sur solins de pierre. Ils étaient établis sur une terrasse de plus d’un hectare, probablement remodelée lors de la construction du château. Les pâturages et les champs de céréales caractérisent le paysage, à côté de l’érable et d’autres espèces fructicoles introduites, annonciatrices de la gestion du site à la période moderne. Jardins, pépinères et viviers sont alors bien entretenus. La vigne et le lin y sont caractéristiques.