Après l’éperon de la « Ramonette », site du premier château, la crête s’avance dans la boucle de la Semois jusqu’à former un rocher haut et étroit dont les flancs sont escarpés. Cette topographie particulière permit d’établir très tôt une seconde fortification qui défendait le seul accès possible à la cité par le sud (monument et site classés, 26-05-1975).

A la fin du XIe siècle, le château médiéval se présentait comme un vaste donjon rectangulaire (1), aux coins arrondis, de 26 m sur 13 m, à trois étages, comprenant cellier, salle d’armes (2) et chapelle (3). Ce donjon est une innovation, car ce n’est qu’à l’extrême fin du XIe siècle et au début du Xlle siècle que les donjons résidentiels se construisirent, tant en Angleterre que sur le continent. Cette construction importante était séparée de la « Colline de Beaumont » par deux failles et un fossé creusé dans le roc. Un chemin d’accès était aménagé dans la pente nord-est, vers la ville. Ce donjon fut détruit par les Hollandais en 1824. Heureusement, des plans réalisés par le Génie français, en 1764, en gardent encore l’image.
Les bâtiments visibles actuellement sont donc tous postérieurs à la première moitié du XVIe siècle.

Au XVIe siècle, Georges d’Autriche, prince-évêque de Liège, remanie complètement le château. S’il garde l’ancien donjon comme résidence, il fortifie et agrandit l’ensemble.

En 1551, il fait construire une tour massive pour l’artillerie (4) ainsi qu’une petite poudrière (5). Il aménage un nouveau châtelet d’entrée (6) et clôt l’ensemble d’une impressionnante enceinte. Vauban, vers 1678, pour le compte de Louis XIV, repense l’ensemble de la fortification et l’intègre au plan de défense de la ville.

Il aménage de nouveaux bastions d’entrée, un grand arsenal jouxtant le donjon (7), une poudrière plus spacieuse (8) et plusieurs bâtiments destinés au logement des officiers, dont le logis dit « du Major ». Les Hollandais entreprirent également des travaux à partir de 1813. Ils construisirent des bastions et des plates-formes à canon (9), ils rasèrent le donjon pour édifier à son emplacement, en 1828, quatre casernes en enfilade. Elles furent détruites à leur tour, en 1892-1893, pour tenter « d’harmoniser » les constructions du château.
Les flèches  sur le plan indiquent le sens de la visite à l’intérieur du château.

Texte rédigé par I. Tellier. Fiche n° 92.8. Photos : A. Matthys et P. Gillet. Pour en savoir plus : MATTHYS A., 1991. Les fortifications du 11e siècle entre Lesse et Semois. In : 136 BÖHME H.W., édit., Burgen der Salierzeit, I, Sigmaringen, Jan Thorbecke Verlag, (Rômisch-Germanisches Zentralmuseum, Forschungsinstitut fiir Vor- und Frühge-schichte, Monographien, 25), p. 225-280.