Le château primitif (de même que les remparts) sont en pierres calcaires extraites des carrières toutes proches, certaines exploitées dès l'antiquité romaine. Si le château semble arrondi, ce n'est qu'une vision d'optique. En effet, il est formé d'une juxtaposition de murs plans, rendant pus efficace le tir des armes de trait.

Le vieux village s'appuie sur des remparts qui relie 4 tours : 

  • La tour de l'Ormeau à l'est (dite tour de l'Oume)
  • La tour de la Gardette (dite la Poterne) qui contrôlait l'unique entrée du village. les ferrures de la porte et le système de défense (archère) sont encore visibles
  • La tour médiane
  • La tour du couchant ( tour de l'auro) qui servait de poste de guet

Ce rempart est conservé dans toute sa longueur (300 m environ). Du chemin de ronde subsistent quelques vestiges sur la partie ouest, face sud.

Une deuxième enceinte se situe au sommet de la colline, au contact direct du château actuel. Elle est protégée d'une muraille épaisse. On peut observer des arbalètes et archères en grès rose (grès de Tavien) qui percent cette muraille.

Le donjon est la partie centrale du Château. On y pénètre par une porte d'entrée puissamment fortifiée comme l'atteste le passage qui permettait la manœuvre de la herse et la construction qui supportait son mécanisme.

La cour intérieure a une dimension de 1500 m². Près de l'entrée Est, on peut remarquer une grande salle voûtée (voûtes en plein cintre), et une amorce d'escalier à vis en grès de Tavien, menant certainement aux logements de l'étage. On peut enfin remarquer la Chapelle (8x5m) avec sa double voûte romane décalée, sa tour de guet qui la surmonte et sa façade ouest formée de petits moellons calcaires. Cette chapelle fût apparemment le départ de la construction, et de là, s'est organisé l'architecture du donjon.