En 669, Pépin de Herstal fit construire une villa à l'emplacement actuel du château féodal de Vêves.
Au début, ce bâtiment n'était qu'une maison de campagne, où Pépin de herstal venait séjourner de temps en temps.
Par la suite, ses successeurs la transformèrent en une petite forteresse, étant donné le climat d'insécurité de l'époque et sa situation privilégiée au sommet d'un rocher dominant la vallée.
Le château actuel, détruit en 1200 et reconstruit aussitôt, a la forme d'un pentagone irrégulier et est construit en pierres du pays. Il est flanqué de quatre grosse tours et de deux autres, plus petites; la plus grosse de ces tours, qui domine l'entrée, a 38 mètres de hauteur et est large de 8 mètres de diamètre. Une lanterne couronne la façade nord avec une horloge très ancienne qui existait déjà en 1630.
Au moyen-âge, ce château abritait les appartements du Baron de celle ainsi que de nombreuses chambres pour y loger princes et seigneurs. Il y avait aussi une cuisine spacieuse, une chapelle, les logements des serviteurs, une grande et belle brasserie très bien équipée, où l'on fabriquait la bière avec le houblon récolté dans les immenses jardins.