Op een rotsplateau dat de Maas domineert, bevinden zich de resten van het oude oratorium van Ben en van een donjon, die respectievelijk dateren uit het begin en het einde van de 12e eeuw. Van dit oratorium, opgericht door de heren van Beaufort, resten slechts overblijfselen van de apsis en enkele muren. Het is vermeld in een charter uit 1127 waarbij een gemengde gemeenschap toestemming kreeg om er de mis bij te wonen. Van de donjon blijft enkel een stuk muur over van een tiental meter hoog waarbij men zich een idee kan vormen van het vroegere gebouw (ingang langs de bovenverdieping via een intrekbare trap, latrine, schietgat enz.).
De heerlijkheid Beaufort kwam in 1276 bij het graafschap Namen tijdens de zogenaamde "guerre de la Vache", de "oorlog van de koe" waarbij een landbouwer uit Jallet (graafschap Namen) een koe stal van een landbouwer uit Ciney (prinsbisdom Luik). De dief werd ter dood gebracht tegen de orders van Henri de Beaufort, baljuw van de Condroz, en die besliste samen met de heer van Jallet om Ciney te plunderen als represaille. De inwoners van Hoei belegerden vervolgens Beaufort en de heer moest beroep doen op de graaf van Namen voor zijn verdediging, maar werd tegelijk zijn vazal. Van toen af aan was Beaufort een strategisch punt tussen het graafschap Namen en het prinsbisdom Luik. Een volgende belegering door de inwoners van Hoei herleidde in 1430 de donjon tot ruïne.
Geklasseerd als site op 18 november 1982
Geklasseerd als monument op 3 juli 1984
