Entre la Sauer et le Gaybach, le plateau du Castellberg surplombe la vallée et le village de Wallendorf. Dès le 4e siècle avant J.-C., une colonie celte s'est installée sur cette surface de plus de 40 hectares. Vers 130 av. J.-C., les Trévires celtes construisirent une grande cité, un oppidum, protégée par un imposant mur de fortification tout autour. Avant la guerre des Gaules de Gaius Iulius Caesar (58-50 av. J.-C.), elle faisait partie des plus importantes colonies trévires. On y frappait des pièces de monnaie trévires, y compris des pièces en argent et en or.

Après la conquête de la Gaule par les Romains, un temple a été construit vers la naissance du Christ sur le point le plus élevé de la montagne. Une petite colonie de commerçants et d'artisans, et peut-être des quartiers de pèlerins, étaient rattachés au sanctuaire local. La colonie fut partiellement abandonnée au cours des invasions germaniques du 3e siècle, puis complètement à la fin du 4e siècle.

Depuis la "Römerturm", une tour d'observation en bois située au bord du plateau, on a une vue étendue sur les vallées de la Sauer et de l'Our et sur le Luxembourg voisin.

Le Castellberg peut être atteint par un petit détour, par exemple en empruntant le circuit de randonnée 44 du parc naturel Südeifel .