Nadat de ridderlijke familie von Esch tegen het einde van de 16e eeuw uitstierf, werd het kleine dorpje in de Eifel steeds minder belangrijk. Beide kastelen, het boven- en onderkasteel, raakten in verval. Wat overblijft is het eenvoudige kasteelhuis (Zehnthaus), dat op een kleine verhoging staat, en de voormalige banmolen van de Heren van Esch aan de oever van de Salm, ten noorden van Esch.
Het rustige dorpje in de Eifel is ook de geboorteplaats van Eberhard von Esch (1393-1451), een dagloner in dienst van graaf Gottfried von Esch. Nadat Onze Lieve Vrouw aan hem was verschenen, zette hij zich in voor de bouw van een klein gedenkteken op de plaats van de verschijning, wat nu de bedevaartskerk van de Visitatie van Maria in Klausen is. Eberhard kreeg steun van de plaatselijke bevolking en van priesters uit Sehlem, Rivenich en Krames. De dominees van Trier, de Heren van Esch, stelden hun eigen land ter beschikking voor de bouw. In 1442 was de bouw van het Marienhäuschen voltooid; het was drie treden lang, twee treden breed en drie treden hoog. Het was aanvankelijk open naar het noorden toe. De zuidelijke muur had een raam voor een Mariabeeld, dat Eberhard had gekocht na de verkoop van zijn bezittingen in Trier. De eerste bezoekers brachten offers. Kort daarna bouwde Eberhard een kleine hut naast het heiligdom, opnieuw met toestemming van de Heren van Esch, zodat hij voor de talrijke pelgrims kon zorgen en hun geschenken tegen diefstal kon beschermen. Als gevolg daarvan bleven de berichten over gebedsverhoringen en wonderen zich verspreiden, waardoor steeds meer bezoekers en smekelingen werden aangetrokken. In 1444 werd de eerste hermitage van Eberhard vervangen door een grotere kapel. De nieuwe kapel mat vijf treden in lengte en breedte, had een altaar en werd voltooid in 1445. De vierkante kapel werd pas ingewijd nadat een extra uitbreiding was voltooid. In de kloosterkroniek werd het een "kerk" (ecclesia) genoemd, in documenten een kapel. Volgens Dohm (2001) werd de nieuwe kerk van 26 bij 12 treden toegevoegd aan een bestaande toren van twee verdiepingen. Het hele complex (26 treden lang en 12 treden breed) werd ingewijd door aartsbisschop Jakob von Sierck op 25 maart 1449 op de Aankondiging van de Maagd Maria. De bouwmeester was waarschijnlijk Peter Lienen uit Klüsserath/Mosel. De kluizenaar Eberhard stierf in 1451. Hij werd waarschijnlijk begraven in de later nieuw gebouwde Mariakapel voor het miraculeuze beeld of "in cimiterio capelle". Tegenwoordig liggen zijn overblijfselen in een nis onder de altaartafel in de Kapel van Barmhartigheid.