Nach dem Aussterben der Ritterfamilie von Esch gegen Ende des 16. Jahrhunderts verlor der kleine Eifelort mehr und mehr an Bedeutung. Beide Burgen, obere und niedere Burg, zerfielen. Übrig geblieben ist das schlichte Burghaus (Zehnthaus), das auf einer kleinen Erhebung steht und die ehemalige Bannmühle der Herren von Esch am Ufer der Salm, nördlich von Esch.
Das beschauliche Eifelörtchen ist außerdem der Geburtsort des Eberhard von Esch (1393-1451). Eberhard war Tagelöhner im Dienst des Grafen Gottfrieds von Esch. Nachdem ihm die Muttergottes erschienen war, setzte er sich dafür ein, eine kleine Gedenkstätte am Erscheinungsort zu bauen, der heutigen Wallfahrtkirche Maria Heimsuchung in Klausen. Unterstützung fand Eberhard sowohl bei den Bewohnern aus der Umgebung als auch bei Pfarrern aus Sehlem, Rivenich und Krames. Für den Bau stellten Trierer Ministeriale, die Herren von Esch, eigenes Land zur Verfügung. 1442 war der Bau des Marienhäuschen vollendet, es war drei Schritte lang, zwei Schritte breit und drei Schritte hoch. Nach Norden hin war es zunächst offen. Die Südwand wies ein Fenster für eine Marienabbildung auf, die Eberhard nach Verkauf seiner Habseligkeiten in Trier erworben hatte. Erste Besucher stellten Opfergaben auf. Bald darauf baute Eberhard, erneut mit Erlaubnis der Herren von Esch, neben dem Heiligenhäuschen eine kleine Hütte, damit er sich um die zahlreichen Pilger kümmern und deren Geschenke vor Diebstählen schützen konnte. In der Folge sprachen sich Gebetserhörungen und Wunder, die sich ereigneten, weiter herum und sorgten für immer mehr Besucher und Bittsteller. 1444 wurde die erste Eberhardsklause durch eine größere Kapelle ersetzt. Die neue Kapelle maß fünf Schritte in Länge und Breite, verfügte über einen Altar und konnte 1445 fertig gestellt werden. Die Weihe der quadratischen Kapelle erfolgte erst nach Vollendung eines zusätzlichen Erweiterungsbaus. In der Klosterchronik wurde er als „Kirche“ (ecclesia), in Urkunden als Kapelle bezeichnet. Nach Dohm (2001) wurde das neue Gotteshaus mit den Maßen 26 auf 12 Schritte an einen bereits vorhandenen zweigeschossigen Turm angefügt. An Mariä Verkündigung, am 25. März 1449, erfolgte die Einweihung des Gesamtkomplexes (26 Schritte lang und 12 Schritte breit) durch Erzbischof Jakob von Sierck. Baumeister war vermutlich ein Peter Lienen aus Klüsserath/Mosel. 1451 starb der Klausner Eberhard. Beerdigt wurde er vermutlich in der später neu errichteten Marienkapelle vor dem Gnadenbild oder "in cimiterio capelle“. Heute befinden sich seine Gebeine in einer Nische unter dem Altartisch in der Gnadenkapelle.