A mélyen vallásos Wendler Ferenc álmában több alkalommal is megjelent Szűz Mária.

1853-ban egy bányaszerencsétlenség során hite szerint Szűz Mária segítségének köszönhetően maradt életben maradt. Így 1855 tavaszán rokonokkal és ismerősökkel együtt munkához látott, hogy hálából és mementóul utat készítsen a Kő-hegyre, majd Scitovszky János hercegprímás, esztergomi érsek engedélyezésével megkezdte a kápolna építését, amelynek alapkövét 1855. május 5-én Brunner János plébános rakta le. A kápolnát 1855. október 15-én szentelték fel a Szeplőtelen Fogantatás tiszteletére.

Miután megözvegyült Wendler Ferenc elhatározta, hogy a kápolnáról az élete hátralevő részében megfelelően kíván gondoskodni, ezért a kápolna melletti sziklába fáradságos munkával  egy barlangot vájt, majd 1878-ban oda is költözött, hogy az épület közelségében élhessen. 1897. február 21-én hunyt el, sírja a kápolna mögött található.

Elhunyta után fia, Wendler András, majd 1920-tól unokája, Grósz Mátyás vette át a kápolna gondozását, aki remeteként ott is élt a barlangban. A kápolna búcsúja az évek során az egész környék ünnepévé vált, amelyre rengeteg zarándok érkezett. Az épületet 1944 és 1945 között több találat is érte, majd az 1946-ban kezdődött kitelepítést követően a köveit elhordták.

A  helyi közösségek támogatásával a 2000-es évek elején építtették újjá, felszentelésére 2003. október 15-én került sor.