Benediktinský klášter, původně kostelík, byl postaven v roce 1224 nitranským biskupem Jakubem. V roce 1528 klášter obsadilo a opevnili císařské vojsko. V r. 1664 jezuité celý objekt zrekonstruovali a v r. 1717 znovu postavili kapli sv. Andreja-Svorada a Beňadik s novou kupolový věží. V objektu kláštera se nachází vchod do původní jeskyně poustevníků. Po zrušení jezuitského řádu v roce 1773 začal klášter pustnout. Po roce 1989 se začaly rekonstrukční práce na obnově celého komplexu, přičemž byl obnoven kostelík, opravené zdi a klášterní objekty, upravené parkoviště a vstup do objektu.
V roce 1924 byla dokončena obnova Skalky, které se zúčastnil celý národ. O této obnově se rozhodlo v den biskupské svěcení prvních slovenské biskupů - 13.12.1921. Poškozený kostelík na Malé Skalke byl obnoven zásluhou nitranského biskupa dr. Karla Kmeťka. V den jeho posvěcení (r.1924) se na Skalke sešlo několikatisícových shromáždění. V současnosti pokračují rekonstrukční práce v objektech kláštera, který byl zničen v 70. letech vandaly. Zpustošena byla kaple, nádvoří i jeskyně. Dnes už lze v kapli sloužit sv. mše s možností navštívení jeskyně. Poutě na Skalka se konávali kromě 17. července i na svátek sv. Marka a svátek Nanebevzetí Panny Marie (15. srpna).
Věřící z okolních vesnic se od rána scházeli na náměstí v Trenčíně. Po sv. mši - kolem osmé se pohnula procesí na Skalka. Vpředu nesli kříž, za ním kráčela mládež. Následoval kněz. Procesí vedl arcibiskup ostřihomský, jindy biskup nitranský, probošt novoměstský a pod. za asistence 8 kněží. Šli pěšky - i zpět. Za nimi kráčel pan Trenčínského hradu s celou suitou. Za nimi starosta města s celým magistrátem. Všichni oblečeni v černém. Před nimi nesou vlajku města. Za magistrátem následovaly cechy - každý má svou vlajku. Nejprve jdou krejčí, po nich zlatníci, súkeníci, Čižmář, mlynáři, řezníci, tesaři, ševci, truhláři, kožešníci, zedníci, hrnčíři, kloboučníci, pekaři. Za cechy následovaly jednotlivé vesnice pod praporci a se svým knězem. Těchto poutí se pravidelně zúčastňuje tisíce lidí. Ne jinak je tomu i dnes.
