Benediktínsky kláštor, pôvodne kostolík, bol postavený v roku 1224 nitrianskym biskupom Jakubom. V roku 1528 kláštor obsadilo a opevnilo cisárske vojsko. V r. 1664 jezuiti celý objekt zrekonštruovali a v r. 1717 znovu postavili kaplnku sv. Andreja-Svorada a Beňadika s novou kupolovou vežou. V objekte kláštora sa nachádza vchod do pôvodnej jaskyne pustovníkov. Po zrušení jezuitského rádu v roku 1773 začal kláštor pustnúť. Po roku 1989 sa začali rekonštrukčné práce na obnove celého komplexu, pričom bol obnovený kostolík, opravené múry a kláštorné objekty, upravené parkovisko a vstup do objektu.
V roku 1924 bola dokončená obnova Skalky, ktorej sa zúčastnil celý národ. O tejto obnove sa rozhodlo v deň biskupskej vysviacky prvých slovenských biskupov – 13.12.1921. Poškodený kostolík na Malej Skalke bol obnovený zásluhou nitrianskeho biskupa dr. Karola Kmeťka. V deň jeho posvätenia (r.1924) sa na Skalke zišlo niekoľkotisícové zhromaždenie. V súčasnosti pokračujú rekonštrukčné práce v objektoch kláštora, ktorý bol zničený v 70. rokoch vandalmi. Spustošená bola kaplnka, nádvorie i jaskyňa. Dnes už možno v kaplnke slúžiť sv. omše s možnosťou navštívenia jaskyne. Púte na Skalku sa konávali okrem 17. júla aj na sviatok sv. Marka a sviatok Nanebovzatia Panny Márie (15. augusta).
Veriaci z okolitých dedín sa od rána schádzali na námestí v Trenčíne. Po sv. omši – okolo ôsmej sa pohla procesia na Skalku. Vpredu niesli kríž, za ním kráčala mládež. Nasledoval kňaz. Procesiu viedol arcibiskup ostrihomský, inokedy biskup nitriansky, prepošt novomestský a pod. za asistencie 8 kňazov. Išli pešo – aj späť. Za nimi kráčal pán Trenčianskeho hradu s celou suitou. Za nimi starosta mesta s celým magistrátom. Všetci oblečení v čiernom. Pred nimi nesú zástavu mesta. Za magistrátom nasledovali cechy – každý má svoju zástavu. Najprv idú krajčíri, po nich zlatníci, súkenníci, čižmári, mlynári, mäsiari, tesári, ševci, stolári, kožušníci, murári, hrnčiari, klobučníci, pivovariči, pekári. Za cechmi nasledovali jednotlivé dediny pod zástavami a so svojim kňazom. Týchto pútí sa pravidelne zúčastňovali tisíce ľudí. Nie inak je tomu i dnes.
