Dès 1610, Sébastien Deppe, curé de Morlanwelz, fait ériger un petit oratoire en bois appelé chapelle du Petit Montaigu et voué au culte marial. Attirant de nombreux fidèles et pèlerins, celle-ci devient rapidement trop petite. Aussi, Sébastien Deppe fait construire en 1613 une chapelle rectangulaire en pierre de taille fournie par Jean Gaudé, maître de carrière à Feluy. De cette chapelle, il reste le portail cintré (déplacé) encore présent dans le mur de clôture.
En 1633, l’édifice est agrandi : un transept, un clocheton surmontant la croisée (pas celui visible actuellement) ainsi qu’un cloître sont ajoutés. En 1743, les chapelains allongent la demeure de quelques mètres, y consacrent une partie au culte et surmontent le sanctuaire improvisé d’un clocheton dont l’emplacement est encore visible aujourd’hui. En 1776, la chapelle de Montaigu ainsi que des bâtiments implantés au nord-est du complexe sont démolis. Il subsiste alors le corps de logis voisin de la chapelle ainsi que deux annexes : le fournil (existant encore aujourd’hui) et l’écurie (démolie vers 1829). Ensuite, le prieuré devint la demeure d’un garde à cheval des chasses royales. Cette fonction fut notamment confirmée lors de la restauration de 1974-1976 qui permit de mettre au jour un plafond en bois dont treize solives de couleur rouge brique sont ornées de rinceaux de couleur crème ainsi que treize caissons de teinte gris clair sont couverts de feuillages noirs ainsi que d’oiseaux (dont un rapace et un échassier) et d’animaux poursuivis par des chiens. Le tout évoquant une scène de chasse. Le 9 février 1829, l’ex-prieuré est vendu à la société charbonnière de Mariemont. Il comportait alors une maison d’habitation de 18 m sur 6,15 m, un fournil, une écurie, un jardin et une prairie. Dans le courant du XIXe siècle, la partie habitée s’accrut d’un appentis accolé au côté sud-est ainsi que d’une annexe de 16,5 mètres de long sur 5 mètres de large formant avec elle un angle droit. Avant 1898, elle fut divisée en trois petites maisons qui devinrent par après la propriété de Raoul Warocqué. Ensuite, en 1919, elles deviennent la propriété de Léon Guinotte, président du conseil d’administration des Charbonnages de Mariemont – Bascoup. En 1953, la commune de Morlanwelz achète l’ancien prieuré aux héritiers de Léon Guinotte et le restaure afin d’en faire un lieu dédié à la culture. Les derniers travaux de restauration ont lieu entre 2018 et 2020 et voient l’aménagement de « La maison du Temps qui passe », laquelle accueille les collections permanentes relatives à l’histoire de Morlanwelz ainsi que des expositions temporaires et le centre d’histoire et d’archéologie de Morlanwelz.
Classement comme site (prieuré et marronniers longeant la rue) le 12 mars 1993
