Ce bel immeuble faisait autrefois partie du couvent des annonciades. Cet ordre religieux s’installa à cet endroit en 1607. Il occupait alors l’espace compris entre la rue de Saintes, la rue de Charleroi et la rue des Juifs. La « maison des frères » est la partie subsistante d’un corps de bâtiments qui bordait un côté du cloître de l’église Saint-Maurice, aujourd’hui disparu. Le pignon gauche s’appuie contre une autre aile du cloître datée de 1608. Supprimé en 1784, le couvent a été morcelé et vendu. En 1883, les lieux sont transformés en école par les frères de la doctrine chrétienne. Leur longue occupation du bâtiment lui donne son appellation actuelle. En 1978, la Ville de Nivelles acquiert l’ensemble et entreprend une longue rénovation. Pendant celle-ci, l’étude des façades décapées a permis de situer la construction du bâtiment entre 1620 et 1650. À l’intérieur, un très bel escalier occupe le fond du hall. Il est caractérisé par une rampe sculptée et une main courante peinte au 18e siècle afin d’imiter le marbre rouge. Depuis 2004, l’édifice accueille l’office du tourisme de Nivelles, la maison du tourisme du romain païs et la confrérie dèl târte al djote.
Classement comme monument le 6 octobre 1982