Sous l’Ancien Régime, le village de Nismes faisait partie de la châtellenie de Couvin, territoire géré par un prévôt pour le compte du prince-évêque de Liège. Les baillis de cette châtellenie avaient leur résidence à Nismes, au pied du château et de l’ancienne église. Cet imposant édifice prend la forme d’un haut quadrilatère en pierre bleue et brique, bâti vers la fin du 16e siècle ou au début du 17e siècle, sur les bases d’un noyau plus ancien. Il s’agit peut-être de l’œuvre de Sébastien de Martin, lieutenant-bailli de Nismes, décédé en 1616. La maison des baillis s’élève sur deux niveaux et est ouverte sur l’arrière par trois travées de baies. En bas, une porte donne accès à une courette enserrée dans l’ancien mur d’enceinte du château. La longue façade située le long de la rue a été remaniée au 18e siècle par le percement de nouvelles fenêtres et l’ajout de lucarnes dans la toiture. Adossée au corps central, se trouve une construction de la seconde moitié du 17e siècle, érigée en moellons assisés pour la partie inférieure, et rebâtie en briques au siècle suivant, pour la partie supérieure. L’ensemble a été restauré à partir de 2001, dans le but d’installer les maisons de l’urbanisme et du parc naturel Viroin-Hermeton, ainsi que, depuis 2012, les services de l’office du tourisme.
Classement comme monument le 7 juillet 1976