Le calvaire de Rumes, situé à proximité du site de l'ancien château féodal (aujourd'hui, un centre équestre) et de l'ancienne cure est l’un des plus jolis coins de l’entité.
Le 28 mai 1855, un lundi de Pentecôte, fut posée solennellement la première pierre de cette construction en briques et pierres que l'on doit à la générosité de l'abbé Wanne, curé de la paroisse, et de Mme Veuve Crombez à qui appartenait le terrain. Bien qu’il porte le nom de calvaire, il prend la forme d’une chapelle néoclassique de plan semi-circulaire et dotée d’une toiture en dôme. Les colonnes sont en pierre de Maffle tandis que les socles, bases et chapiteaux sont en pierre de Tournai. Des artisans de Rumes participèrent aussi à la construction du calvaire. On doit les statues du Christ en Croix, de la Vierge et de Marie-Madeleine à J.B. Legrand, sculpteur à Arc-Ainières. Celles-ci, formant un calvaire, sont protégées par une grille en fer battu et posées sur un autel frappé des lettres IHS.
La cérémonie de bénédiction du calvaire eut lieu le 3 août 1856. En 1937 et 1938, il fit l’objet d’une restauration. Le 19 avril 1983, ce site est donné à la commune. Pour les Rumois, l’endroit autrefois grignoté par le Rieu du Plouy aujourd'hui voûté, est devenu un coin champêtre où il fait bon se reposer. Depuis quelques années, plus aucune manifestation religieuse ne s’y déroule.
La chapelle est entourée de beaux tilleuls de Hollande qui lui sont contemporains. Ayant dépassé les 20 m de hauteur, ils sont inscrits sur la liste des arbres remarquables. Ces arbres, auxquels les Celtes accordaient déjà des vertus magiques, sont considérés comme sacrés par la religion chrétienne. Ce caractère vénérable est dû à l’odeur de leurs fleurs. Depuis le Moyen Âge, ils sont souvent plantés à côté d’un lieu de culte ou d’un témoignage de la ferveur populaire, comme c’est le cas ici. Ils apportent ici (à supprimer) une valeur esthétique non négligeable, notamment au cours de leur floraison.
En 1944, un message diffusé par la BBC disait : « Georges ira reprendre Yvonne au calvaire ». Il était destiné aux parents de la résistante Henriette Hanotte (« Monique », son nom de guerre, membre du réseau « Comète ») pour les avertir qu'elle était arrivée en Angleterre. En effet, suite à sa dénonciation à la Gestapo, elle avait dû mettre fin à sa mission qui consistait à faire passer la frontière franco-belge à des aviateurs alliés dont l'avion avait été abattu par l'ennemi. Georges, dont parle le message, était le frère d'Henriette, un réfractaire fiancé à Yvonne.
Classement comme site le 22 juin 1984