En 1641, le puissant duc de Croÿ acquiert la seigneurie de Péruwelz et son château. Il achève la restauration de l’édifice et de ses jardins, situés sur l’alignement de l’actuelle rue Albert Ier. Dès 1649, la famille délaisse l’endroit et confie le château à son bailli, pour son usage privé et public. Le château sert ensuite principalement de relais de chasse et de chenil pour les meutes du duc de Croÿ. Il se trouvait en effet non loin de la giboyeuse forêt de Bon-Secours. À la fin de l’Ancien Régime, les terres sont saisies et le château se délabre progressivement. Il sert d’abord de résidence au juge de paix, jusqu’en 1803. La propriété est une nouvelle fois vendue en 1809, par parcelles. Les murs extérieurs, le chenil et les tourelles sont alors démolis. En 1852, le site est reconverti en bâtiment industriel, avant d’être partiellement racheté par la ville en 1865, dans le but d’en faire un parc public. Les vestiges de l’ancien château sont intégrés à ce parc paysager. On peut y observer l’ancienne porte d’entrée, sous la forme d’un simple passage. La date de 1642, présente sur un écu, rappelle les travaux effectués par Philippe Emmanuel de Croÿ. Au-dessus, se trouve une niche rectangulaire qui abritait jusqu’en 1972, une statue de la Vierge. Cette porte d’accès conduisait au bâtiment central du château. L’autre vestige relativement bien conservé est le cellier. Celui-ci se trouvait à l’intérieur de la demeure et était destiné à conserver boissons et aliments.
Classement comme site le 6 février 1978