Au fil des siècles, le château connait une succession de travaux pour renforcer son caractère défensif jusqu’à ce qu’il soit en partie ravagé durant la guerre de Cent Ans (entre 1337 et 1453). Reconstruit par la suite, il devient une demeure seigneuriale. L’édifice primitif en grès est rehaussé au 16e siècle d’un niveau en brique rouge pour y aménager des colombiers.
Le château de Montmorency est classé Monument historique depuis 1929. L’intérieur ne se visite pas, car il abrite un hébergement pour les groupes. On peut toutefois admirer l’architecture et les abords du site en allant déjeuner au restaurant situé dans la cour du château.