Le château fut construit au XVIe siècle sur une ancienne forteresse médiévale pour Anne de Montmorency. Il fut inspiré des Palais d’Italie, et réunit les grands noms de l’époque : Jean Bullant,  Jean Goujon, Bernard Palissy, Masseot Abaquesne.

Grand amateur d’art, Anne de Montmorency en fit un luxe de raffinement dans les vitraux, les sculptures, les lambris, les peintures, les marbres, les orfèvreries, les tapisseries, les poteries, les émaux et fontes. Deux sculptures de Michel-Ange ornaient autrefois le portique de l’aile sud, elles sont aujourd’hui exposées au musée du Louvre.

Les éléments de décor intérieur intégrés au château font écho aux collections du musée réparties en 32 salles, appartenant à l’édifice dès ses origines ou ayant été acquis pour le musée lui-même.

Elles réunissent les œuvres autour de 6 thèmes : peinture, mobilier, arts de la laine et de la soie, arts du feu, sculpture, arts du métal. On y admire de l’orfèvrerie, des céramiques ottomanes, des émaux de Limoges, des armes, de grandes tapisseries de renom.