Marqué par l'occupation des Flandres françaises par les armées allemandes lors de la Première Guerre mondiale, le peintre et collectionneur Henri Duhem (1860-1941) choisit de quitter sa maison de Douai avant le déclenchement de la Seconde Guerre afin de protéger sa collection. Il la transporta ainsi au-dessus de Juan-les-Pins à la villa "Mont-Riant". Jusqu'à sa mort survenue en 1941, il vécut entouré des soins prodigués par une nièce de sa femme, Nelly Sergeant, qui devint son unique héritière (son fils Rémy était mort durant le conflit mondial).

Soucieuse de perpétuer la mémoire des deux artistes douaisiens et de répondre aux vœux d'Henri et de Marie Duhem, son épouse décédée en 1918, Nelly Sergeant-Duhem légua l'ensemble de leur collection à l'académie des Beaux-Arts, qui avait accueilli son père adoptif dans sa compagnie.

Cette collection comprend plus de cent peintures, aquarelles et bronzes d'artistes français des XIXe et XXe siècles : Boudin, Breton, Carrière, Corot, Gauguin, Lebourg, Monet, Rembrandt.