Le sculpteur suédois Carl Milles (1875-1975) a fait l'acquisition du terrain où se trouve actuellement le bâtiment principal de ce que l'on nomme aujourd'hui Millesgarden ("Le parc de Milles") en 1906. Au cours des années, Milles a métamorphosé ce lieu anonyme en faisant construire sa maison et son atelier au sommet de cette falaise aride de Lidingö. Edifié par l'architecte Carl M. Bengtsson, le premier bâtiment, orné de tours, fut achevé en 1908. Milles s'est mis peu à peu à embellir ce lieu qu'il avait agrandi par l'acquisition de terrains adjacents. Il fit don de sa propriété, avec toutes ses constructions et collections, à la Suède.
Millesgarden ne comprend pas seulement les sculptures de Milles, mais également les collections -notamment antiques- patiemment réunies par l'artiste au fil de ses nombreux périples.