La ville d'Anvers fit construire ce musée à l'endroit où se trouvait auparavant la citadelle du Zuidkasteel, qui avait dominé la ville pendant des siècles.
Dès 1840, le legs du chevalier Florent d'Ertborn, bourgmestre d'Anvers sous Guillaume Ier, vint enrichir le noyau du musée constitué de peintures flamandes des XVIe et XVIIe siècles de nombre d'oeuvres de Primitifs flamands et de maîtres du quattrocento : des artistes tels que Van Eyck, Van der Weyden, Memling, mais aussi Fouquet, Antoine de Messine ou Simone Martini firent ainsi leur entrée au musée. Le musée des Beaux-Arts possède par ailleurs le fonds le plus important d'oeuvres de James Ensor et une exceptionnelle collections de Rik Wouters.