L’École royale de Notre-Dame des grâces pour enfants orphelins fut fondée en 1650 à l’initiative du père Baltazar Guedes sur le terrain de l’Olival, à proximité d’une ancienne chapelle. La construction des dépendances eut lieu courant XVIIe. La création de l’Académie royale de la marine et du commerce, dont les salles furent inaugurées dans des bâtiments appartenant à l’école, remonte à 1803. Le nouvel édifice de l’Académie, d’après un projet de José da Costa e Silva revu par Carlos Amarante, prévoyait d’occuper d’anciennes dépendances de l’école. Cependant, la durée des travaux (1807-1930) et les modifications constamment apportées aux bâtiments entraînèrent la disparition de l’école et de son église. Cette Académie fut dissoute en 1837, date de la fondation de l’Académie polytechnique.

Pendant le siège de Porto (1832-1833), le bâtiment en chantier fut occupé par les libéraux comme hôpital de campagne et les salles furent fermées entre 1832 et 1834.