En el Campo do Olival, junto a una antigua capilla, nació el Real Colegio de Nuestra Señora de la Gracia de los Niños Huérfanos (1650), por iniciativa del Padre Baltazar Guedes. La construcción de las dependencias se fue desarrollando a lo largo del siglo XVII. En 1803 fue creada la Academia Real da Marinha e do Comércio (Real Academia de la Marina y el Comercio). Inaugurando sus aulas en casas pertenecientes al colegio. El nuevo edificio de la Academia, proyecto de José da Costa e Silva, revisado por Carlos Amarante, preveía dependencias para el colegio. Sin embargo, la demora de las obras (1807-1930) y la adaptación de la construcción a las continuas alteraciones, hicieron desaparecer el colegio y su iglesia. En 1837 se extingue esta Academia y se crea la Academia Politécnica.
Durante el Cerco de Porto (1832-1833), el edificio en construcción fue ocupado por los liberales como hospital de campaña, procediéndose al cierre de las aulas entre 1832 y 1834.