Por alvará de 25 de agosto de 1778, D. Maria I autoriza os Religiosos Menores Reformados da Província da Imaculada Conceição a fundarem um hospício. Para tal compram as casas e capela de António José Mendes Guimarães no campo de S. Lázaro (1780). De imediato procedem à mudança e no ano seguinte fazem obras, dando início à construção do edifício conventual, para em 1790 o hospício passar a convento e casa capitular, o Convento de Santo António da Cidade.

Em 1831 é abandonado pelos religiosos. No ano seguinte é cedido à Câmara Municipal do Porto e ocupado pelas tropas inglesas, aliadas dos liberais.

Em 1833 é criada a Real Biblioteca do Porto, por decreto de D. Pedro, instalada no Hospício de Santo António do Vale da Piedade (Cordoaria) e no paço episcopal, composta pelo acervo de bibliotecas particulares e monasteriais confiscadas. Passa a ocupar este edifício em 1842. Na sala de leitura geral, encontra-se um retrato de D. Pedro IV da autoria de João Batista Ribeiro.