Em 1803, o arquiteto e professor lisboeta José da Costa e Silva (1747-1819), introdutor do neoclássico romano em Portugal e autor de obras emblemáticas como o Teatro Nacional de S. Carlos (1793), concebeu o primeiro desenho arquitetónico (hoje desaparecido), da Academia Real de Marinha e Comércio da Cidade do Porto.
No ano seguinte, Carlos Luís Ferreira de Amarante (1748-1815), arquiteto autodidata, engenheiro de pontes, desenhador, gráfico e ilustrador, natural de Braga e radicado no Porto, apreciou o projeto de Costa e Silva, que considerou estar "(…) segundo as regras, e de bom gosto (…)", mas que criticou por não ser regular, uma vez que uma das fachadas principais formava um ângulo obtuso decorrente da existência de uma calçada, de casas e de árvores, cuja remoção aconselhava, sugerindo o alinhamento das cimalhas da igreja e da torre com o novo edifício.
Costa e Silva aceitou as alterações que lhe foram propostas e Carlos Amarante ficou incumbido da construção e assistência ao edifício. Em 1807, apresentou dois debuxos, que diferem no tratamento da igreja, convento e claustro do Colégio dos Meninos Órfãos, fundado em 1651 pelo padre Baltazar Guedes (1620-1693).
Para a concretização da obra concorreram a Câmara Municipal do Porto, a Companhia Geral da Agricultura das Vinhas do Alto Douro e o imposto "do real de vinho" ou "subsídio literário". A construção foi demorado devido à instabilidade económica e política do país, assim como à necessidade de se adaptarem as instalações às diversas funcionalidades do edifício.
No decurso do Cerco do Porto, o imóvel foi utilizado como hospital de sangue, de apoio às tropas liberais, o que acabou por conduzir à necessidade de realizar obras de recuperação. Enquanto decorreram estas obras, as aulas tiveram lugar no palacete do 2.º Visconde de Balsemão, na Praça de Carlos Alberto.
Em 1857, o Colégio dos Órfãos foi finalmente transferido do edifício ocupado pela Academia Politécnica do Porto para a Rua dos Mártires da Liberdade e, mais tarde, para o Seminário Velho, perto do Cemitério do Prado do Repouso. Foi nesta altura que se constituiu uma comissão incumbida de projetar estabelecimentos científicos, literários e artísticos a funcionar no espaço da Academia.
Um novo programa para o edifício foi gizado em 1862, desta feita da autoria do engenheiro e professor Gustavo Adolfo Gonçalves de Sousa (1818-1899), o qual compreendia a instalação de uma Biblioteca, da Escola Industrial e da Academia Portuense de Belas Artes no edifício da Academia Politécnica.
Em 1889 foi solicitado ao engenheiro António Ferreira de Araújo e Silva um novo plano, que contemplasse também a inclusão da Escola Médico-Cirúrgica do Porto.
No final de Oitocentos, as expropriações das lojas sedeadas no piso térreo permitiram que as obras passassem a avançar a bom ritmo. Terá sido por esta ocasião que terão desaparecido o Passeio da Graça e a viela dos Condenados ou do Assis.