António Ribeiro Fernandes Forbes (1791-1862), natural de Fafe e emigrante no Brasil, regressou a Portugal em 1857 e escolheu a Rua do Heroísmo para se instalar. Em 1861 adquiriu um terreno na Rua de São Lázaro, hoje Avenida de Rodrigues de Freitas, onde pretendia construir a sua residência. Os acasos da vida, porém, não o deixaram levar avante este projecto, que apenas foi concretizado pela sua viúva, D. Maria do Carmo Calazans Rodrigues (1816-1901), entre 1863 e 1873.
Entretanto, em 1875, o imponente palacete da Viúva Forbes, de refinado trabalho da pedra e madeiras exóticas, dotado de um grandioso jardim, foi vendido a outro brasileiro (M. Graça, 2002) por 70 contos de reis. O novo proprietário, José Teixeira da Silva Braga (1811-1890), de igual modo natural de Fafe e emigrante no Brasil, regressara a Portugal em 1860 e aqui residiu até falecer.
O seu herdeiro, José Braga Júnior, o segundo dos "braguinhas" portuenses que exerceu o cargo de Vice-cônsul do Brasil no Porto ("Os Brasileiros de Torna Viagem", 2000), promoveu concertos na casa da Rua de São Lázaro e a construção de um novo jardim, da autoria do arquitecto paisagista belga, Florent Claes. No jardim foram introduzidas espécies exóticas, sobretudo sul-americanas, e criado um núcleo museológico de História Natural (I. de ARAÚJO, 1979).
Em 1917, após a morte de José Braga Júnior, o palacete foi ocupado pelo Instituto Superior de Comércio do Porto e, onze anos mais tarde, com a extinção deste, pela Escola de Belas Artes do Porto.
Em 1934, o arquitecto e professor Manuel Marques foi incumbido de gizar um plano de remodelação para o edifício. Nesse mesmo ano, o mestre José Marques da Silva executou um projecto de reestruturação do imóvel.
Este projecto teve uma existência atribulada e a sua concretização apenas avançou no final dos anos 40, após as diligências efectuadas pelo Director da ESBAP, Joaquim Lopes, e pelo respectivo Conselho Escolar.
A 27 de Abril de 1950 foi inaugurado o primeiro de 4 pavilhões destinados a Arquitectura, Desenho e Biblioteca, segundo um programa da Secção de Estudos da Direcção dos Edifícios Nacionais, orientado pelo engenheiro e arquitecto Manuel Lima Fernandes de Sá.
Em 1951 teve lugar a abertura do Pavilhão de Pintura/Escultura desenhado pelo arquitecto Carlos Chambers Ramos e sob a orientação de Manuel Fernandes de Sá ficaram concluídos os primeiros estudos para os pavilhões de Arquitectura e de Exposições, inaugurados em 1954.
O projecto de recuperação e ampliação do palacete foi idealizado pelo arquitecto Octávio Lixa Filgueiras e executado pelo arquitecto Eduardo Brito.
Desde 2006, a Faculdade de Belas Artes da Universidade do Porto passou a dispor de um outro edifício com 5 pisos, traçado pelo arquitecto Alcino Soutinho e erguido em terrenos afectos à Faculdade.