José da Costa e Silva nasceu em Vila de Povos, área de Lisboa, a 25 de Julho de 1747.
Com vinte e dois anos partiu para Bolonha na companhia de João Ângelo Brunelli, por determinação do rei D. José, para estudar arquitetura civil na Academia Clementina. Em Itália estudou com os mestres Petronio Francelli e Carlos Bianconi, aprofundando os seus conhecimentos de Arquitetura, Geometria, Aritmética, Perspetiva, Mecânica e Hidrostática. Na Academia de Bolonha obteve diversos prémios e, em 1775, foi nomeado Académico de Honra. Viajou por Génova, Veneza, Florença, Roma e Vicenza, onde aproveitou para observar as obras de Andrea Palladio (1508-1580), conhecer as ruínas de Herculano e Pompeia e o Palácio Real de Caserta, de Luigi Vanvitelli (1700-1773).
Antes de regressar a Portugal, apresentou à Academia de S. Lucas o projeto de um palácio real, que lhe granjeou o título de Sócio de Mérito dessa Academia.
Entretanto, em 1779, a Universidade de Coimbra convidou-o para Lente de Arquitetura, mas José da Costa e Silva declinou o convite. Em 1780 regressou a Lisboa, trazendo consigo um novo estilo arquitetónico – o Neoclássico –, que apreendera na Academia Clementina e nas viagens que fizera em Itália; trouxe, também, títulos e diplomas e uma coleção de desenhos e tratados de arquitetura.
Em Lisboa tornou-se um profissional respeitado. Em 1781 foi nomeado professor de Arquitetura Civil da Real Academia do Desenho. Oito anos mais tarde, José da Costa e Silva foi encarregado de projetar o edifício do Erário Régio, que viria a ser o primeiro edifício público de linguagem neoclássica de Lisboa. Em 1792 riscou o Teatro de S. Carlos, que substituiu o teatro de Bibiena, destruído pelo terramoto de 1755, inspirando-se nos teatros italianos de Milão e de Nápoles. Projetou, ainda, o Asilo de Inválidos Militares de Runa, em Torres Vedras, para D. Maria Francisca Benedita. Coube-lhe a responsabilidade de dar um parecer sobre o Palácio da Ajuda, juntamente com Francisco Xavier e, de acordo com Regina Anacleto, projectou o Palácio da Brejoeira, em Monção, no Minho.
Em 1811, quatro anos após a partida da Família Real Portuguesa para o Brasil, o monarca chamou José da Costa e Silva ao Rio de Janeiro. A 24 de Julho, o "Primeiro Arquitecto das Reais Obras" chegou ao Brasil, acompanhado de três irmãs, duas sobrinhas e um criado. Aqui procedeu a pequenas intervenções em edifícios já construídos e concebeu alguns projetos, para além de ajudar na reconstrução de S. Salvador da Baía, cidade arrasada pelas chuvas de 1813. Desenhou, também, dois sarcófagos para o infante D. Pedro Carlos (que morrera em 1812) e construiu uma varanda no Rio de Janeiro, utilizada como palco das cerimónias de aclamação de D. João VI.
Em 1818, José da Costa e Silva desfez-se da sua coleção de objetos de arte, composta por camafeus, estampas, pinturas, moldes e livros, que vendeu à Biblioteca do Rio de Janeiro pela quantia de um conto e seiscentos mil reis.
Faleceu no Rio de Janeiro no dia 21 de Março de 1819.