Tópicos Avançados em Aprendizagem Computacional

Código:

M.IA009

Sigla:

TAAC

Áreas Científicas
Classificação	Área Científica
OFICIAL	Ciência de Computadores
OFICIAL	Engenharia Informática

Ocorrência: 2024/2025 - 1S

Ativa?	Sim
Unidade Responsável:	Departamento de Ciência de Computadores
Curso/CE Responsável:	Mestrado em Inteligência Artificial

Ciclos de Estudo/Cursos

Sigla	Nº de Estudantes	Plano de Estudos	Anos Curriculares	Créditos UCN	Créditos ECTS	Horas de Contacto	Horas Totais
M.IA	45	Plano de estudos oficial	1	-	6	42	162

Língua de trabalho

Português - Suitable for English-speaking students
Obs.: As aulas serão em inglês no caso de haver estudantes que não falam português. Todos os materiais estão em inglês. Classes are in English iin case there are non-Portuguese speaking students. All materials are in English.

Objetivos

Os estudantes irão obter uma perspectiva global de duas temáticas da aprendizagem computacional extremamente atuais e fruto de grande investigação e desenvolvimento nos últimos tempos: modelos de linguagem de grande escala (LLM) e técnicas de explicabilidade em IA (xAI).

Resultados de aprendizagem e competências

Os estudantes deverão:
- conhecer os princípios de funcionamento de um modelo LLM e as suas principais arquiteturas;
- conhecer técnicas de aperfeiçoamento de LLMs, medidas de avaliação e principais desafios;
- conhecer estratégias de "prompting";
- ter desenvolvimento prático de ferramentas de aplicação e de repositório de modelos, bem como conhecimentos dos principais módulos de programação;
- obter uma visão geral de aplicações multimodais das LLMs, nomeadamente em modelos de processamento de imagem, incluindo imagens biomédicas, e de áudio;
- conhecer os conceitos fundamentais da área de eXplainable AI (xAI);

Modo de trabalho

Presencial

Pré-requisitos (conhecimentos prévios) e co-requisitos (conhecimentos simultâneos)

Conhecimentos de programação em Python (nível médio).
Conhecimentos de estatística.
Conhecimento de conceitos elementares/intermédios em aprendizagem computacional.

Programa

0. Visão geral e apresentação do curso
1. Introdução aos LLMs
2. Paisagens da Arquitetura dos LLM
3. Os LLM na prática
4. Introdução ao Prompting
5. Introdução a LangChain & LlamaIndex
6. Outros tópicos avançados: Grandes modelos multimodais. Transformadores de visão (ViT). Aplicações de ViTs à análise de imagens biomédicas.
7. Introdução à IA explicável (xAI)
8. Metodologias dependentes e agnósticas aos modelos.
9. Explicações locais vs globais.
10. Métodos baseados na importância de atributos, em exemplos, e em regras.
11. Métricas de avaliação.
12. Outros tópicos avançados: técnicas xAI noutros domínios como imagem e texto, desafios atuais.

Bibliografia Obrigatória

Lewis Tunstall (Autor), Leandro von Werra (Autor), Thomas Wolf (Autor); Natural Language Processing with Transformers: Building Language Applications With Hugging Face, O'Reilly Media, 2022. ISBN: 1098136799
Christoph Molnar; Interpretable Machine Learning: A Guide For Making Black Box Models Explainable, Leanpub, 2022. ISBN: 979-8411463330 (https://christophm.github.io/interpretable-ml-book/)

Bibliografia Complementar

Louis-François Bouchard (Autor), Louie Peters (Autor); Building LLMs for Production: Enhancing LLM Abilities and Reliability with Prompting, Fine-Tuning, and RAG, Independently published (21 maio 2024), 2024. ISBN: 979-8324731472
Aurélien Géron (Autor); Hands-On Machine Learning with Scikit-Learn, Keras, and Tensorflow: Concepts, Tools, and Techniques to Build Intelligent, O'Reilly Media; 3rd ed. edição (8 novembro 2022), 2022. ISBN: 1098125975
Chris Fregly (Autor), Antje Barth (Autor), Shelbee Eigenbrode (Autor); Generative AI on AWS: Building Context-Aware Multimodal Reasoning Applications , O'Reilly Media, 2023. ISBN: 1098159225
Michael Munn, David Pitman; Explainable AI for Practitioners, O'Reilly Media, Inc., 2022. ISBN: 9781098119133
Przemyslaw Biecek and Tomasz Burzykowski; Explanatory Model Analysis, Chapman and Hall/CRC, New York, 2020. ISBN: 9780367135591 (https://pbiecek.github.io/ema/)

Métodos de ensino e atividades de aprendizagem

Aulas teórico-práticas com exposição de conteúdos teóricos e resolução de problemas.

Tipo de avaliação

Avaliação distribuída sem exame final

Componentes de Avaliação

Designação	Peso (%)
Teste	40,00
Trabalho prático ou de projeto	60,00
Total:	100,00

Componentes de Ocupação

Designação	Tempo (Horas)
Elaboração de projeto	78,00
Estudo autónomo	42,00
Frequência das aulas	42,00
Total:	162,00

Obtenção de frequência

Nota mínima de 7 (em 20) nos trabalho práticos e nos testes. Resposta a questões de aula submetidas online.

Fórmula de cálculo da classificação final

Haverá dois testes e dois trabalhos práticos.

Os trabalhos práticos deverão ser realizados em grupos de 3 alunos.

Serão realizadas atividades que promovam a participação e o feedback, tais como questões de aula e discussões de grupo.

A nota final é dada pela média pesada das notas teóricas (Teste1 e Teste2)  e notas dos trabalhos práticos (Trab1 e Trab2) de acordo com a seguinte fórmula:

NotaFinal = 0.2 x Teste1 + 0.3 x Trab1 + 0.2 x Teste2 + 0.3 x Trab2

Avaliação especial (TE, DA, ...)

Os estudantes com circunstâncias especiais devem discutir a sua situação com o responsável.

Melhoria de classificação

Os trabalhos não podem ser considerados para melhoria na época de recurso.

Observações

Os testes serão efectuados em modo presencial através da plataforma Moodle.

Os materiais da UC serão disponibilizados no Moodle.

Todos os materiais estarão escritos em inglês, incluindo as provas de exame e testes. As aulas serão leccionadas em inglês (em português se houver apenas alunos de língua portuguesa).