Processamento de Linguagem Natural

Código:

M.EIC022

Sigla:

PLN

Áreas Científicas
Classificação	Área Científica
OFICIAL	Inteligência Artificial

Ocorrência: 2024/2025 - 2S

Ativa?	Sim
Unidade Responsável:	Departamento de Engenharia Informática
Curso/CE Responsável:	Mestrado em Engenharia Informática e Computação

Ciclos de Estudo/Cursos

Sigla	Nº de Estudantes	Plano de Estudos	Anos Curriculares	Créditos UCN	Créditos ECTS	Horas de Contacto	Horas Totais
M.EIC	33	Plano de estudos oficial	1	-	6	39	162

Língua de trabalho

Inglês

Objetivos

Esta unidade curricular fornece uma introdução à área do Processamento de Linguagem Natural (PLN). No final da mesma, os estudantes devem ter adquirido uma compreensão abrangente da área e do seu estado da arte, bem como tendências de investigação recentes.

Resultados de aprendizagem e competências

Os objetivos de aprendizagem incluem:

1. Adquirir os conceitos linguísticos fundamentais relevantes para o processamento de texto em linguagem natural.
2. Entender os algoritmos e as técnicas básicas e do estado da arte para lidar com texto em linguagem natural.
3. Familiarizar-se com as ferramentas e os recursos linguísticos mais avançados em PLN.
4. Compreender e empregar métricas de avaliação para diferentes tarefas de PLN.
5. Ser capaz de abordar um problema de PLN e resolvê-lo com as técnicas, algoritmos e ferramentas apropriados.
6. Ler e compreender investigação atual sobre processamento de linguagem natural.

Modo de trabalho

Presencial

Pré-requisitos (conhecimentos prévios) e co-requisitos (conhecimentos simultâneos)

Conhecimentos de programação em Python.
Conhecimento básico de técnicas de aprendizagem computacional.

Programa

- Introdução ao processamento de linguagem natural: definições, tarefas e aplicações
- Processamento básico de texto: expressões regulares, tokenização, normalização, lematização, stemming
- Modelos de linguagem: n-grams, perplexidade, geração de texto
- Classificação de texto: bag-of-words, n-grams, engenharia de features; classificadores generativos e discriminativos
- Representações vectoriais de palavras: semântica lexical, embeddings de palavras
- Modelos sequenciais: marcação de classe gramatical, reconhecimento de entidades mencionadas; hidden Markov models, conditional random fields
- Redes neuronais em processamento de linguagem natural: modelos neuronais de linguagem, redes neuronais recorrentes, redes encoder-decoder, attention
- Transformadores: self-attention, encodings posicionais, arquiteturas baseadas em transformadores, pré-treino, afinação
- Tradução automática e Resposta a questões: dados, modelos sequence-to-sequence, métricas de avaliação
- Grandes modelos de linguagem: modelos de linguagem neuronais, estratégias de decodificação, leis de escala, alinhamento, engenharia de prompts

Bibliografia Obrigatória

Jurafsky, D. & Martin, J.H.; Speech and Language Processing: An Introduction to Natural Language Processing, 2024 (https://web.stanford.edu/~jurafsky/slp3/ )

Bibliografia Complementar

Lewis Tunstall, Leandro von Werra, Thomas Wolf; Natural Language Processing with Transformers: Building Language Applications With Hugging Face, O'Reilly Media, 2022. ISBN: 1098136799 (https://transformersbook.com/)
Jacob Eisenstein; Introduction to natural language processing. ISBN: 978-0-262-04284-0
Steven Bird, Ewan Klein, and Edward Loper; Natural Language Processing with Python, O'Reilly, 2009. ISBN: 0596516495 (https://www.nltk.org/book/)

Métodos de ensino e atividades de aprendizagem

Os tópicos do curso serão abordados com aplicações motivadoras e com exemplos de código-fonte, quando aplicável. O objetivo é apresentar as ferramentas que serão utilizadas nos trabalhos práticos o mais cedo possível. Ao mesmo tempo, serão fornecidas sugestões para literatura relacionada, como oportunidades de leitura adicional.

Tipo de avaliação

Avaliação distribuída com exame final

Componentes de Avaliação

Designação	Peso (%)
Exame	40,00
Trabalho laboratorial	60,00
Total:	100,00

Componentes de Ocupação

Designação	Tempo (Horas)
Estudo autónomo	50,00
Frequência das aulas	42,00
Elaboração de projeto	70,00
Total:	162,00

Obtenção de frequência

Um aluno inscrito obtém frequência se cumprir a assiduidade às aulas teórico-práticas (máximo de faltas permitido corresponde a 25% das aulas previstas) e se entregar os trabalhos práticos previstos.

Fórmula de cálculo da classificação final

A avaliação será composta por:
- 2 trabalhos práticos (2x6/20)
- 1 exame final (8/20)

Para obter aprovação, aplicam-se as seguintes classificações mínimas:

- Trabalho 1: 10.0 valores em 20
- Trabalho 2: 10.0 valores em 20
- Exame: 7.0 valores em 20

Provas e trabalhos especiais

A avaliação em épocas especiais consiste na elaboração de um Trabalho prático e de um Exame escrito, valendo cada uma destas componentes 50% da nota final. A aprovação na Unidade Curricular pressupõe a obtenção de uma classificação mínima de 50% no trabalho e de uma classificação mínima de 35% no exame escrito.

Avaliação especial (TE, DA, ...)

Todos os componentes de avaliação são exigidos a todos os alunos, independentemente do regime de inscrição e da necessidade de obter avaliação de frequência. Os alunos inscritos ao abrigo de regimes especiais sem frequência de aulas devem acordar com os docentes sessões de acompanhamento e avaliação prática.

Melhoria de classificação

A melhoria da componente distribuída da avaliação só pode ser realizada na edição seguinte da Unidade Curricular.