Objetivos

O processamento de grandes volumes de dados tornou-se uma reconhecida mais-valia competitiva na sociedade e no mundo empresarial, uma vez que permite extrair informação útil sobre dados já disponíveis nas organizações. O interesse pela utilização do Apache Spark é impulsionado principalmente pelos recursos de computação avançada que essa plataforma de processamento de dados oferece, tais como: processamento distribuído de forma simples para o utilizador; rapidez de processamento comparativamente a outras alternativas; facilidade de uso, uma vez que dispõe de APIs em várias linguagens como, Scala, Java, Python e SQL; e aplicável a todos os setores de atividade que envolvam processamento de grandes volumes de dados.

Para além disso, o Apache Spark suporta algoritmos de Machine Learning (ML) e de processamento de Streaming, sendo desta forma uma ferramenta extremamente útil e eficaz para soluções de envolvam ML em grande escala, bem como análise de dados em tempo real.

A API que se pretende utilizar é em Python, designada de PySpark, que permite que conhecedores da linguagem Python tenham um tempo de aprendizagem curto para começar a tirar partido da plataforma Spark. A escolha do Python surge porque é uma linguagem versátil que atualmente é bastante utilizada em vários domínios, entre eles, a ciência de dados e a aprendizagem automática

O curso de Introdução ao processamento de dados com Python e Spark enquadra-se na oferta formativa do Programa PRR - Impulso Adultos da U.Porto** e possibilita, mediante concurso, acesso a um número limitado de Bolsas de Incentivo à Formação.

**Programa Multidisciplinar da U.Porto, Impulso Jovens STEAM & Impulso Adultos, projecto cofinanciado pelos fundos do programa Next Generation EU, através do Plano de Recuperação e Resiliência.

Destinatários

O Curso está concebido para pessoas com conhecimentos básicos de programação em Python que pretendam desenvolver competências de análise de grandes volumes de dados.

Conteúdos programáticos da unidade de formação

1. Introdução ao modelo de programação MapReduce;
2. O modelo de armazenamento HDFS e a representação RDD;
3. Ações e transformações;
4. Processamento com pares Key-Value;
5. Definição de funções Lambda;
6. Compreender o fluxo de processamento com DAGs;
7. Configuração do nível de paralelismo;
8. Introdução ao SparkSQL;
9. Leitura e escrita de ficheiros estruturados;
10. Trabalhar com dados em falta e errados;
11. Operações estruturadas.

Condições específicas de ingresso e critérios de seleção e seriação

São requisitos mínimos para admissão de candidatos à formação aqueles que demonstrem ter completado Formação de nível 3 ou 4 , e com aproveitamento a Matemática de nível secundário (12º ano)).

A avaliação das candidaturas será feita numa primeira fase, na escala 1-20 valores, atendendo aos critérios:

• Avaliação C.V.(75%)
• Carta de motivação (25%)

Haverá uma bonificação na classificação para os seguintes candidatos:

• Candidatos com idade superior a 23 anos com residência em território nacional. (Bonificação de 5 valores)
• Evidencia, a partir da carta de motivação, da relevância da formação nas perspetivas de “reskilling/upskilling” na sua atividade profissional. (Bonificação de 5 valores)

Os candidatos serão seriados com base no resultado da soma da classificação da 1º fase e das bonificações.

Para efeitos de desempate, deve-se observar a aplicação, pela ordem indicada, dos seguintes critérios:

1. Preferência por candidatos com menor nível de qualificação: caso dois candidatos empatados sejam detentores de um grau académico do mesmo nível, favorece-se aquele com média superior de conclusão desse mesmo grau.
2. Preferência por idade: em caso de empate após aplicação de todos os critérios anteriores, favorece-se o candidato detentor de maior idade.

Sempre que o número de candidatos admitidos a concurso seja inferior ao número máximo admitido à formação e encontrando-se garantidos os requisitos mínimos necessários à realização da formação a seriação dos candidatos será feita por ordenação alfabética.

Adequação das metodologias de ensino e dos métodos de avaliação à aquisição de competências

Metodologias de ensino:

A unidade de formação funciona em regime presencial, e compreende 21 horas de contacto de aulas Teórico-Práticas, com apresentação dos conceitos de forma gradual e acompanhada de exemplos ilustrativos e exercícios; os exercícios propostos permitem que os formandos consolidem os conhecimentos e adquiram competências de programação com Apache Spark e realizem o trabalho individual.

Avaliação:

• Desenvolvimento de um projeto;
• Realização de um exame final;

Avaliação pela média ponderada da classificação do exame final (80%) e do projeto (20%).

Datas de realização

17 de maio a 8 de junho de 2024

Horário e Local:

• 17 maio: 18 às 21h
• 18 maio: 09h às 13h
• 24 maio: 18 às 21h
• 25 maio: 09h ás 13h
• 7 junho: 18 às 21h
• 8 de junho: 09h às 13h

Prazos

• Candidaturas: 19 de março a 11 de abril de 2024
• Análise das candidaturas: 12 a 21 de abril de 2024
• Resultados Provisórios: 22 de abril de 2024
• Reclamações: 23 de abril a 8 de maio de 2024
• Resultados Definitivos: 9 de maio de 2024
• Matrículas: 10 a13 de maio de 2024
• Propina e seguro escolar: liquidado até 17 de maio de 2024

Anulação da Inscrição

O estudante pode solicitar a anulação da inscrição através de requerimento dirigido à Diretora da Faculdade de Ciências da Universidade do Porto, sendo que:

• A desistência de frequência até 2 dias úteis antes do início do curso não conferente de grau ou unidade de formação contínua implica o pagamento de 50 % do valor de propina; após essa data, é devida a totalidade do valor.

Bolsas PRR

De acordo com o nº 5 do artigo 7º do REGULAMENTO PARA ATRIBUIÇÃO DE BOLSAS DE INCENTIVO À (RE)QUALIFICAÇÃO E ATUALIZAÇÃO DE COMPETÊNCIAS NO ÂMBITO DAS FORMAÇÕES NÃO CONFERENTES DE GRAU DA UNIVERSIDADE DO PORTO OFERECIDAS AO ABRIGO DO «IMPULSO ADULTOS» (PRR), DESPACHO N.º GR.02/06/2022 de 3 de junho de 2022, “O prazo para liquidação do valor da propina por estudantes bolseiros é prorrogável até dez (10) dias úteis após a data de pagamento da bolsa.”

Informações

• Proteção de Dados: Para além das finalidades regulares de utilização dos seus dados pela U.Porto, relacionados com a seleção e seriação das candidaturas e, posteriormente, com a gestão académica dos candidatos selecionados, informamos que, face ao enquadramento da presente formação no âmbito do «Programa de Formação Multidisciplinar da U.Porto – Impulso Jovens STEAM & Impulso Adultos» (PRR), a identificação de todos os participantes (nome, NIF e contacto) terá de ser comunicada à Direção-Geral do Ensino Superior para efeitos de monitorização da execução do projeto. Quaisquer dúvidas sobre o tratamento dos seus dados poderão ser endereçadas à Encarregada da Proteção de Dados da U.Porto, para dpo@reit.up.pt.

Contactos

Docente Responsável:	Miguel Areias
Educação Contínua:	formacao.continua@fc.up.pt

Dados Gerais

Planos de Estudos

Diplomas

Áreas Científicas Predominantes