Big Data e Cloud Computing

Código:

CC4093

Sigla:

CC4093

Nível:

400

Áreas Científicas
Classificação	Área Científica
OFICIAL	Ciência de Computadores

Ocorrência: 2022/2023 - 2S

Ativa?	Sim
Página Web:	https://moodle.up.pt/course/view.php?id=4854
Unidade Responsável:	Departamento de Ciência de Computadores
Curso/CE Responsável:	Mestrado em Ciência de Dados (Data Science)

Ciclos de Estudo/Cursos

Sigla	Nº de Estudantes	Plano de Estudos	Anos Curriculares	Créditos UCN	Créditos ECTS	Horas de Contacto	Horas Totais
M:CC	7	PE a partir do ano letivo de 2014	1	-	6	42	162
M:DS	31	Plano Oficial a partir de 2018_M:DS	1	-	6	42	162
M:ERSI	1	Plano Oficial a partir de 2021_M:ERSI	1	-	6	42	162
M:SI	6	Plano Oficial a partir de 2020/2021	1	-	6	42	162

Língua de trabalho

Inglês

Objetivos

Introdução ao uso de infra-estruturas de "cloud computing" para processamento massivo de dados ("big data") em problemas do mundo real.

Resultados de aprendizagem e competências

- Uso de serviços de cloud-computing para aplicações  big data.
- Desenho e implementação de aplicações para big-data usando modelos de programação suportados pela cloud.
- Conhecimento de fundamentos e algoritmos nucleares para mineração de dados em aplicações de big data.
- Experiência prática com ferramentas do estado da arte disponíveis para cloud computing e big data.

Modo de trabalho

Presencial

Programa

- Introdução ao big data: desafios, cenários de exemplo sob o ponto de vista científico e empresarial.

- O paradigma de cloud computing: modelos de serviço (PaaS, SaaS, IaaS); virtualização, instalação e orquestração de serviços; integração de recursos de computação, networking e armazenamento de dados; expansibilidade, tolerância a falhas, elasticidade.

- Programação de aplicações big data  baseadas no paradigma map-reduce.

- Trabalhos de programação de aplicações big-data em tópicos como streams de dados, grafos de redes sociais, sistemas de recomendação ou bioinformática.

Bibliografia Obrigatória

Ian Foster and Dennis B. Gannon; Cloud Computing for Science and Engineering, MIT Press, 2017. ISBN: 978-0262037242

Bibliografia Complementar

Tom White; Hadoop, The Definitive Guide, 4th edition, O'Reilly Media, 2015. ISBN: 978-1491901632
N. Marz and J. Warren; Big Data: Principles and best practices of scalable realtime data systems,, Manning Publications, 2015. ISBN: 978-1617290343
Dan C. Marinescu; Cloud Computing - Theory and Practice, 2nd edition, Morgan Kaufmann, 2018. ISBN: 978-0-12-812810-7
Jure Leskovec, Anand Rajaraman, Jeff Ullman ; Mining of Massive Datasets, Cambridge University Press, 2014. ISBN: 978-1107077232 (Disponível de forma gratuita em PDF pelos autores em http://mmds.org)
M. Zaharia and B. Chambers; Spark: The Definitive Guide - Big Data Processing Made Simple, O'Reilly, 2018. ISBN: 978-1491912218

Métodos de ensino e atividades de aprendizagem

- Introdução às tecnologias de cloud computing tendo em conta os requisitos das aplicações big data.

- Projectos de programação usando ferramentas dos principais fornecedores de serviços cloud (Amazon Web Services, Microsoft Azure, Google Cloud, etc) e servidores de algo desempenho.

Tipo de avaliação

Avaliação distribuída com exame final

Componentes de Avaliação

Designação	Peso (%)
Trabalho prático ou de projeto	40,00
Teste	60,00
Total:	100,00

Componentes de Ocupação

Designação	Tempo (Horas)
Elaboração de projeto	52,00
Frequência das aulas	52,00
Estudo autónomo	58,00
Total:	162,00

Obtenção de frequência

--

Fórmula de cálculo da classificação final

Os componentes de avaliação compreendem:

• 2 testes ao longo do semestre (T1 e T2) com peso de 60% (12 = 6+6 valores)


• trabalhos práticos (TP) com peso de 40% (8 valores)

Para aprovação os alunos deverão:

• ter nota mínima de 8 valores em ambos os testes (T1 e T2): T1 >= 8 e T2 >=8


• ter notas nos testes e trabalhos tais que 0.3 T1 + 0.3 T2 + 0.4 TP >= 9.5 valores

Os alunos que não tenham aproveitamento nas condições estipuladas acima podem realizar um exame na época de recurso em que:

• O exame tem duas componentes:  matéria relativa ao teste T1 (E1) e matéria relativa ao teste T2 (E2).


• Os estudantes poderão optar por realizar uma das componentes ou pelas duas. A melhor nota de cada componente repetida é a escolhida (E1 ou T1, E2 ou T2), mantendo-se o requisito de nota mínima de 8 valores e para aprovação.


• A nota final é dada neste caso por: N = 0.3 max(T1,E1) + 0.3 max(T2,E2) + 0.4 TP.  O aluno obtém aprovação se N >= 9.5, max(T1,E1)  >= 8  e max(T2,E2)  >= 8.
  

Melhoria de classificação

A data de exame de recurso pode ser usada para melhoria de nota.

A classificação dos trabalho práticos não pode ser melhorada.