2016_N76 - Tecnologias e modelos de suporte a analytics sobre séries temporais

• Type: Thesis
• Date: 2017-07-18

Authors

Paulo Manuel da Silva Faria (Author) FEUP

Thesis

2016_N76 - Tecnologias e modelos de suporte a analytics sobre séries temporais

Master's Degree

Dissertation

Scientific classification

FOS: Engineering and technology > Electrical engineering, Electronic engineering, Information engineering

Associated Institutions

INOVA-RIA - INOVA-RIA: Ass.Empresas p/uma Rede Inovação Aveiro

Other information

Resumo (PT): Numa sociedade em que a informação é transmitida e consumida em grandes quantidades e com enorme rapidez é necessário tratá-la da melhor maneira e maximizando os proveitos decorrentes da sua exploração. Com este trabalho pretende-se indagar acerca da utilização de tecnologias capazes de recolher, modelar e tratar esses dados. É neste contexto que surge a necessidade de análise de séries temporais que resultam da necessidade de identificar “como”, “quando” e “onde” os clientes do operador interagem com os serviços, para conseguir controlar os vários momentos da utilização dos mesmos, desta monitorização resultam grandes quantidades de dados que requerem tratamento. Os objetivos são os de encontrar tecnologias e modelizações adequadas, de forma a utilizar técnicas analíticas sobre séries temporais, e atendendo a fatores como a escalabilidade, o desempenho, o custo das ferramentas, da infraestrutura física de suporte às ferramentas e o custo de operação do sistema. As interrogações realizadas a agregações de informação são, devido às quantidades e tipos de dados, dispendiosas em termos de recursos computacionais e de tempo gasto, o que causa transtornos, na medida em que existe a necessidade de serem utilizadas na obtenção de indicadores de desempenho para Business Intelligence e estes devem estar disponíveis para a tomada de decisão. No caso do proponente, os operadores de telecomunicações distinguem-se cada vez mais pela qualidade de serviço que fornecem aos seus clientes, é, portanto, importante definir metodologias e técnicas que permitam comparar as várias hipóteses de solução com o sistema existente para que o impacto possa ser a melhoria da qualidade do serviço e da experiência para os utilizadores deste tipo de serviços e ganhos ao nível da eficiência e económicos para o operador na gestão dos dados. Depois de ponderadas várias possibilidades selecionaram-se 3 alternativas, de acordo com os requisitos do utilizador: Postgres, Citus e Timescaledb. Nas as quais se modelaram e fornereram dados reais do proponente para serem submetidas a testes quer de resposta ás interrogações como de monitorização das máquinas onde foram configuradas para avaliar o seu desempenho utilizando ferramentas já conhecidas na empresa (jmeter e zabbix). Após avaliação das alternativas, chegou-se á conclusão que a melhor seria o Citus, perante os resultados face ás necessidades atuais e de escalabilidade da solução.

Abstract (EN): In a society where the data is transmitted and consumed in a large scale at great speed, to do so its needed to find the best way to process it and maximize the outcome. The aim of this work is to find tecnologies that are able to gather, model and process the data. Its in this context that comes the necessity of time series analysis in order to identity "where", "when" and "how" the clients of the telecomunication company interact with the services, and from that gaining the ability to control the moments of contact, the outcome from this monitorization is alot of data asking to be processed. The aim is to find tecnologies and way to model that are better suitable, using time series techniques, to factors like scalability, performance, cost of tools, physical support infrastructure and system operational costs. The queries performed to agregattion of information are, due to high amount and type of data, expensive in both computational resources and time from that comes problems because this data needs to be used for KPI's for Business Intelligence and those need to be available on time from the decision process. In the proponent case, the telecommunication companies, they diferentiate from one another for the quality of the service that they offer to the customers, that being so, its important to define methodologies and techniques that can compare several alternatives versus what is current implemmented and that way improve quality of services and get efficiency/economic benefits to the telecommunication company in their data management. After searching for alternatives, 3 were selected according to the user requirements for this project, those being Postgres, Citus and Timescaledb. To which data was model and insert to match project’s proponente real use case and then each were put under tests to see the query performance and monitoring the machines in which the technologies were, using tools used by the company like jmeter and zabbix to get the results. After analysing the results, the conclusion is that the best choice is Citus, both to current use case evaluated and thinking on the scalability of the solution.

Language: Portuguese

No. of pages: 114