XTadGAN: Generative Adversarial Networks to Detect Extremely Rare Anomalies

• Type: Thesis
• Date: 2023-10-11

Authors

Nuno Miguel Ladeiras Beleza de Vasconcelos (Author) FEUP

Thesis

XTadGAN: Generative Adversarial Networks to Detect Extremely Rare Anomalies

Master's Degree

Dissertation

Scientific classification

FOS: Engineering and technology > Other engineering and technologies

Associated Institutions

LIACC - Laboratório de Inteligência Artificial e Ciência de Computadores

Other information

Resumo (PT): A detecção de anomalias em séries temporais é fundamental para identificar atividades fraudulentas, detetar falhas em processos e monitorizar a saúde de sistemas complexos. As Redes Adversariais Generativas (GANs) têm mostrado resultados promissores neste domínio, superando quer abordagens tradicionais, quer abordagens mais recentes baseadas em machine learning. No entanto, todos estes métodos apresentam dificuldades e limitações em detetar anomalias extremamente raras. Esta dissertação tem como objetivo modificar e estender o modelo TadGAN e investigar o potencial desta abordagem para detetar anomalias extremamente raras (XTadGAN). Além disso, argumentamos que não existe uma metodologia sistemática para avaliar e comparar o desempenho de diferentes métodos de detecção de anomalias, especificamente em relação à sua sensibilidade a variações na frequência de anomalias. Nesse sentido, esta tese também explora o desenvolvimento de um índice de sensibilidade para patamares crescentes de raridade de anomalias, a ser aplicado ao nosso modelo proposto e a outros métodos de referência. O trabalho desenvolvido contribuirá significativamente para o campo da deteção de anomalias, introduzindo uma metodologia robusta e precisa para comparar o desempenho de diferentes abordagens, preenchendo assim uma lacuna crucial na investigação atual. O índice de sensibilidade proposto neste estudo é relevante, uma vez que fornece uma métrica robusta que pode ser utilizada para desenvolver testes de comparação padronizados que permitam entender melhor as vantagens e limitações de cada modelo e orientar investigação futura no sentido de melhorar o desempenho em aplicações reais. Além disso, a análise proposta lançará luz sobre como as GANs em particular, e outros métodos em geral, podem ser otimizados para detetar anomalias extremamente raras em séries temporais de forma mais precisa.

Abstract (EN): Anomaly detection in time series data is critical for identifying fraudulent activities, detecting process failures, and monitoring the health of complex systems. Generative Adversarial Networks (GANs) have recently shown promising results in this domain, outperforming traditional as well as more recent machine learning approaches. However, all of these methods struggle with extremely rare anomalies. This thesis aims to modify and extend the TadGAN model and investigate the potential of this approach to better detect extremely rare anomalies (XTadGAN). Furthermore, we argue that there is an absence of a systematic methodology to assess and compare the performance of different anomaly detection methods, specifically with respect to their sensitivity to variations in the frequency of anomalies. Therefore, this thesis also explores the development of a sensitivity index for increasing orders of anomaly rarity, to be applied to our proposed extended model and other benchmark methods. The developed work will make a valuable contribution to the field of anomaly detection by introducing a robust and accurate framework for comparing the performance of different approaches, hopefully filling a crucial gap in current research. The sensitivity index proposed in this study is significant as it provides a robust metric that can be used to conduct standardized comparison tests to better understand the strengths and limitations of each model and guide future research to improve performance in real-world applications. Moreover, the proposed analysis will shed light on how GANs in particular, and other methods in general, can be optimized to more accurately detect extremely rare anomalies in time series data.

Language: English

No. of pages: 99