Aprendizado de Máquina em Plataformas de Processamento Distribuído de Fluxo: Análise e Detecção de Ameaças em Tempo Real

Resumo

In this chapter, we focus on stream processing architectures for real-time threat detection in networks. We present and compare Apache Storm, Apache Spark Streaming, and Apache Flink. The most used feature selection techniques and machine learning algorithms for threat detection are described. We present the common datasets targeted for evaluating the performance of threat detection architectures. Finally, we evaluate proposals based on the lambda architecture, with previous or adaptive training, and zero-day threat detection. The CATRACA real-time threat detection tool, which uses the Apache Spark Streaming platform, is presented. Este capítulo foca em arquiteturas para processamento distribuído de fluxo para detecção de ameaças em redes em tempo real. O capítulo apresenta e compara as plataformas de código aberto para processamento distribuído de fluxo Apache Storm, Apache Spark Streaming e Apache Flink. As principais técnicas de seleção de caraterísticas e algoritmos de aprendizado de máquina usados para classificar os tráfegos em benigno ou malicioso são descritos. Os conjuntos de dados de tráfego usados para a avaliação de desempenho das arquiteturas de detecção de ameaças são mostrados. Por fim, o capítulo avalia propostas baseadas na arquitetura lambda, com treinamento prévio e adaptativo e com detecção de ameaças inéditas (zero-day threats). A ferramenta CATRACA de detecção em tempo real de ameaças usando a plataforma Apache Spark Streaming é apresentada.