Processamento do fluxo de dados da rede baseado na arquitetura lambda

Resumo

O presente trabalho visa aplicar a arquitetura lambda na implementação de um sistema para o processamento do fluxo de dados da rede em tempo real. Realizando uma integração entre softwares open source para executar as etapas de geração dos dados, coleta, processamento e armazenamento. Foram gerados mais de 30.000 gigabytes de dados por segundo naúltima década, essa taxa de criação continua a crescer [Marz et al. 2015]. A quantidade de dados gerados é diversa, desde postagens de usuários em redes sociais até as informações coletadas e transmitidas por dispositivos conectados à internet, também nomeada Internet of Things (IoT), esse conceito que eleva significativamente o tráfego de rede, pois cada vez mais dispositivos estão gerando e enviando informações. Em conjunto com esta expansão se encontra o problema de como realizar um monitoramento efetivo da rede, para que seja possível realizar o processamento do seu fluxo de dados e obter os resultados de maneira mais rápida e executar ações sobre eles.