Hoje, a maioria das organizações mantém os logs de seus aplicativos. Esses logs contêm dados cruciais sobre usuários, tráfego, configuração, desempenho e aspectos relacionados à segurança de um ecossistema de TI distribuído. O monitoramento granular e a análise de log eficaz podem oferecer às organizações oportunidades de fazer melhorias e otimizações contínuas. Com as ferramentas modernas para análise e gerenciamento de log disponíveis no mercado atualmente, por outro lado, é possível prever e prevenir erros no ambiente a partir de uma análise adequada e sobretudo rigorosamente detalhada de dados.
Os aplicativos de gerenciamento de log podem ser divididos em 3 categorias principais: ferramentas para análise de log, ferramentas para monitoramento de log e ferramentas para gerenciamento de log.
Neste post, abordaremos os prós e contras das ferramentas mais populares usadas em todo o mundo.
SolarWinds Log Analyzer
O SolarWinds Log Analyzer reúne dados de log para fornecer insights sobre a integridade e o desempenho dos ambientes de TI. É totalmente integrado com a plataforma nativa Orion, oferecendo recursos e ferramentas extras. Com um único console, é possível obter uma visão unificada do desempenho da rede, dos sistemas e dos dados de log associados.
PROS
- Fácil de instalar e configurar
- Possui uma variedade de conectores de sistema
- Simples para monitorar tamanho de log e recursos do sistema
- Permite geração de alertas
- Tem slot com o sistema Orion (nativo)
- Oferece armazenamento de repositório para arquivos de log, de forma que não existam apenas nas estações de trabalho
- Detecção automatizada de ameaças
- Coleta de logs com regras personalizadas
- Visualização: a IU é elegante e fácil de seguir
- Poderoso refinamento de logs, com filtragem em tempo real (Live filtering)
- Reúne eventos de segurança de várias fontes do sistema
- O preço não é baseado em eventos, mas em nós monitorados
CONTRAS
- É um produto robusto e proprietário, portanto, não é totalmente “out of the box” o que o software pode fazer pelo usuário
- Instalações de agente às vezes requerem remoção manual
- Se estiver executando uma versão mais antiga do SEM, a migração de clientes para uma nova instalação não é automática
- É preciso ter cuidado com a documentação online disponível para fazer a configuração
- GUI pouco intuitiva que requer uma espécie de curva de aprendizado – o treinamento é fornecido aos clientes, no entanto, uma interface mais amigável seria útil
- Alertas podem ser confusos de configurar
- A configuração inicial pode ser bastante demorada
- Pode não escalar para milhões de nós
Datadog
Datadog é um software de monitoramento de servidores, bancos de dados, ferramentas e serviços via plataforma de análise de dados baseada em SaaS para aplicativos que buscam escalar na nuvem. Com o aumento da adoção da nuvem, a empresa cresceu rapidamente e expandiu sua oferta de produtos para cobrir provedores de serviços, incluindo Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform, Red Hat OpenShift, VMware e OpenStack.
PROS
- Graças à versatilidade da ferramenta e ao enorme ecossistema que a envolve, é possível usá-la para rastrear virtualmente “qualquer coisa”
- Configuração de alertas e advertências permite reduzir drasticamente os falsos positivos
- Runbooks fornecem orientação aos membros das equipes DevOps sobre como agir em relação aos alertas
- Recursos poderosos de análise de dados: é possível fatiar e dividir os dados quase da mesma forma que você que em uma ferramenta de análise comportamental. Isso significa que o usuário Datadog pode refinar com eficiência suas métricas à medida que sua empresa começa a escalar
- Rest API simples que possibilita integração com basicamente qualquer aplicativo. Permite a criação de uma fonte centralizada de dados
- Boa documentação de API e atendimento ao cliente
- Bom modelo de precificação para microsserviços, com obtenção de dados de várias fontes
CONTRAS
- Curva de aprendizado bastante difícil para usuários iniciantes
- Mesmo usuários familiarizados com a ferramenta podem ter dificuldades ao localizar uma métrica ou painel específico
- Navegação contra-intuitiva para algumas áreas
- Favorece a personalização sobre a simplicidade – algo que pode parecer um pouco confuso para iniciantes na ferramenta
- Integração com Azure não é uma tarefa complexa
- Limitação sobre o que é possível fazer com relatórios e análises: operações matemáticas ou gráficas muito avançadas podem precisar de outra ferramenta de BI para serem concluídas
- Trabalhoso na instalação e configuração de toda a pilha de software
- Requer melhorias nas políticas de segurança
Splunk
Splunk facilita o acesso aos dados em uma organização ao capturar, indexar e correlacionar esses dados em tempo real em um repositório pesquisável de onde o usuário pode gerar gráficos, relatórios, alertas, painéis e visualizações. O software pode identificar padrões de dados, fornecer métricas, diagnosticar problemas e fornecer inteligência para operações de negócios. O Splunk tem como função principal dar significado aos dados, e em muitos casos sem que o usuário precise fazer alguma coisa. Dessa forma, problemas que parecem complexos se tornam simples uma vez que é possível visualizar os todos os dados em um só lugar, em vez de ter que caçá-los e depois descobrir como agrupá-los.
PROS
- Consultas rápidas de log em diferentes tipos de infraestrutura
- Painéis adaptáveis para tratar grandes quantidades de dados contínuos
- Fácil acesso e compartilhamento de informações por meio de links URL
- Maximiza os endpoint logs
- Pode localizar e armazenar logs de todos os tipos de ativos
- Customização de dashboards e visualização de dados
- Criação de aplicativos com base em suas necessidades
- Recurso de alarme alerta pessoas relevantes na organização
- As consultas de pesquisa podem ser salvas para acesso futuro ou até mesmo convertidas em aplicativos
- Comunidade sólida de especialistas e muitos materiais de treinamento
- Analisa dados de várias fontes, com um grande número de relacionamentos entre parceiros
- Stackoverflow possui uma grande comunidade, o que torna o aprendizado mais conveniente
CONTRAS
- Fazer consultas no Splunk pode ser complicado sem o conhecimento prévio do software e dos aplicativos envolvidos
- A duplicação do painel para diferentes áreas pode ser complexa
- Capturar todos os dados necessários das plataformas de nuvem nem sempre é simples
- Arquitetura geral complexa, com longo tempo de implementação
- Interface lenta
- Requer dedicação contínua da equipe para funcionar com eficácia
- Alta curva de aprendizado: não intuitivo para usuários iniciantes
- Alto custo
LogDNA
Trabalhando com qualquer infraestrutura e arquitetura, suportando várias plataformas e métodos de ingestão, incluindo syslog e bibliotecas de código, o LogDNA fornece um serviço de gerenciamento de log baseado em SaaS capaz de centralizar logs de todos os aplicativos, servidores, plataformas e sistemas. É desenvolvido e otimizado para gerenciamento de log em Kubernetes: os usuários podem começar a trabalhar usando apenas dois comandos kubectl e coletar logs de todos os seus containers. As ofertas disponíveis no IBM Cloud ajudam os usuários a configurar a criação de log em nível de cluster no IBM Cloud Kubernetes Service.
PROS
- Facilidade de configuração, integração e uso
- Interface de usuário sólida, com rastreamento de logs em tempo real de forma prática e ágil
- Log estruturado e bons recursos de pesquisa
- Preço bastante acessível em comparação com as alternativas do segmento
- Interface simples e com muitas integrações que suportam vários sistemas operacionais
CONTRAS
- Temas com poucas combinações de contraste e cores
- Pode haver atrasos no processamento de log e também logs ausentes
- Pesquisa de logs pode ser complicada, já que não são booleanos simples: consultas complexas podem ser um pouco desafiadoras
- Painéis e métricas baseadas em logs são bem simples, sem muitos recursos relacionados a painéis e gráficos
Graylog
Graylog é uma plataforma poderosa que usa uma arquitetura de três camadas e armazenamento escalável com base em Elasticsearch, MongoDB e Scala para capturar, armazenar e permitir pesquisa em tempo real e análise de registro em terabytes de dados de máquina de qualquer componente na infraestrutura e aplicativos de TI . Possui um servidor principal, que recebe os dados dos clientes, instalados em diversos servidores, e uma interface web, que visualiza os dados e permite trabalhar com logs agregados pelo servidor principal.
PROS
- Rápido para agregar, reter e pesquisar diferentes tipos de logs
- Configuração flexível
- Interface web intuitiva e instalação relativamente rápida
- Permite personalizar cada mensagem para obter informações específicas
- É capaz de processar grandes quantidades de dados rapidamente
- Backend para armazenamento é Elasticsearch enquanto MongoDB é usado para armazenar a configuração
- Capaz de abstrair boa parte do gerenciamento de índice do Elasticsearch (sharding, criação, exclusão, rotação etc)
CONTRAS
- Arquivar não é um recurso padrão na edição de Comunidade
- Usa exclusivamente o MongoDB como banco de dados
- Alguns aspectos do Graylog são menos intuitivos, o que pode tornar a configuração do dispositivo mais complicada
- Atualizações para Graylog podem exigir atualizações manuais para Elasticsearch e MongoDB
- Carece de instruções para adicionar banco de dados de geolocalização por cidade e país
Netwrix Auditor
Netwrix Auditor é uma solução SIEM (Security Information and Event Management), concebida para ajudar as organizações a rastrear e acessar eventos relacionados a segurança em todo o ambiente e operações de TI. A ferramenta é capaz de mitigar o risco de violações no sistema, aumentando a eficiência das operações das equipes DevOps e reduzindo os custos em conformidade. Antes conhecido como Change Reporter Suite, o Netwrix Auditor usa análise de comportamento do usuário para fazer o controle sobre alterações, configurações e acesso a ambientes de TI híbridos, protegendo dados independente da localização. Em agosto de 2019, a empresa de mesmo nome anunciou o Netwrix Data Classification, que usa tecnologia de Concept Searching para identificar informações confidenciais e reduzir sua exposição ao marcá-las automaticamente com metadados.
PROS
- Fornece informações precisas sobre ameaças de segurança
- Fácil de usar para geração de relatórios
- Segue e aplica compliance nas detecções
- Permite criar notificações e relatórios personalizados por meio da função “Pesquisar”
- Usuário pode escolher “O quê”, “Onde” e “Quando” para o evento que deseja monitorar e configurar relatórios de e-mail para cada um deles
- Avisa os usuários quando suas senhas estão prestes a expirar
- Fornece relatório sobre senhas e contas expiradas
- Relatórios de acesso a arquivos e pastas que permitem monitorar quando usuários tentam acessar itens para os quais não estão autorizados
CONTRAS
- É difícil aprender as opções de filtro ao usar a ferramenta pela primeira vez
- Poderia fornecer treinamento aprofundado com vídeos e guias adicionais
- Estrutura de banco de dados complexa com documentação esparsa
- Interface é intuitiva, mas necessita de melhorias
ELK: Elastic Stack
ELK é a sigla para 3 projetos de código aberto: Elasticsearch, Logstash e Kibana. A combinação é frequentemente referida como “Elastic Stack” , e compõe a ferramenta de gerenciamento de log conhecida simplesmente por ELK.
Veja um trecho da aula sobre Elastic Stack no Bootcamp de Formação Engenharia de Confiabilidade (SRE) da ElvenWorks para saber mais sobre a ferramenta:
O Elasticsearch é um mecanismo de pesquisa e análise de dados desenvolvido em Java e baseado na biblioteca Lucene. Oferece um mecanismo de pesquisa distribuído para todos os tipos de dados, incluindo textuais, numéricos, geoespaciais, estruturados e não estruturados.
O Logstash, por sua vez, é um pipeline de processamento de dados do lado do servidor, bastante leve, que permite coletar dados de uma variedade de fontes, transformá-los “on the fly” e enviá-los ao destino desejado.
Já o Kibana é um painel de visualização de dados em código aberto para Elasticsearch. Ele fornece recursos de visualização no topo do conteúdo indexado em um cluster Elasticsearch. Os usuários podem criar diferentes tipos de gráficos e mapas sobre grandes volumes de dados. O Kibana também fornece uma ferramenta de apresentação, conhecida como Canvas, que permite aos usuários criar apresentações de slides com dados ativos extraídos diretamente do Elasticsearch.
PROS
Elasticsearch
- Eficiência no armazenamento de log
- Velocidade: o usuário pode pesquisar um banco de dados indexado de 200 milhões de eventos e encontrar uma resposta em questão de segundos
- É open-source e apresenta bom desempenho e fácil configuração
- Consultas de pesquisa com base nos nomes dos membros da classe Java
- Consultas muito detalhadas por meio da biblioteca padrão
- É realmente estável: é muito difícil derrubar um cluster
Logstash
- Configuração simples, com arquivos no formato plain text
- Construído com ferramentas de código aberto
- Os plugins de filtro são poderosos para extrair e enriquecer dados de entrada
- Ecossistema de plugins permite extensões modulares.
Kibana
- Painéis de controle
- Análise de log
- Pesquisa de log
CONTRAS
Elasticsearch
- Preço: o nível gratuito é excelente, mas há uma diferença significativa para o nível onde estão disponíveis os módulos de aprendizado de máquina, segurança de endpoint e muito mais
- Mecanismo de consulta complexo
- Arquitetura complexa para configurar e otimizar
- O ajuste para desempenho de dados de entrada pode ser complicado
- Documentos mesclados (merged) podem se tornar um gargalo
- Documentação pobre
- Não é tão fácil de usar ao primeiro contato
- Problemas difíceis de depurar
- Desafios de dimensionamento/escalonamento encontrados com grandes conjuntos de dados (normalmente em petabytes).
Logstash
- Logstash funciona em linha de comando e pode parecer complexo para iniciantes
- A documentação poderia ser melhor
- Suporte da comunidade: por ser uma ferramenta relativamente nova, encontrar respostas pode ser um desafio muitas vezes
- Por ser um produto Java, o ajuste de JVM deve ser feito para lidar com altas cargas
Kibana
- Alguns problemas de desempenho o tornam lento com grandes conjuntos de dados
- Vincular a painéis cria URLs extremamente longas
- Carece de relatórios
Outras ferramentas para gerenciamento de log que merecem destaque, são:
Fluentd
Fluentd coleta eventos de várias fontes de dados e os grava em arquivos: RDBMS, NoSQL, IaaS, SaaS, Hadoop etc. O app ajuda a unificar a infraestrutura de log de uma organização. Trata-se de uma ferramenta em código aberto com 9,9 mil estrelas e 1,1 mil forks no GitHub.
Grafana
Grafana é um painel de controle e compositor gráfico desenvolvido para fornecer formas ricas de visualizar métricas de série temporal, principalmente por meio de grafos. Oferece suporte a outras maneiras de visualizar dados através de uma arquitetura de painel conectável. Os usuários finais podem criar painéis de monitoramento complexos usando construtores de consulta interativos.
Como ferramenta de visualização, o Grafana é um componente popular em pilhas de monitoramento, frequentemente usado em combinação com bancos de dados de séries temporais, como InfluxDB, Prometheus e Graphite; plataformas de monitoramento como Sensu, Icinga, Checkmk, Zabbix, Netdata e PRTG; SIEMs, como Elasticsearch e Splunk; e outras fontes de dados.
Octopussy
Octopussy, também conhecido como 8Pussy, é um software gratuito e de código aberto que monitora sistemas, analisa os dados syslog gerados por eles e os transmitem a um servidor Octopussy central (frequentemente chamado de solução SIEM).
O software tem a capacidade de monitorar qualquer dispositivo que suporte o protocolo syslog, como servidores, roteadores, switches, firewalls, balanceadores de carga e seus aplicativos, além de outros serviços importantes. O principal objetivo do Octopussy é alertar seus administradores e usuários sobre diversos tipos de eventos, como falhas, ataques a sistemas ou erros em aplicativos.
O programa é compatível com muitas distribuições de sistema Linux, como Debian, Ubuntu, OpenSUSE, CentOS, RHEL e até mesmo meta-distribuições como Gentoo ou Arch Linux.
Checkmk
Checkmk é um software desenvolvido em Python e C++ para monitoramento de servidores, aplicativos, redes, infraestruturas em nuvem (pública, privada, híbrida), containers, storage, bancos de dados e sensores de ambiente.
Checkmk está disponível em 3 edições: uma de código aberto (“Checkmk Raw Edition – CRE”), uma edição empresarial comercial (“Checkmk Enterprise Edition – CEE”) e uma edição comercial para provedores de serviços gerenciados (“Checkmk Managed Services Edition – CME “). Essas Checkmk-Editions estão disponíveis para uma variedade de plataformas, em particular para várias versões do Debian, Ubuntu, SLES e RedHat/CentOS, e também como imagem Docker.
Loggly
Loggly é um provedor de serviços de gerenciamento de log baseado em nuvem. Não requer o uso de agentes de software proprietário para coletar dados de log. O serviço usa tecnologias de código aberto, incluindo Elasticsearch, Apache Lucene 4 e Apache Kafka.