Kafka

O que o conector Kafka faz?

O conector assegura que a conexão Kafka esteja configurada corretamente e realiza verificações necessárias de desempenho (lag) ou funcionalidade básica (produção/consumo de mensagem) conforme especificado na configuração fornecida, retornando sucesso ou falha, atualizando assim o monitoramento. 



Como monitorar Kafka na One Platform

Para configurar um monitoramento
de Kafka na plataforma, vá até a aplicação do produto em que deseja
adicionar a Queue como dependência. Clique no menu produtos, clique no
card do produto desejado e, depois, clique no nome da aplicação
desejada.

Em External Dependencies,
localizado logo abaixo do gráfico de latência, você pode adicionar ou
buscar uma dependência já cadastrada. Para procurar uma dependência,
digite o nome da mesma no campo de busca. Já para adicionar uma nova,
clique no botão verde com um símbolo de mais (+).


 

Ao clicar em adicionar, um modal
irá aparecer. Nele você irá nomear a sua fila e escolher o Enviroment.
No campo do Check type, escolha a opção Queue e no Method, escolha
Kafka. Após escolher o método, um campo para Healthcheck URL aparecerá.


 

Para realizar esse passo, a pessoa
responsável precisa saber como o cluster Kafka atua. Confira abaixo o
exemplo de string para o Kafka.

Há quatro maneiras de checagem do cluster:

  1. Conexão sem autenticação e uma simples verificação de um tópico específico para a plataforma: HOST:PORT/TOPIC

  2. Conexão sem autenticação e uma simples verificação de um tópico específico para a plataforma, mas com uma lista de correção: [HOST1:PORT,HOST2:PORT]/TOPIC ou HOST1:PORT,HOST2:PORT/TOPIC

  3. Conexão sem autenticação e verificação do tamanho do atraso
    no consumo de mensagens de um tópico (Produção) do ponto de vista de um
    grupo de consumidores
    : [HOST:PORT]/TOPIC/CONSUMER-GROUP/LAG-TOLERANCE

  4. Conexão com autenticação SASL e verificação simples (ou não):
    USER:PASSWORD:MECHANISM:TLS:SASL@[HOST1:PORT,HOST2:PORT]/TOPIC ou
    USER:PASSWORD:MECHANISM:TLS:SASL@[HOST1:PORT,HOST2:PORT]/TOPIC/CONSUMER-GROUP/LAG-TOLERANCE

 

Exemplo de verificação sting para o exemplo 4:

kafka:{{.kafka_password}}:SCRAM-SHA-512:true:true@[b-2.kafka-production.amazonaws.com:9096,b-1.kafka-production.amazonaws.com:9096,b-3.kafka-production.amazonaws.com:9096]/eventos/consumidor-de-eventos/200

 

Obs.: Por motivos de segurança, não é permitido inserir um IP no
campo de healthcheck. Para monitorar um IP, é necessário inserí-lo em
uma secret e usá-la no healthcheck

O que o conector Kafka faz?

O conector assegura que a conexão Kafka esteja configurada corretamente e realiza verificações necessárias de desempenho (lag) ou funcionalidade básica (produção/consumo de mensagem) conforme especificado na configuração fornecida, retornando sucesso ou falha, atualizando assim o monitoramento. 



Como monitorar Kafka na One Platform

Para configurar um monitoramento
de Kafka na plataforma, vá até a aplicação do produto em que deseja
adicionar a Queue como dependência. Clique no menu produtos, clique no
card do produto desejado e, depois, clique no nome da aplicação
desejada.

Em External Dependencies,
localizado logo abaixo do gráfico de latência, você pode adicionar ou
buscar uma dependência já cadastrada. Para procurar uma dependência,
digite o nome da mesma no campo de busca. Já para adicionar uma nova,
clique no botão verde com um símbolo de mais (+).


 

Ao clicar em adicionar, um modal
irá aparecer. Nele você irá nomear a sua fila e escolher o Enviroment.
No campo do Check type, escolha a opção Queue e no Method, escolha
Kafka. Após escolher o método, um campo para Healthcheck URL aparecerá.


 

Para realizar esse passo, a pessoa
responsável precisa saber como o cluster Kafka atua. Confira abaixo o
exemplo de string para o Kafka.

Há quatro maneiras de checagem do cluster:

  1. Conexão sem autenticação e uma simples verificação de um tópico específico para a plataforma: HOST:PORT/TOPIC

  2. Conexão sem autenticação e uma simples verificação de um tópico específico para a plataforma, mas com uma lista de correção: [HOST1:PORT,HOST2:PORT]/TOPIC ou HOST1:PORT,HOST2:PORT/TOPIC

  3. Conexão sem autenticação e verificação do tamanho do atraso
    no consumo de mensagens de um tópico (Produção) do ponto de vista de um
    grupo de consumidores
    : [HOST:PORT]/TOPIC/CONSUMER-GROUP/LAG-TOLERANCE

  4. Conexão com autenticação SASL e verificação simples (ou não):
    USER:PASSWORD:MECHANISM:TLS:SASL@[HOST1:PORT,HOST2:PORT]/TOPIC ou
    USER:PASSWORD:MECHANISM:TLS:SASL@[HOST1:PORT,HOST2:PORT]/TOPIC/CONSUMER-GROUP/LAG-TOLERANCE

 

Exemplo de verificação sting para o exemplo 4:

kafka:{{.kafka_password}}:SCRAM-SHA-512:true:true@[b-2.kafka-production.amazonaws.com:9096,b-1.kafka-production.amazonaws.com:9096,b-3.kafka-production.amazonaws.com:9096]/eventos/consumidor-de-eventos/200

 

Obs.: Por motivos de segurança, não é permitido inserir um IP no
campo de healthcheck. Para monitorar um IP, é necessário inserí-lo em
uma secret e usá-la no healthcheck