Configurar a criptografia e autenticação TLS para cluster Apache Kafka não ESP no Azure HDInsight

Este artigo mostra como configurar a criptografia Transport Layer Security (TLS), anteriormente conhecida como criptografia SSL (Secure Sockets Layer), entre clientes Apache Kafka e corretores Apache Kafka. Ele também mostra como configurar a autenticação de clientes (às vezes referida como TLS bidirecional).

Importante

Há dois clientes que você pode usar para aplicativos Kafka: um cliente Java e um cliente de console. Somente o cliente ProducerConsumer.java Java pode usar TLS para produzir e consumir. O cliente console-producer.sh produtor do console não funciona com TLS.

Configuração do corretor Apache Kafka

A configuração do agente Kafka TLS usa quatro VMs de cluster HDInsight da seguinte maneira:

• headnode 0 - Autoridade de certificação (CA)
• nó de trabalhador 0, 1 e 2 - corretores

Nota

Este guia usa certificados autoassinados, mas a solução mais segura é usar certificados emitidos por autoridades de certificação confiáveis.

O resumo do processo de configuração do broker é o seguinte:

1. As etapas a seguir são repetidas em cada um dos três nós de trabalho:

   1. Gere um certificado.
   2. Crie uma solicitação de assinatura de certificado.
   3. Envie a solicitação de assinatura de certificado para a Autoridade de Certificação (CA).
   4. Inicie sessão na AC e assine o pedido.
   5. SCP o certificado assinado de volta para o nó de trabalho.
   6. SCP o certificado público da autoridade de certificação para o nó de trabalho.

2. Depois de ter todos os certificados, coloque-os no armazenamento de certificados.

3. Vá para Ambari e altere as configurações.

   Use as seguintes instruções detalhadas para concluir a configuração do broker:

   Importante

   Nos trechos de código a seguir, wnX é uma abreviação de um dos três nós de trabalho e deve ser substituído por wn0, wn1 ou wn2 conforme apropriado. WorkerNode0_Name e HeadNode0_Name deve ser substituído pelos nomes das respetivas máquinas.

4. Execute a configuração inicial no nó principal 0, que para o HDInsight preenche a função da Autoridade de Certificação (CA).

   # Create a new directory 'ssl' and change into it
   mkdir ssl
   cd ssl
   

5. Execute a mesma configuração inicial em cada um dos brokers (nós de trabalho 0, 1 e 2).

   # Create a new directory 'ssl' and change into it
   mkdir ssl
   cd ssl
   

6. Em cada um dos nós de trabalho, execute as seguintes etapas usando o trecho de código.

   1. Crie um keystore e preencha-o com um novo certificado privado.
   2. Crie uma solicitação de assinatura de certificado.
   3. SCP a solicitação de assinatura de certificado para a CA (headnode0)

   keytool -genkey -keystore kafka.server.keystore.jks -keyalg RSA -validity 365 -storepass "MyServerPassword123" -keypass "MyServerPassword123" -dname "CN=FQDN_WORKER_NODE" -ext SAN=DNS:FQDN_WORKER_NODE -storetype pkcs12
   keytool -keystore kafka.server.keystore.jks -certreq -file cert-file -storepass "MyServerPassword123" -keypass "MyServerPassword123"
   scp cert-file sshuser@HeadNode0_Name:~/ssl/wnX-cert-sign-request
   

   Nota

   FQDN_WORKER_NODE é o nome de domínio totalmente qualificado da máquina do nó de trabalho. Você pode obter esses detalhes do arquivo /etc/hosts no nó principal

   Por exemplo,

   wn0-espkaf.securehadooprc.onmicrosoft.com
   wn0-kafka2.zbxwnwsmpcsuvbjqbmespcm1zg.bx.internal.cloudapp.net
   

   

7. Na máquina CA, execute o seguinte comando para criar arquivos ca-cert e ca-key:

   openssl req -new -newkey rsa:4096 -days 365 -x509 -subj "/CN=Kafka-Security-CA" -keyout ca-key -out ca-cert -nodes
   

8. Mude para a máquina da autoridade de certificação e assine todas as solicitações de assinatura de certificado recebidas:

   openssl x509 -req -CA ca-cert -CAkey ca-key -in wn0-cert-sign-request -out wn0-cert-signed -days 365 -CAcreateserial -passin pass:"MyServerPassword123"
   openssl x509 -req -CA ca-cert -CAkey ca-key -in wn1-cert-sign-request -out wn1-cert-signed -days 365 -CAcreateserial -passin pass:"MyServerPassword123"
   openssl x509 -req -CA ca-cert -CAkey ca-key -in wn2-cert-sign-request -out wn2-cert-signed -days 365 -CAcreateserial -passin pass:"MyServerPassword123"
   

9. Envie os certificados assinados de volta para os nós de trabalho da autoridade de certificação (headnode0).

   scp wn0-cert-signed sshuser@WorkerNode0_Name:~/ssl/cert-signed
   scp wn1-cert-signed sshuser@WorkerNode1_Name:~/ssl/cert-signed
   scp wn2-cert-signed sshuser@WorkerNode2_Name:~/ssl/cert-signed
   

10. Envie o certificado público da autoridade de certificação para cada nó de trabalho.

    scp ca-cert sshuser@WorkerNode0_Name:~/ssl/ca-cert
    scp ca-cert sshuser@WorkerNode1_Name:~/ssl/ca-cert
    scp ca-cert sshuser@WorkerNode2_Name:~/ssl/ca-cert
    

11. Em cada nó de trabalho, adicione o certificado público das autoridades de certificação ao armazenamento confiável e ao armazenamento de chaves. Em seguida, adicione o próprio certificado assinado do nó de trabalho ao keystore

    keytool -keystore kafka.server.truststore.jks -alias CARoot -import -file ca-cert -storepass "MyServerPassword123" -keypass "MyServerPassword123" -noprompt
    keytool -keystore kafka.server.keystore.jks -alias CARoot -import -file ca-cert -storepass "MyServerPassword123" -keypass "MyServerPassword123" -noprompt
    keytool -keystore kafka.server.keystore.jks -import -file cert-signed -storepass "MyServerPassword123" -keypass "MyServerPassword123" -noprompt
    
    

Atualize a configuração do Kafka para usar TLS e reiniciar corretores

Agora você configurou cada corretor Kafka com um keystore e truststore e importou os certificados corretos. Em seguida, modifique as propriedades de configuração Kafka relacionadas usando Ambari e, em seguida, reinicie os corretores Kafka.

Para concluir a modificação da configuração, execute as seguintes etapas:

1. Entre no portal do Azure e selecione seu cluster Apache Kafka do Azure HDInsight.

2. Vá para a interface do usuário do Ambari clicando em Página inicial do Ambari em Painéis de cluster.

3. Sob Kafka Broker defina a propriedade listeners como PLAINTEXT://localhost:9092,SSL://localhost:9093

4. Em Advanced kafka-broker , defina a propriedade security.inter.broker.protocol como SSL

   

5. Em Custom kafka-broker , defina a propriedade ssl.client.auth como required.

   Nota

   Nota: Este passo só é necessário se estiver a configurar a autenticação e encriptação.

   

6. Aqui está a captura de tela que mostra a interface do usuário de configuração do Ambari com essas alterações.

   Nota

   1. ssl.keystore.location e ssl.truststore.location é o caminho completo do seu keystore, local de armazenamento confiável na Autoridade de Certificação (hn0)
   2. ssl.keystore.password e ssl.truststore.password é a senha definida para o keystore e truststore. Neste caso, a título de exemplo, MyServerPassword123
   3. ssl.key.password é o conjunto de chaves para o armazenamento de chaves e armazenamento confiável. Neste caso, a título de exemplo, MyServerPassword123

7. Para usar TLS 1.3 em Kafka

   Adicione as seguintes configurações às configurações kafka no Ambari

   1. ssl.enabled.protocols=TLSv1.3
   2. ssl.protocol=TLSv1.3

   Importante

   1. O TLS 1.3 funciona apenas com a versão kafka do HDI 5.1.
   2. Se você usar o TLS 1.3 no lado do servidor, deverá usar as configurações do TLS 1.3 no cliente também.

8. Para HDI versão 4.0 ou 5.0

   1. Se você estiver configurando a autenticação e a criptografia, a captura de tela terá a aparência de

   

   1. Se estiver a configurar apenas encriptação, a captura de ecrã tem o aspeto de

   

9. Reinicie todos os corretores Kafka.

Configuração do cliente (sem autenticação)

Se você não precisar de autenticação, o resumo das etapas para configurar apenas a criptografia TLS são:

1. Faça login na autoridade de certificação (nó principal ativo).
2. Copie o certificado da autoridade de certificação para a máquina cliente da máquina da autoridade de certificação (wn0).
3. Entre na máquina cliente (hn1) e navegue até a ~/ssl pasta.
4. Importe o certificado da autoridade de certificação para o armazenamento confiável.
5. Importe o certificado da autoridade de certificação para o armazenamento de chaves.

Essas etapas são detalhadas nos trechos de código a seguir.

1. Faça login no nó da autoridade de certificação.

   ssh sshuser@HeadNode0_Name
   cd ssl
   

2. Copie o ca-cert para a máquina cliente

   scp ca-cert sshuser@HeadNode1_Name:~/ssl/ca-cert
   

3. Inicie sessão na máquina cliente (nó principal em espera).

   ssh sshuser@HeadNode1_Name
   cd ssl
   

4. Importe o certificado da autoridade de certificação para o armazenamento confiável.

   keytool -keystore kafka.client.truststore.jks -alias CARoot -import -file ca-cert -storepass "MyClientPassword123" -keypass "MyClientPassword123" -noprompt
   

5. Importe o certificado da autoridade de certificação para keystore.

   keytool -keystore kafka.client.keystore.jks -alias CARoot -import -file ca-cert -storepass "MyClientPassword123" -keypass "MyClientPassword123" -noprompt
   

6. Crie o arquivo client-ssl-auth.properties na máquina cliente (hn1). Deve ter as seguintes linhas:

   security.protocol=SSL
   ssl.truststore.location=/home/sshuser/ssl/kafka.client.truststore.jks
   ssl.truststore.password=MyClientPassword123
   

   1. Para usar o TLS 1.3, adicione as seguintes configurações ao arquivo: client-ssl-auth.properties

   ssl.enabled.protocols=TLSv1.3
   ssl.protocol=TLSv1.3
   

7. Inicie o cliente administrador com as opções do produtor e do consumidor para verificar se os produtores e os consumidores estão trabalhando na porta 9093. Consulte a seção Verificação para conhecer as etapas necessárias para verificar a configuração usando o produtor/consumidor do console.

Configuração do cliente (com autenticação)

Nota

As etapas a seguir são necessárias somente se você estiver configurando a criptografia e a autenticação TLS. Se você estiver apenas configurando a criptografia, consulte Configuração do cliente sem autenticação.

As quatro etapas a seguir resumem as tarefas necessárias para concluir a configuração do cliente:

1. Inicie sessão na máquina cliente (nó principal em espera).
2. Crie um keystore Java e obtenha um certificado assinado para o broker. Em seguida, copie o certificado para a VM onde a autoridade de certificação está sendo executada.
3. Mude para a máquina CA (nó principal ativo) para assinar o certificado do cliente.
4. Vá para a máquina cliente (nó principal em espera) e navegue até a ~/ssl pasta. Copie o certificado assinado para a máquina cliente.

Os detalhes de cada etapa são fornecidos.

1. Inicie sessão na máquina cliente (nó principal em espera).

   ssh sshuser@HeadNode1_Name
   

2. Remova qualquer diretório ssl existente.

   rm -R ~/ssl
   mkdir ssl
   cd ssl
   

3. Crie um keystore Java e crie uma solicitação de assinatura de certificado.

   keytool -genkey -keystore kafka.client.keystore.jks -validity 365 -storepass "MyClientPassword123" -keypass "MyClientPassword123" -dname "CN=HEADNODE1_FQDN" -storetype pkcs12
   
   keytool -keystore kafka.client.keystore.jks -certreq -file client-cert-sign-request -storepass "MyClientPassword123" -keypass "MyClientPassword123"
   

4. Copie a solicitação de assinatura de certificado para a autoridade de certificação

   scp client-cert-sign-request sshuser@HeadNode0_Name:~/ssl/client-cert-sign-request
   

5. Alterne para a máquina CA (nó principal ativo) e assine o certificado do cliente.

   ssh sshuser@HeadNode0_Name
   cd ssl
   openssl x509 -req -CA ca-cert -CAkey ca-key -in ~/ssl/client-cert-sign-request -out ~/ssl/client-cert-signed -days 365 -CAcreateserial -passin pass:MyClientPassword123
   

6. Copie o certificado de cliente assinado da autoridade de certificação (nó principal ativo) para a máquina cliente.

   scp client-cert-signed sshuser@HeadNode1_Name:~/ssl/client-signed-cert
   

7. Copie o ca-cert para a máquina cliente

   scp ca-cert sshuser@HeadNode1_Name:~/ssl/ca-cert
   

   1. Entre na máquina cliente (nó principal em espera) e navegue até o diretório ssl.

   ssh sshuser@HeadNode1_Name
   cd ssl
   

8. Crie armazenamento de cliente com certificado assinado, importe certificado de CA para o keystore e armazenamento confiável na máquina cliente (hn1):

   keytool -keystore kafka.client.truststore.jks -alias CARoot -import -file ca-cert -storepass "MyClientPassword123" -keypass "MyClientPassword123" -noprompt
   
   keytool -keystore kafka.client.keystore.jks -alias CARoot -import -file ca-cert -storepass "MyClientPassword123" -keypass "MyClientPassword123" -noprompt
   
   keytool -keystore kafka.client.keystore.jks -import -file client-signed-cert -storepass "MyClientPassword123" -keypass "MyClientPassword123" -noprompt
   

9. Crie um arquivo client-ssl-auth.properties na máquina cliente (hn1). Deve ter as seguintes linhas:

   security.protocol=SSL
   ssl.truststore.location=/home/sshuser/ssl/kafka.client.truststore.jks
   ssl.truststore.password=MyClientPassword123
   ssl.keystore.location=/home/sshuser/ssl/kafka.client.keystore.jks
   ssl.keystore.password=MyClientPassword123
   ssl.key.password=MyClientPassword123
   

   1. Para usar o TLS 1.3, adicione as seguintes configurações ao arquivo: client-ssl-auth.properties

   ssl.enabled.protocols=TLSv1.3
   ssl.protocol=TLSv1.3
   

Verificação

Execute estas etapas na máquina cliente.

Nota

Se o HDInsight 4.0 e o Kafka 2.1 estiverem instalados, você poderá usar o produtor/consumidores do console para verificar sua configuração. Caso contrário, execute o produtor Kafka na porta 9092 e envie mensagens para o tópico e, em seguida, use o consumidor Kafka na porta 9093 que usa TLS.

Kafka 2.1 ou superior

1. Crie um tópico se ele ainda não existir.

   /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --zookeeper <ZOOKEEPER_NODE>:2181 --create --topic topic1 --partitions 2 --replication-factor 2
   

2. Inicie o produtor do console e forneça o caminho para client-ssl-auth.properties como um arquivo de configuração para o produtor.

   /usr/hdp/current/kafka-broker/bin/kafka-console-producer.sh --broker-list <FQDN_WORKER_NODE>:9093 --topic topic1 --producer.config ~/ssl/client-ssl-auth.properties
   

3. Abra outra conexão ssh com a máquina cliente e inicie o consumidor do console e forneça o caminho para client-ssl-auth.properties como um arquivo de configuração para o consumidor.

   /usr/hdp/current/kafka-broker/bin/kafka-console-consumer.sh --bootstrap-server <FQDN_WORKER_NODE>:9093 --topic topic1 --consumer.config ~/ssl/client-ssl-auth.properties --from-beginning
   

Próximos passos

• O que é o Apache Kafka no HDInsight?