Alta disponibilidade de seus dados com o Apache Kafka no HDInsight
Saiba como configurar réplicas da partição para tópicos Apache Kafka a fim de tirar proveito da configuração de rack do hardware subjacente. Essa configuração garante a disponibilidade dos dados armazenados no Apache Kafka no HDInsight.
Domínios de falha e atualização com Apache Kafka
Um domínio de falha é um agrupamento lógico de hardware subjacente em um data center do Azure. Cada domínio de falha tem um comutador de rede e uma fonte de alimentação em comum. As máquinas virtuais e os discos gerenciados que implementam os nós em um cluster HDInsight são distribuídos entre esses domínios de falha. Essa arquitetura limita o possível impacto de falhas físicas de hardware.
Cada região do Azure tem um número específico de domínios de falha. Para obter uma lista de domínios e a quantidade de domínios de falha que eles contêm, confira a documentação conjuntos de disponibilidade.
Importante
O Kafka não está ciente dos domínios de falha. Quando você cria um tópico no Kafka, ele pode armazenar todas as réplicas da partição no mesmo domínio de falha. Para resolver esse problema, o HDInsight fornece a ferramenta de rebalanceamento de partição do Kafka.
Quando rebalancear réplicas da partição
Para garantir a mais alta disponibilidade de seus dados do Kafka, você deve rebalancear as réplicas de partição do tópico nas seguintes situações:
Quando um novo tópico ou uma partição é criado
Quando você expande um cluster
Fator de replicação
Importante
É recomendável usar uma região do Azure que contenha três domínios de falha e um fator de replicação de 3.
Se você precisa usar uma região que contém apenas dois domínios de falha, use um fator de replicação de 4 para distribuir as réplicas uniformemente entre os dois domínios de falha.
Para obter um exemplo como criar tópicos e configurar o fator de replicação, consulte o documento Introdução ao Apache Kafka no HDInsight.
Como rebalancear réplicas da partição
Use a ferramenta de rebalanceamento de partição do Apache Kafka para rebalancear tópicos selecionados. Essa ferramenta deve ser executada em uma sessão SSH para o nó principal do cluster Kafka.
Para saber mais sobre como se conectar ao HDInsight usando SSH, consulte o documento Usar SSH com HDInsight.