Partilhar via

Como configurar o Apache Kafka no HDInsight para criar tópicos automaticamente

  • Artigo

Por padrão, o Apache Kafka no HDInsight não habilita a criação automática de tópicos. Você pode habilitar a criação automática de tópicos para clusters existentes usando o Apache Ambari. Você também pode habilitar a criação automática de tópicos ao criar um novo cluster Kafka usando um modelo do Azure Resource Manager.

Interface do usuário da Web do Apache Ambari

Para habilitar a criação automática de tópicos em um cluster existente por meio da interface do usuário da Web do Ambari, use as seguintes etapas:

  1. No portal do Azure, selecione seu cluster Kafka.

  2. Em Painéis de cluster, selecione Página inicial do Ambari.

    Imagem do portal com painel de cluster selecionado.

    Quando solicitado, autentique-se usando as credenciais de login (admin) para o cluster. Em vez disso, você pode se conectar ao Ambari diretamente de https://CLUSTERNAME.azurehdinsight.net/ onde CLUSTERNAME está o nome do seu cluster Kafka.

  3. Selecione o serviço Kafka na lista à esquerda da página.

    Guia Lista de serviços Apache Ambari.

  4. Selecione Configurações no meio da página.

    Guia de configurações do serviço Apache Ambari.

  5. No campo Filtro, insira um valor de auto.create.

    Campo de filtro de pesquisa Apache Ambari.

    Essa configuração filtra a lista de propriedades e exibe a auto.create.topics.enable configuração.

  6. Altere o valor de auto.create.topics.enable para truee, em seguida, selecione Guardar. Adicione uma nota e, em seguida, selecione Guardar novamente.

    Imagem da entrada auto.create.topics.able.

  7. Selecione o serviço Kafka, selecione Reiniciar e, em seguida, selecione Reiniciar todos os afetados. Quando solicitado, selecione Confirmar reinicialização de tudo.

    'Apache Ambari reiniciar todos os afetados'.

Nota

Você também pode definir valores Ambari por meio da API REST do Ambari. Isso geralmente é mais difícil, pois você precisa fazer várias chamadas REST para recuperar a configuração atual, modificá-la, etc. Para obter mais informações, consulte os clusters HDInsight gerenciados usando o documento da API REST do Apache Ambari.

Modelos do Resource Manager

Ao criar um cluster Kafka usando um modelo do Azure Resource Manager, você pode definir auto.create.topics.enable diretamente adicionando-o em um kafka-brokerarquivo . O trecho JSON a seguir demonstra como definir esse valor como true:

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

Passos Seguintes

Neste documento, você aprendeu como habilitar a criação automática de tópicos para o Apache Kafka no HDInsight. Para saber mais sobre como trabalhar com Kafka, consulte os seguintes links: