Compartilhar via

Como configurar o Apache Kafka no HDInsight para criar tópicos automaticamente

  • Artigo

Por padrão, o Apache Kafka no HDInsight não habilita a criação automática de tópicos. Você pode habilitar a criação automática de tópico para clusters existentes usando o Apache Ambari. Você também pode habilitar a criação automática de tópico ao criar um novo cluster do Kafka usando um modelo do Azure Resource Manager.

Interface do usuário do Apache Ambari web

Para habilitar a criação automática de tópico em um cluster existente por meio da interface do usuário da Web do Ambari, use as seguintes etapas:

  1. No Portal do Azure, selecione seu cluster do Kafka.

  2. Em Painéis do cluster, selecione Página inicial do Ambari.

    Imagem do portal com o painel do cluster selecionado.

    Quando solicitado, autentique-se usando as credenciais de logon (administrador) do cluster. Em vez, você pode se conectar ao Ambari diretamente de https://CLUSTERNAME.azurehdinsight.net/ em que CLUSTERNAME é o nome do cluster Kafka.

  3. Selecione o serviço Kafka na lista à esquerda da página.

    Guia Lista de serviços do Apache Ambari.

  4. Selecione Configurações no meio da página.

    Guia Configuração de serviços do Apache Ambari.

  5. No campo Filtrar, digite um valor de auto.create.

    Campo de filtro de pesquisa do Apache Ambari.

    Essa configuração filtrará a lista de propriedades e exibirá a configuração auto.create.topics.enable.

  6. Altere o valor de auto.create.topics.enable para true e selecione Salvar. Adicionar uma observação e, em seguida, selecione Salvar novamente.

    Imagem da entrada auto.create.topics.enable.

  7. Selecione o serviço Kafka, Reiniciar e, em seguida, selecione Reiniciar todos os afetados. Quando solicitado, selecione Confirmar reiniciar tudo.

    `O Apache Ambari reinicia todos os afetados`.

Observação

Você também pode definir valores do Ambari por meio da API REST do Ambari. Isso é geralmente mais difícil, já que você precisa fazer várias chamadas REST para recuperar a configuração atual, modificá-la etc. Para obter mais informações, consulte o documento Clusters do HDInsight gerenciados usando a API REST Apache Ambari.

Modelos do Gerenciador de Recursos

Ao criar um cluster do Kafka usando um modelo do Azure Resource Manager, você pode definir diretamente auto.create.topics.enable adicionando-o em um kafka-broker. O snippet JSON a seguir demonstra como definir esse valor como true:

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

Próximas etapas

Neste documento, você aprendeu como habilitar a criação automática de tópico para Apache Kafka no HDInsight. Para obter mais informações sobre como trabalhar com o Kafka, consulte os seguintes links: