Delen via

Apache Kafka configureren in HDInsight om automatisch onderwerpen te maken

  • Artikel

Apache Kafka in HDInsight schakelt standaard het automatisch maken van onderwerpen niet in. U kunt het automatisch maken van onderwerpen inschakelen voor bestaande clusters met behulp van Apache Ambari. U kunt het automatisch maken van onderwerpen ook inschakelen bij het maken van een nieuw Kafka-cluster met behulp van een Azure Resource Manager-sjabloon.

Apache Ambari-webinterface

Gebruik de volgende stappen om het automatisch maken van onderwerpen in te schakelen voor een bestaand cluster via de Ambari-webgebruikersinterface:

  1. Selecteer uw Kafka-cluster in Azure Portal.

  2. Selecteer in Clusterdashboards de ambari-startpagina.

    Afbeelding van de portal met clusterdashboard geselecteerd.

    Wanneer u hierom wordt gevraagd, moet u zich verifiëren met behulp van de aanmeldingsreferenties (beheerder) voor het cluster. In plaats daarvan kunt u rechtstreeks verbinding maken met Ambari, waar https://CLUSTERNAME.azurehdinsight.net/ CLUSTERNAME de naam van uw Kafka-cluster is.

  3. Selecteer de Kafka-service in de lijst aan de linkerkant van de pagina.

    Tabblad Lijst met Apache Ambari-services.

  4. Selecteer configuraties in het midden van de pagina.

    Tabblad Configuraties van Apache Ambari-service.

  5. Voer in het veld Filter een waarde in van auto.create.

    Filterveld voor Zoeken in Apache Ambari.

    Met deze instelling wordt de lijst met eigenschappen gefilterd en wordt de auto.create.topics.enable instelling weergegeven.

  6. Wijzig de waarde van auto.create.topics.enable in trueen selecteer Opslaan. Voeg een notitie toe en selecteer Opslaan opnieuw.

    Afbeelding van de vermelding auto.create.topics.enable.

  7. Selecteer de Kafka-service, selecteer Opnieuw opstarten en selecteer Vervolgens Alles opnieuw opstarten. Wanneer u hierom wordt gevraagd, selecteert u Alles opnieuw opstarten bevestigen.

    'Apache Ambari start alles opnieuw op'.

Notitie

U kunt ook Ambari-waarden instellen via de Ambari REST API. Dit is over het algemeen moeilijker, omdat u meerdere REST-aanroepen moet uitvoeren om de huidige configuratie op te halen, te wijzigen, enzovoort. Zie de beheerde HDInsight-clusters met behulp van het Apache Ambari REST API-document voor meer informatie.

Resource Manager-sjablonen

Wanneer u een Kafka-cluster maakt met behulp van een Azure Resource Manager-sjabloon, kunt u het rechtstreeks instellen auto.create.topics.enable door het toe te voegen in een kafka-broker. Het volgende JSON-fragment laat zien hoe u deze waarde trueinstelt op:

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

Volgende stappen

In dit document hebt u geleerd hoe u het automatisch maken van onderwerpen kunt inschakelen voor Apache Kafka in HDInsight. Zie de volgende koppelingen voor meer informatie over het werken met Kafka: