Konfigurieren von Apache Kafka in HDInsight für die automatische Erstellung von Themen

Standardmäßig aktiviert Apache Kafka in HDInsight die automatische Themenerstellung nicht. Sie können die automatische Themenerstellung für vorhandene Cluster mithilfe von Apache Ambari aktivieren. Sie können die automatische Themenerstellung auch aktivieren, wenn Sie mithilfe einer Azure Resource Manager-Vorlage einen neuen Kafka-Cluster erstellen.

Apache Ambari-Webbenutzeroberfläche

Um die automatische Themenerstellung in einem vorhandenen Cluster über die Ambari-Web-UI zu aktivieren, führen Sie folgende Schritte aus:

1. Wählen Sie im Azure-Portal Ihren Kafka-Cluster aus.

2. Wählen Sie aus Clusterdashboards die Option Ambari-Homepage aus.

   

   Bei Aufforderung authentifizieren Sie sich mit den Anmeldeinformationen (Admin) für den Cluster. Stattdessen können Sie sich auch direkt von https://CLUSTERNAME.azurehdinsight.net/ aus mit Amabri verbinden, wobei CLUSTERNAME der Name Ihres Kafka-Clusters ist.

3. Wählen Sie auf der linken Seite aus der Liste den Kafka-Dienst aus.

   

4. Klicken Sie in der Mitte der Seite auf „Konfigurationen“.

   

5. Geben Sie in das Feld „Filter“ den Wert auto.create ein.

   

   Diese Einstellung filtert die Liste der Eigenschaften und zeigt die Einstellung auto.create.topics.enable an.

6. Ändern Sie den Wert von auto.create.topics.enable zu true, und klicken Sie dann auf Speichern. Fügen Sie einen Hinweis hinzu, und wählen Sie dann erneut Speichern.

   

7. Wählen Sie den Dienst Kafka, dann die Option Neu starten und abschließend die Option Neustart aller betroffenen. Klicken Sie bei entsprechender Aufforderung auf Neustart aller Dienste bestätigen.

   

Hinweis

Sie können Ambari-Werte auch über die Ambari-REST-API festlegen. Dies ist im Allgemeinen schwieriger, da Sie mehrere REST-Aufrufe ausführen müssen, um die aktuelle Konfiguration abzurufen, sie bearbeiten usw. Weitere Informationen finden Sie im Dokument Verwaltete HDInsight-Cluster mithilfe der Apache Ambari-REST-API.

Resource Manager-Vorlagen

Wenn Sie einen Kafka-Cluster mithilfe einer Azure Resource Manager-Vorlage erstellen, können Sie auto.create.topics.enable durch Hinzufügen in einem kafka-broker direkt festlegen. Der folgende JSON-Codeausschnitt zeigt, wie dieser Wert auf true festgelegt wird:

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

Nächste Schritte

In diesem Dokument haben Sie erfahren, wie Sie die automatische Themenerstellung für Apache Kafka in HDInsight aktivieren. Weitere Informationen zur Arbeit mit Kafka finden Sie unter den folgenden Links:

• Analysieren von Apache Kafka-Protokollen
• Replizieren von Daten zwischen Apache Kafka-Clustern