Dela via

Så här konfigurerar du Apache Kafka i HDInsight för att automatiskt skapa ämnen

  • Artikel

Apache Kafka på HDInsight aktiverar som standard inte automatiskt skapande av ämnen. Du kan aktivera automatisk skapande av ämnen för befintliga kluster med apache Ambari. Du kan också aktivera automatiskt skapande av ämnen när du skapar ett nytt Kafka-kluster med hjälp av en Azure Resource Manager-mall.

Apache Ambari Web UI

Använd följande steg för att aktivera automatisk skapande av ämnen i ett befintligt kluster via webbgränssnittet för Ambari:

  1. Från Azure Portal väljer du ditt Kafka-kluster.

  2. Välj Ambari home från Klusterinstrumentpaneler.

    Bild av portalen med klusterinstrumentpanelen markerad.

    Autentisera med autentiseringsuppgifterna för inloggning (administratör) för klustret när du uppmanas till det. I stället kan du ansluta till Ambari direkt från https://CLUSTERNAME.azurehdinsight.net/ där CLUSTERNAME är namnet på ditt Kafka-kluster.

  3. Välj Kafka-tjänsten i listan till vänster på sidan.

    Fliken Apache Ambari-tjänstlista.

  4. Välj Konfigurationer mitt på sidan.

    Fliken Apache Ambari-tjänstkonfigurationer.

  5. I fältet Filter anger du värdet auto.create.

    Apache Ambari-sökfilterfält.

    Den här inställningen filtrerar listan över egenskaper och visar inställningen auto.create.topics.enable .

  6. Ändra värdet auto.create.topics.enable för till trueoch välj sedan Spara. Lägg till en anteckning och välj sedan Spara igen.

    Bild av posten auto.create.topics.enable.

  7. Välj Kafka-tjänsten, välj Starta om och välj sedan Starta om alla som påverkas. När du uppmanas till det väljer du Bekräfta omstart av alla.

Kommentar

Du kan också ange Ambari-värden via Ambari REST API. Detta är vanligtvis svårare eftersom du måste göra flera REST-anrop för att hämta den aktuella konfigurationen, ändra den osv. Mer information finns i dokumentet Hanterade HDInsight-kluster med hjälp av Apache Ambari REST API .

Resource Manager-mallar

När du skapar ett Kafka-kluster med hjälp av en Azure Resource Manager-mall kan du ange auto.create.topics.enable det direkt genom att lägga till det i en kafka-broker. Följande JSON-kodfragment visar hur du anger det här värdet till true:

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

Nästa steg

I det här dokumentet har du lärt dig hur du aktiverar automatisk skapande av ämnen för Apache Kafka i HDInsight. Mer information om hur du arbetar med Kafka finns i följande länkar: