Jak skonfigurować platformę Apache Kafka w usłudze HDInsight w celu automatycznego tworzenia tematów

Domyślnie platforma Apache Kafka w usłudze HDInsight nie włącza automatycznego tworzenia tematu. Możesz włączyć automatyczne tworzenie tematów dla istniejących klastrów przy użyciu narzędzia Apache Ambari. Możesz również włączyć automatyczne tworzenie tematu podczas tworzenia nowego klastra platformy Kafka przy użyciu szablonu usługi Azure Resource Manager.

Internetowy interfejs użytkownika systemu Apache Ambari

Aby włączyć automatyczne tworzenie tematu w istniejącym klastrze za pomocą internetowego interfejsu użytkownika systemu Ambari, wykonaj następujące kroki:

1. W witrynie Azure Portal wybierz klaster platformy Kafka.

2. W obszarze Pulpity nawigacyjne klastra wybierz pozycję Ambari home.

   

   Po wyświetleniu monitu uwierzytelnij się przy użyciu poświadczeń logowania (administratora) dla klastra. Zamiast tego możesz nawiązać połączenie z narzędziem Ambari bezpośrednio z https://CLUSTERNAME.azurehdinsight.net/ lokalizacji, w której CLUSTERNAME jest nazwą klastra platformy Kafka.

3. Wybierz usługę Kafka z listy po lewej stronie.

   

4. Wybierz pozycję Konfiguracje w środku strony.

   

5. W polu Filtr wprowadź wartość auto.create.

   

   To ustawienie filtruje listę właściwości i wyświetla auto.create.topics.enable ustawienie.

6. Zmień wartość na auto.create.topics.enable true, a następnie wybierz pozycję Zapisz. Dodaj notatkę, a następnie ponownie wybierz pozycję Zapisz .

   

7. Wybierz usługę Kafka, wybierz pozycję Uruchom ponownie, a następnie wybierz pozycję Uruchom ponownie wszystkie, których dotyczy problem. Po wyświetleniu monitu wybierz pozycję Potwierdź ponowne uruchomienie wszystkich.

   

Uwaga

Możesz również ustawić wartości ambari za pomocą interfejsu API REST systemu Ambari. Jest to na ogół trudniejsze, ponieważ trzeba wykonać wiele wywołań REST w celu pobrania bieżącej konfiguracji, zmodyfikowania jej itp. Aby uzyskać więcej informacji, zobacz dokument Managed HDInsight clusters using the Apache Ambari REST API (Zarządzane klastry usługi HDInsight przy użyciu interfejsu API REST apache Ambari).

Szablony usługi Resource Manager

Podczas tworzenia klastra platformy Kafka przy użyciu szablonu usługi Azure Resource Manager można go bezpośrednio ustawić auto.create.topics.enable , dodając go w elemecie kafka-broker. Poniższy fragment kodu JSON pokazuje, jak ustawić tę wartość na true:

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

Następne kroki

W tym dokumencie przedstawiono sposób włączania automatycznego tworzenia tematu dla platformy Apache Kafka w usłudze HDInsight. Aby dowiedzieć się więcej na temat pracy z platformą Kafka, zobacz następujące linki:

• Analyze Apache Kafka logs (Analizowanie dzienników platformy Apache Kafka)
• Replikowanie danych między klastrami Apache Kafka