Partager via

Comment configurer Apache Kafka sur HDInsight pour créer des rubriques automatiquement

  • Article

Par défaut, Apache Kafka sur HDInsight n’autorise pas la création automatique de rubriques. Vous pouvez activer la création automatique de rubriques pour les clusters existants à l’aide d’Apache Ambari. Vous pouvez également activer la création automatique de rubriques quand vous créez un cluster Kafka à l’aide d’un modèle Azure Resource Manager.

Interface utilisateur web d’Apache Ambari

Pour activer la création automatique de rubriques sur un cluster existant par le biais de l’interface utilisateur web d’Ambari, effectuez les étapes suivantes :

  1. Sur le Portail Azure, sélectionnez votre cluster Kafka.

  2. Dans Tableaux de bord du cluster, sélectionnez Accueil Ambari.

    Image du portail avec le tableau de bord du cluster sélectionné.

    Lorsque vous y êtes invité, authentifiez-vous à l’aide des informations d’identification de connexion (admin) pour le cluster. Au lieu de cela, vous pouvez vous connecter directement à Ambari à partir de https://CLUSTERNAME.azurehdinsight.net/, où CLUSTERNAME est le nom de votre cluster Kafka.

  3. Sélectionnez le service Kafka dans la liste à gauche de la page.

    Onglet avec la liste des services Apache Ambari.

  4. Sélectionnez Configs au milieu de la page.

    Onglet des configurations du service Apache Ambari.

  5. Dans le champ Filter (Filtrer), entrez la valeur auto.create.

    Champ de filtre de recherche Apache Ambari.

    Ce paramètre filtre la liste des propriétés et affiche le paramètre auto.create.topics.enable.

  6. Remplacez la valeur de auto.create.topics.enable par true, puis sélectionnez Save (Enregistrer). Ajoutez une note, puis sélectionnez à nouveau Save (Enregistrer).

    Image de l’entrée auto.create.topics.enable.

  7. Sélectionnez le service Kafka, choisissez Restart (Redémarrer), puis Restart all affected (Redémarrer tous les éléments affectés). Lorsque vous y êtes invité, sélectionnez Confirm Restart All (Confirmer le redémarrage).

    `Apache Ambari redémarrer tous les éléments affectés`.

Remarque

Vous pouvez également définir les valeurs Ambari par le biais de l’API REST d’Ambari. Cette méthode est généralement plus difficile, car vous devez effectuer plusieurs appels REST pour récupérer la configuration actuelle, la modifier, etc. Pour plus d’informations, consultez le document Clusters HDInsight managés à l’aide de l’API REST d’Apache Ambari.

Modèles Resource Manager

Quand vous créez un cluster Kafka à l’aide d’un modèle Azure Resource Manager, vous pouvez définir directement auto.create.topics.enable en l’ajoutant dans un kafka-broker. L’extrait de code JSON suivant montre comment définir cette valeur sur true :

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

Étapes suivantes

Dans ce document, vous avez appris à activer la création automatique de rubriques pour Apache Kafka sur HDInsight. Pour en savoir plus sur l’utilisation de Kafka, consultez les liens suivants :