Compartir a través de

Configuración de Apache Kafka en HDInsight para crear automáticamente los temas

  • Artículo

De manera predeterminada, Apache Kafka en HDInsight no habilita la creación automática de temas. Puede habilitar la creación automática de temas de clústeres existentes con Apache Ambari. También puede habilitar la creación automática de temas al crear un clúster de Kafka mediante una plantilla de Azure Resource Manager.

Interfaz de usuario web de Apache Ambari

Para habilitar la creación automática de temas en un clúster existente mediante la interfaz de usuario web de Ambari, siga estos pasos:

  1. En Azure Portal, seleccione el clúster de Kafka.

  2. Desde Paneles de clúster, seleccione Inicio de Ambari.

    Imagen Azure Portal con el panel de clúster seleccionado.

    Cuando se le solicite, realice la autenticación mediante las credenciales de inicio de sesión (administrador) del clúster. En su lugar, puede conectarse a Ambari directamente desde https://CLUSTERNAME.azurehdinsight.net/ donde CLUSTERNAME es el nombre del clúster de Kafka.

  3. Seleccione el servicio Kafka en la lista de la parte izquierda de la página.

    Pestaña de lista de servicios de Apache Ambari.

  4. Seleccione Configuraciones en el medio de la página.

    Pestaña de configuración del servicio Apache Ambari.

  5. En el campo Filtro, escriba un valor de auto.create.

    Campo de filtro de búsqueda de Apache Ambari.

    Esta configuración filtra la lista de propiedades y muestra el valor auto.create.topics.enable.

  6. Cambie el valor de auto.create.topics.enable a true y, luego, seleccione Guardar. Agregue una nota y, a continuación, seleccione de nuevo Guardar.

    Imagen de la entrada de auto.create.topics.enable.

  7. Seleccione el servicio Kafka, seleccione Reiniciar y luego seleccione Restart all affected (Reiniciar todos los afectados). Cuando se le solicite, seleccione Confirm Restart All (Confirmar reiniciar todo).

Nota:

También puede establecer valores de Ambari mediante la API de REST de Ambari. Esto suele ser más difícil, ya que tiene que hacer varias llamadas de REST para recuperar la configuración actual, modificarla, etc. Para obtener más información, consulte el documento Administración de clústeres de HDInsight mediante la API de REST de Apache Ambari .

Plantillas de Resource Manager

Al crear un clúster de Kafka mediante una plantilla de Azure Resource Manager, puede establecer directamente auto.create.topics.enable al agregarla en kafka-broker. El siguiente fragmento de código JSON muestra cómo establecer este valor en true:

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

Pasos siguientes

En este documento, ha aprendido a habilitar la creación automática de temas para Apache Kafka en HDInsight. Para más información sobre cómo trabajar con Kafka, vea los siguientes vínculos: