Поделиться через

Настройка автоматического создания разделов в Apache Kafka в HDInsight

  • Статья

По умолчанию в Apache Kafka в HDInsight автоматическое создание разделов отключено. Но вы можете включить автоматическое создание разделов для существующих кластеров с помощью Apache Ambari. Также автоматическое создание разделов можно включить при создании нового кластера Kafka с помощью шаблона Azure Resource Manager.

Веб-интерфейс Apache Ambari

Чтобы включить автоматическое создание разделов в существующем кластере через пользовательский веб-интерфейс Ambari, выполните следующие действия:

  1. На портале Azure выберите свой кластер Kafka.

  2. В панелях мониторинга кластеров выберите домашнюю страницу Ambari.

    Изображение портала с выбранной панелью мониторинга кластера.

    Когда появится запрос, пройдите проверку подлинности, используя учетные данные (администратора) входа для кластера. Вместо этого вы можете подключиться к Ambari непосредственно с https://CLUSTERNAME.azurehdinsight.net/ CLUSTERNAME именем кластера Kafka.

  3. В списке в левой части страницы выберите службу Kafka.

    Вкладка списка служб Apache Ambari.

  4. Выберите "Конфигурации" в середине страницы.

    Вкладка конфигураций службы Apache Ambari.

  5. В поле "Фильтр" введите значение параметра auto.create.

    Поле фильтра поиска Apache Ambari.

    Этот параметр фильтрует список свойств и отображает параметр auto.create.topics.enable.

  6. Измените значение параметра auto.create.topics.enable на true и выберите Сохранить. Добавьте заметку и выберите Сохранить еще раз.

    Изображение записи auto.create.topics.enable.

  7. Выберите службу Kafka и щелкните Перезапустить, а затем выберите Restart all affected (Перезапустить все затронутые). Когда появится запрос, выберите Conform Restart All (Подтвердить перезапуск всех).

Примечание.

Можно также задать значения Ambari с помощью REST API Ambari. Как правило, это сложнее, так как необходимо выполнить несколько вызовов REST, чтобы получить текущую конфигурацию, изменить ее и т. д. Дополнительные сведения см. в управляемых кластерах HDInsight с помощью документа REST API Apache Ambari.

Шаблоны Resource Manager

При создании кластера Kafka с помощью шаблона Azure Resource Manager вы можете напрямую задать значение параметра auto.create.topics.enable, добавив его в kafka-broker. В следующем фрагменте JSON для этого параметра устанавливается значение true:

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

Next Steps

Из этого документа вы узнали, как включить автоматическое создание разделов для Apache Kafka в HDInsight. Дополнительные сведения о работе с Kafka вы можете получить по следующим ссылкам.