Добавление источника Apache Kafka в поток событий (предварительная версия)

В этой статье показано, как добавить источник Apache Kafka в поток событий.

Apache Kafka — это распределенная платформа с открытым кодом для создания масштабируемых систем данных в режиме реального времени. Интеграция Apache Kafka в качестве источника в потоке событий позволяет легко перенести события в режиме реального времени из Apache Kafka и обработать их перед маршрутизацией в несколько назначений в Fabric.

Примечание.

Этот источник не поддерживается в следующих регионах емкости рабочей области: западная часть США 3, Западная Швейцария.

Необходимые компоненты

• Доступ к рабочей области Fabric с разрешениями участника или выше.
• Запущен кластер Apache Kafka.
• Apache Kafka должен быть общедоступным, а не за брандмауэром или защищенным в виртуальной сети. 

Примечание.

Максимальное количество источников и назначений для одного потока событий — 11.

Добавление Apache Kafka в качестве источника

1. В Службе "Аналитика в режиме реального времени" выберите eventstream , чтобы создать новый поток событий.

   

2. На следующем экране выберите "Добавить внешний источник".

   

Настройка и подключение к Apache Kafka

1. На странице "Выбор источника данных" выберите Apache Kafka.

   

2. На странице "Подключение" выберите "Создать подключение".

   

3. В разделе "Параметры подключения" для начального сервера введите адрес сервера Apache Kafka.

   

4. В разделе учетных данных подключения, если у вас есть существующее подключение к кластеру Apache Kafka, выберите его в раскрывающемся списке для подключения. В противном случае выполните следующие действия.

   1. В поле "Имя подключения" введите имя подключения.
   2. Для типа проверки подлинности убедитесь, что выбран ключ API.
   3. В разделе "Ключ и секрет" введите ключ API и секрет ключа.

5. Нажмите Подключиться. 

6. Теперь на странице "Подключение" выполните следующие действия.

   1. В поле "Раздел" введите раздел Kafka.

   2. Для группы потребителей введите группу потребителей кластера Apache Kafka. Это поле предоставляет выделенную группу потребителей для получения событий.

   3. Выберите автоматическое смещение сброса, чтобы указать, где начать чтение смещения, если фиксация отсутствует.

   4. Для протокола безопасности значение по умолчанию — SASL_PLAINTEXT.

      Примечание.

      Источник Apache Kafka в настоящее время поддерживает только незашифрованную передачу данных (SASL_PLAINTEXT и PLAINTEXT) между кластером Apache Kafka и Eventstream. Поддержка зашифрованной передачи данных через SSL будет доступна в ближайшее время.

   5. Механизм SASL по умолчанию обычно обычный, если не настроено в противном случае. Вы можете выбрать механизм SCRAM-SHA-256 или SCRAM-SHA-512 , соответствующий вашим требованиям безопасности.

      

7. Выберите Далее. На экране "Рецензирование" и "Создать" просмотрите сводку и нажмите кнопку "Добавить".

Просмотр обновленного потока событий

В режиме редактирования можно увидеть источник Apache Kafka, добавленный в поток событий. 

После выполнения этих действий источник Apache Kafka доступен для визуализации в режиме реального времени.

Связанный контент

Другие соединители:

• Потоки данных Amazon Kinesis
• Azure Cosmos DB
• Центры событий Azure
• Центр Интернета вещей Azure
• База данных SQL Azure отслеживания измененных данных (CDC)
• Пользовательская конечная точка
• Google Cloud Pub/Sub
• My База данных SQL CDC
• Postgre База данных SQL CDC
• Пример данных
• события Хранилище BLOB-объектов Azure
• Событие рабочей области Fabric