Добавление источника Amazon MSK Kafka в поток событий

Статья
11/18/2024

В этой статье показано, как добавить источник Amazon MSK Kafka в поток событий. 

Amazon MSK Kafka — это полностью управляемая служба Kafka, которая упрощает настройку, масштабирование и управление. Интегрируя Amazon MSK Kafka в качестве источника в потоке событий, вы можете легко перенести события в режиме реального времени из MSK Kafka и обработать его перед маршрутизацией их в несколько назначений в Fabric. 

Примечание.

Этот источник не поддерживается в следующих регионах емкости рабочей области: западная часть США 3, Западная Швейцария.

Необходимые компоненты

Доступ к рабочей области в режиме лицензии емкости Fabric (или) режим пробной лицензии с разрешениями участника или более высокого уровня.
Кластер Amazon MSK Kafka в активном состоянии.
Кластер Amazon MSK Kafka должен быть общедоступным, а не за брандмауэром или защищенным в виртуальной сети.

Примечание.

Максимальное количество источников и назначений для одного потока событий — 11.

Добавление Amazon MSK Kafka в качестве источника

В Службе "Аналитика в режиме реального времени" выберите eventstream , чтобы создать новый поток событий.
На следующем экране выберите "Добавить внешний источник".

Настройка и подключение к Amazon MSK Kafka

На странице источников данных выберите Amazon MSK Kafka.
На странице "Подключение" выберите "Создать подключение".
В разделе "Параметры подключения" для начального сервера введите общедоступную конечную точку кластера Kafka.

Чтобы получить общедоступную конечную точку, выполните следующие действия.
В разделе учетных данных подключения, если у вас есть существующее подключение к кластеру Amazon MSK Kafka, выберите его в раскрывающемся списке для подключения. В противном случае выполните следующие действия.
1. В поле "Имя подключения" введите имя подключения.
2. Для типа проверки подлинности убедитесь, что выбран ключ API.
3. В разделе "Ключ и секрет" введите ключ API и ключ секрета для кластера Amazon MSK Kafka.
Нажмите Подключиться. 
Теперь на странице "Подключение" выполните следующие действия.
1. В поле "Раздел" введите раздел Kafka.
2. Для группы потребителей введите группу потребителей кластера Kafka. Это поле предоставляет выделенную группу потребителей для получения событий.
3. Выберите автоматическое смещение сброса, чтобы указать, где начать чтение смещения, если фиксация отсутствует.
4. Для протокола безопасности значение по умолчанию — SASL_SSL. Механизм SASL по умолчанию — SCRAM-SHA-512 и не может быть изменен.
Выберите Далее. На экране "Рецензирование и подключение" просмотрите сводку и нажмите кнопку "Подключить".