Поделиться через

Добавление управляемой потоковой передачи Amazon для Apache Kafka (MSK) в качестве источника в концентраторе реального времени

  • Статья

В этой статье описывается, как добавить Amazon Streaming для Apache Kafka (MSK) в качестве источника событий в Концентраторе реального времени Fabric.

Amazon MSK Kafka — это полностью управляемая служба Kafka, которая упрощает настройку, масштабирование и управление. Интегрируя Amazon MSK Kafka в качестве источника в потоке событий, вы можете легко перенести события в режиме реального времени из MSK Kafka и обработать его перед маршрутизацией их в несколько назначений в Fabric. 

Необходимые компоненты

  • Доступ к рабочей области в режиме лицензии емкости Fabric (или) режим пробной лицензии с разрешениями участника или более высокого уровня.
  • Кластер Amazon MSK Kafka в активном состоянии.
  • Кластер Amazon MSK Kafka должен быть общедоступным, а не за брандмауэром или защищенным в виртуальной сети.

Страница «Источники данных»

  1. Войдите в Microsoft Fabric.

  2. Выберите режим реального времени на левой панели навигации.

  3. На странице центра реального времени выберите +Источники данных в разделе "Подключиться" в меню навигации слева. Вы также можете добраться до страницы источников данных из всех потоков данных или страниц "Мои потоки данных", нажав кнопку "+ Подключить источник данных" в правом верхнем углу.

    Снимок экрана, на котором показано, как запустить подключение к источнику данных.

Добавление Управляемой потоковой передачи Amazon для Apache Kafka в качестве источника

  1. На странице источников данных выберите Amazon MSK Kafka.

    Снимок экрана: выбор Amazon MSK Kafka в качестве исходного типа в мастере получения событий.

  2. На странице "Подключение" выберите "Создать подключение".

    Снимок экрана: выбор ссылки

  3. В разделе "Параметры подключения" для начального сервера введите общедоступную конечную точку кластера Kafka.

    Снимок экрана: выбор поля сервера начальной загрузки на странице

    Чтобы получить общедоступную конечную точку, выполните следующие действия.

    Снимок экрана: общедоступная конечная точка кластера Amazon MSK.

  4. В разделе учетных данных подключения, если у вас есть существующее подключение к кластеру Amazon MSK Kafka, выберите его в раскрывающемся списке для подключения. В противном случае выполните следующие действия.

    1. В поле "Имя подключения" введите имя подключения.
    2. Для типа проверки подлинности убедитесь, что выбран ключ API.
    3. В разделе "Ключ и секрет" введите ключ API и ключ секрета для кластера Amazon MSK Kafka.

  5. Нажмите Подключиться. 

  6. Теперь на странице "Подключение" выполните следующие действия.

    1. В поле "Раздел" введите раздел Kafka.

    2. Для группы потребителей введите группу потребителей кластера Kafka. Это поле предоставляет выделенную группу потребителей для получения событий.

    3. Выберите автоматическое смещение сброса, чтобы указать, где начать чтение смещения, если фиксация отсутствует.

    4. Для протокола безопасности значение по умолчанию — SASL_SSL. Механизм SASL по умолчанию — SCRAM-SHA-512 и не может быть изменен.

      Снимок экрана: первая страница параметров подключения Amazon MSK Kafka.

  7. Выберите Далее. На экране "Рецензирование и подключение" просмотрите сводку и нажмите кнопку "Подключить".

Просмотр сведений о потоке данных

  1. На странице "Проверка и подключение" при выборе "Открыть поток событий" мастер открывает поток событий, созданный для вас с выбранным источником Amazon Managed Streaming для Apache Kafka. Чтобы закрыть мастер, нажмите кнопку Закрыть в нижней части страницы.

  2. В концентраторе реального времени перейдите на вкладку потоков данных концентратора реального времени. Обновите страницу. Вы должны увидеть поток данных, созданный для вас.

    Подробные инструкции см. в разделе "Просмотр сведений о потоках данных" в Концентраторе реального времени Fabric.

Связанный контент

Дополнительные сведения об использовании потоков данных см. в следующих статьях: