Добавление CDC Azure Cosmos DB в качестве источника в концентраторе реального времени

В этой статье описывается, как добавить Azure Cosmos DB для NoSQL Change Data Capture (CDC) в качестве источника событий в Концентраторе реального времени Fabric.

Соединитель источника отслеживания измененных данных Azure Cosmos DB позволяет записать моментальный снимок текущих данных в базе данных Azure Cosmos DB. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. После записи изменений в потоке можно обрабатывать эти данные CDC в режиме реального времени и отправлять их в разные места назначения в Fabric для дальнейшей обработки или анализа.

Необходимые компоненты

• Доступ к рабочей области в режиме лицензии емкости Fabric (или) режим пробной лицензии с разрешениями участника или более высокого уровня.
• Доступ к учетной записи и базе данных NoSQL для Azure Cosmos DB.
• База данных Azure Cosmos DB для NoSQL должна быть общедоступной, а не за брандмауэром или защищенной в виртуальной сети.
• Если у вас нет потока событий, создайте поток событий.

Получение сведений о подключении из портал Azure

Метки для элементов, которые необходимо собрать из портал Azure, показаны на следующих шагах. Вам всегда нужен универсальный код ресурса (URI) конечной точки( например https://<account>.<api>.azure.com:<port>/, первичный ключ и идентификаторы элементов базы данных, для которого требуется собирать данные.

Примечание.

Azure Cosmos DB для NoSQL CDC использует последний режим версии канала изменений Azure Cosmos DB. Он фиксирует изменения записей в последней версии. Обратите внимание, что удаления не записываются в этом режиме.

1. На странице портал Azure учетной записи Azure Cosmos DB выберите "Ключи" в разделе "Параметры" в области навигации слева.

2. На странице "Ключи" скопируйте URI и значения первичного ключа, которые будут использоваться для настройки подключения к потоку событий.

   

3. На странице обзора портал Azure учетной записи Azure Cosmos DB запишите идентификатор базы данных и элемента, для которого требуется собрать данные.

   

Получение событий из CDC Azure Cosmos DB

События из CDC Azure Cosmos DB можно получить в центре реального времени одним из способов:

• Использование интерфейса добавления источника
• Использование страницы источников Майкрософт

Страница «Источники данных»

1. Войдите в Microsoft Fabric.

2. Если вы видите Power BI в нижнем левом углу страницы, переключитесь на рабочую нагрузку Fabric, выбрав сначала Power BI, а затем Fabric.

   

3. Выберите режим реального времени на левой панели навигации.

   

4. На странице центра реального времени выберите +Источники данных в разделе "Подключиться" в меню навигации слева.

   

   Вы также можете добраться до страницы источников данных из всех потоков данных или страниц "Мои потоки данных", нажав кнопку "+ Подключить источник данных" в правом верхнем углу.

   

Используйте инструкции из раздела "Добавление CDC Azure Cosmos DB" в качестве исходного раздела.

Страница источников Майкрософт

1. В центре реального времени выберите источники Майкрософт.

2. В раскрывающемся списке "Источник" выберите Azure Cosmos DB (CDC).

3. Для подписки выберите подписку Azure с группой ресурсов с учетной записью Cosmos DB.

4. Для группы ресурсов выберите группу ресурсов с учетной записью Cosmos DB.

5. В регионе выберите расположение, в котором находится Cosmos DB.

6. Теперь переместите указатель мыши на имя источника CDC Cosmos DB, который требуется подключить к концентратору реального времени в списке баз данных, и нажмите кнопку "Подключить" или нажмите кнопку "Подключить". (многоточие) и нажмите кнопку "Подключить".

   

   Чтобы настроить сведения о подключении, используйте действия из раздела "Добавление CDC Azure Cosmos DB" в качестве исходного раздела. Пропустите первый шаг выбора CDC Azure Cosmos DB в качестве исходного типа в мастере добавления источника.

Добавление Azure Cosmos DB CDC в качестве источника

1. На странице "Подключение" выберите "Создать подключение".

   

2. В разделе параметров подключения укажите конечную точку Cosmos DB. Введите URI или конечную точку для учетной записи Cosmos DB, скопированной из портал Azure.

   

3. Разверните дополнительные параметры и выполните следующие действия.

   1. Для числа повторных попыток укажите максимальное количество раз, когда соединитель должен повторно передавать запрос в базу данных Cosmos DB, если запрос завершается ошибкой, допускаемой восстановлением.

   2. Чтобы включить передачу функции AVERAGE, укажите, должен ли соединитель передавать агрегатную функцию AVG в базу данных Cosmos DB.

   3. Чтобы включить передачу SORT для нескольких столбцов, укажите, должен ли соединитель разрешать передачу нескольких столбцов в базу данных Cosmos DB при указании в предложении ORDER BY запроса SQL.

      

4. Прокрутите вниз и в разделе учетных данных подключения выполните следующие действия.

   1. Выберите существующее подключение и сохраните параметр "Создать новое подключение" по умолчанию.
   2. Чтобы создать подключение, введите следующие значения:

      1. В поле "Имя подключения" введите имя подключения.

      2. Для типа проверки подлинности выберите ключ учетной записи.

      3. В поле "Ключ учетной записи" введите значение ключа, сохраненное ранее.

      4. Нажмите Подключиться.

         

5. Теперь на странице "Подключение" выполните следующие действия:

   1. Укажите идентификатор контейнера в учетной записи Azure Cosmos DB.

   2. В разделе "Сведения о потоке" справа выберите рабочую область Fabric, в которой вы хотите сохранить поток событий, создаваемый мастером.

   3. Для имени потока событий введите имя потока событий. Мастер создает поток событий с выбранным центром CDC Azure Cosmos DB в качестве источника.

   4. Имя потока автоматически создается путем добавления -stream к имени потока событий. Этот поток отображается на странице " Все потоки данных в реальном времени" при завершении работы мастера.

   5. Выберите Далее.

      

6. На экране "Просмотр и подключение" просмотрите сводку и нажмите кнопку "Создать источник".

   

Просмотр сведений о потоке данных

1. На странице "Проверка и подключение" при выборе "Открыть поток событий" мастер открывает поток событий, созданный для вас с выбранным источником CDC Azure Cosmos DB. Чтобы закрыть мастер, нажмите кнопку Закрыть или X* в правом верхнем углу страницы.

   

2. В концентраторе реального времени выберите все потоки данных. Чтобы просмотреть новый поток данных, обновите страницу "Все потоки данных".

   

   Подробные инструкции см. в разделе "Просмотр сведений о потоках данных" в Концентраторе реального времени Fabric.

Связанный контент

Дополнительные сведения об использовании потоков данных см. в следующих статьях:

• Обработка потоков данных
• Анализ потоков данных
• Настройка оповещений в потоках данных