Отображение Azure Cosmos DB (версия для предварительного просмотра)
Зеркальное отображение в Microsoft Fabric обеспечивает бесшовный опыт без ETL для интеграции существующих данных Azure Cosmos DB с остальными данными в Microsoft Fabric. Данные Azure Cosmos DB постоянно реплицируются непосредственно в Fabric OneLake практически в режиме реального времени, не влияя на производительность ваших транзакционных рабочих нагрузок или потребляя единицы запросов (ЕЗ).
Данные в OneLake хранятся в разностном формате с открытым исходным кодом и автоматически предоставляются всем аналитическим модулям в Fabric.
Встроенные возможности Power BI можно использовать для доступа к данным в OneLake в режиме DirectLake. Благодаря Copilot усовершенствованиям Fabric вы можете использовать возможности создания искусственного интеллекта для получения ключевых аналитических сведений о бизнес-данных. Помимо Power BI, можно использовать T-SQL для выполнения сложных агрегатных запросов или использования Spark для изучения данных. Вы можете легко получить доступ к данным в записных книжках и использовать обработку и анализ данных для создания моделей машинного обучения.
Внимание
В настоящий момент зеркалирование для Azure Cosmos DB находится в предварительной версии. Нагрузки в рабочей среде не поддерживаются во время предварительного просмотра. В настоящее время поддерживаются только учетные записи Azure Cosmos DB для NoSQL.
Зачем использовать зеркальное отображение в Fabric?
При использовании функции "Mirroring" в Fabric вам не нужно собирать различные сервисы от нескольких поставщиков. Вместо этого вы можете наслаждаться высоко интегрированным, комплексным и простым продуктом, который предназначен для упрощения потребностей аналитики и построен для открытости.
Если вы ищете BI-отчеты или аналитику для операционных данных в Azure Cosmos DB, репликация данных предоставляет:
- Без ETL, экономичный доступ к данным Azure Cosmos DB практически в режиме реального времени, без влияния на потребление единиц запроса.
- Простота интеграции данных из различных источников в Fabric OneLake
- Оптимизация разностной таблицы с виртуальным порядком для быстрого чтения
- Интеграция в один клик с Power BI и Direct Lake Copilot
- Многофункциональная бизнес-аналитика путем объединения данных между различными источниками
- Расширенная интеграция приложений для доступа к запросам и представлениям
Данные OneLake хранятся в формате Delta Lake с открытым исходным кодом, что позволяет использовать его с различными решениями в пределах корпорации Майкрософт и за ее пределами. Этот формат данных упрощает создание единого пространства данных для аналитических потребностей.
Какие возможности аналитики встроены?
Зеркальные базы данных — это элемент в Хранилище данных Fabric, отличный от хранилища и конечной точки аналитики SQL.
Каждая зеркальная база данных Azure Cosmos DB содержит три элемента, с которыми можно взаимодействовать в рабочей области Fabric:
- Элемент зеркальной базы данных. Зеркальное отображение управляет репликацией данных в OneLake и преобразованием данных в формат Parquet, готовый к аналитическому использованию. Это позволяет последующим сценариям, таким как проектирование данных, наука о данных и т. д.
- Конечная точка аналитики SQL, которая создается автоматически
- Семантическая модель по умолчанию, которая автоматически создается
Зеркальная база данных
Зеркальная база данных показывает состояние репликации и элементы управления для остановки или запуска репликации в Fabric OneLake. Вы также можете просмотреть исходную базу данных в режиме только для чтения с помощью обозревателя данных Azure Cosmos DB. С помощью обозревателя данных можно просматривать контейнеры в исходной базе данных Azure Cosmos DB и запрашивать их. Эти операции используют единицы запросов (ЕЗ) из учетной записи Azure Cosmos DB. Любые изменения в исходной базе данных отражаются сразу же в представлении исходной базы данных Fabric. Запись в исходную базу данных не разрешена из Fabric, так как можно просматривать только данные.
Конечная точка аналитики SQL
Каждая зеркальная база данных имеет автоматически созданную конечную точку аналитики SQL, которая обеспечивает широкий аналитический интерфейс на основе таблиц Delta OneLake, созданных процессом зеркального отображения. У вас есть доступ к знакомым командам T-SQL, которые могут определять и запрашивать объекты данных, но не управлять данными из конечной точки аналитики SQL, так как это копия только для чтения.
В конечной точке аналитики SQL можно выполнить следующие действия:
- Изучите таблицы Delta Lake с помощью T-SQL. Каждая таблица сопоставляется с контейнером из базы данных Azure Cosmos DB.
- Создание запросов и представлений без кода и их визуальное изучение без написания строки кода.
- Объединяйте и запрашивайте данные в других зеркальных базах данных, хранилищах и озёрах данных в той же рабочей области.
- Вы можете легко визуализировать и создавать отчеты бизнес-аналитики на основе sql-запросов или представлений.
Помимо редактора запросов SQL существует широкая экосистема инструментов. Эти средства включают расширение mssql с Visual Studio Code, SQL Server Management Studio (SSMS) и даже GitHub Copilot. Вы можете усилить анализ и генерацию аналитических данных с помощью выбранного вами инструмента.
Семантическая модель
Семантическая модель по умолчанию — это автоматически подготовленная семантическая модель Power BI. Эта функция позволяет создавать, совместно использовать и повторно использовать бизнес-метрики. Дополнительные сведения см. в семантических моделях.
Как работает репликация практически в режиме реального времени?
При включении репликации в базе данных Azure Cosmos DB операции вставки, обновления и удаления данных в системе OLTP непрерывно реплицируются в Fabric OneLake для аналитики.
Функция непрерывного резервного копирования является обязательным условием для зеркального отображения . Вы можете включить 7-дневную или 30-дневную непрерывную резервную копию в учетной записи Azure Cosmos DB. Если вы включаете непрерывное резервное копирование специально для зеркального отображения, рекомендуется использовать 7-дневное непрерывное резервное копирование, так как это бесплатно.
Примечание.
Зеркальное отображение не использует аналитическое хранилище Azure Cosmos DB или канал обновлений как источник для отслеживания изменений. Эти возможности можно использовать независимо, а также вместе с функцией зеркального отображения.
Для репликации данных Azure Cosmos DB в Fabric OneLake может потребоваться несколько минут. В зависимости от начального моментального снимка данных или частоты обновлений или удалений репликация также может занять больше времени в некоторых случаях. Репликация не влияет на единицы запросов (ЕЗ), выделенные для транзакционных рабочих нагрузок.
Что ожидать от зеркального отображения
Перед зеркальным отображением следует рассмотреть несколько вопросов и поддерживаемых сценариев.
Рекомендации по настройке
Для зеркального отображения базы данных она уже должна быть подготовлена в Azure. Необходимо включить непрерывное резервное копирование для учетной записи в качестве предварительного условия.
- Каждую базу данных можно зеркально отображать только по отдельности. Вы можете выбрать базу данных для зеркального отображения.
- Вы можете зеркально отображать одну базу данных несколько раз в одной рабочей области. Рекомендуется повторно использовать одну копию базы данных в озерах, хранилищах или других зеркальных базах данных. Вам не нужно настраивать несколько зеркал в одной базе данных.
- Вы также можете зеркально отображать одну и ту же базу данных в разных рабочих областях или арендаторах Fabric.
- Изменения контейнеров Azure Cosmos DB, например добавление новых контейнеров и удаление существующих, легко реплицируются в Fabric. Вы можете начать зеркальное отображение пустой базы данных без контейнеров, например, и зеркальное отображение легко выбирает контейнеры, добавленные в последующий момент времени.
Поддержка вложенных данных
Вложенные данные отображаются как строка JSON в таблицах конечных точек аналитики SQL. Вы можете использовать OPENJSON, CROSS APPLY и OUTER APPLY в запросах или представлениях T-SQL для выборочного расширения этих данных. Если вы используете Power Query, вы также можете применить функцию ToJson для расширения этих данных.
Примечание.
Структура имеет ограничение для строковых столбцов размером 8 КБ. Дополнительные сведения см. в разделе об ограничениях хранилища данных.
Обработка изменений схемы
Зеркалирование автоматически реплицирует свойства элементов Azure Cosmos DB с изменениями в схеме. Все новые свойства, обнаруженные в элементе, отображаются как новые столбцы и отсутствующие свойства, если таковые имеются, представлены как null в Fabric.
При переименовании свойства в элементе, таблицы Fabric сохраняют как старый, так и новый столбец. Старый столбец будет отображать значение NULL, а новый будет отображать последнее значение для всех элементов, которые реплицируются после операции переименования.
При изменении типа данных свойства в элементах Azure Cosmos DB изменения поддерживаются для совместимых типов данных, которые можно преобразовать. Если типы данных несовместимы для преобразования в Delta, они представлены в виде значений NULL.
Таблицы конечных точек аналитики SQL преобразуют типы данных Delta в типы данных T-SQL.
Повторяющиеся имена столбцов
Azure Cosmos DB поддерживает имена столбцов без учета регистра на основе стандарта JSON. Зеркальное отображение поддерживает эти повторяющиеся имена столбцов путем добавления _n в имя столбца, где n представляет собой числовое значение.
Например, если элемент Azure Cosmos DB имеет addressName и AddressName как уникальные свойства, таблицы Fabric имеют соответствующие addressName и AddressName_1 столбцы. Дополнительные сведения см. в разделе об ограничениях репликации.
Безопасность
Подключения к базе данных-источнику основаны на ключах для учетных записей Azure Cosmos DB. При смене или повторном создании ключей необходимо обновить подключения, чтобы репликация функционировала корректно. Дополнительные сведения см. в разделе "Подключения".
Ключи учетной записи не отображаются напрямую другим пользователям Fabric после настройки подключения. Вы можете ограничить доступ к подключениям, созданным в Fabric. Записи не разрешены в базу данных Azure Cosmos DB ни из обозревателя данных, ни из аналитической конечной точки в вашей зеркальной базе данных.
Зеркальное отображение в настоящее время не поддерживает аутентификацию с использованием ключей учетных записей только для чтения, единого входа (SSO) с помощью идентификаторов Microsoft Entra, контроля доступа на основе ролей или управляемых удостоверений.
После репликации данных в Fabric OneLake необходимо защитить доступ к этим данным.
Функции защиты данных
Детализированную безопасность можно настроить в зеркальной базе данных в Microsoft Fabric. Для получения более подробной информации см. гранулярные разрешения в Microsoft Fabric.
Фильтры столбцов и фильтры строк на основе предиката можно защитить для таблиц для ролей и пользователей в Microsoft Fabric:
- Безопасность на уровне строк в хранилище данных Fabric
- Безопасность на уровне столбцов в хранилище данных Fabric
Вы также можете маскировать конфиденциальные данные для пользователей, не являющихся администраторами, с помощью динамического маскирования данных.
Безопасность сети
В настоящее время зеркальное отображение не поддерживает частные конечные точки или управляемые клиентом ключи шифрования (CMK) в OneLake. Зеркальное отображение не поддерживается для учетных записей Azure Cosmos DB с конфигурациями безопасности сети, менее разрешительными, чем все сети, с использованием сервисных конечных точек, частных конечных точек, IP-адресов или любых других настроек, которые могут ограничить доступ к учетной записи через публичную сеть. Учетные записи Azure Cosmos DB должны быть открыты для всех сетей для работы с зеркальным отображением.
Задержка аварийного восстановления и репликации
В Fabric можно развернуть содержимое в центрах обработки данных в регионах, отличных от домашнего региона клиента Fabric. Дополнительные сведения см. в разделе поддержка нескольких географий.
Для учетной записи Azure Cosmos DB с основным регионом записи и несколькими регионами чтения зеркальное отображение выбирает регион чтения Azure Cosmos DB, ближайший к региону, в котором настроена емкость Fabric. Этот выбор помогает обеспечить репликацию с низкой задержкой для зеркального отображения.
При переключении учетной записи Azure Cosmos DB в регион восстановления репликация автоматически выбирает ближайший регион Azure Cosmos DB снова.
Примечание.
Зеркальное отображение не поддерживает учетные записи с несколькими регионами записи.
Данные Cosmos DB, реплицированные в OneLake, необходимо настроить для обработки сбоев на уровне региона. Дополнительные сведения см. в статье об аварийном восстановлении в OneLake.
Исследуйте ваши данные с помощью зеркального отображения
Вы можете напрямую просматривать и получать доступ к зеркальным данным в OneLake. Вы также можете легко получить доступ к зеркальным данным без дальнейшего перемещения данных.
Узнайте больше о том, как получить доступ к OneLake с помощью API-интерфейсов ADLS 2-го поколения или пакета SDK, файлового обозревателя OneLake и обозревателя Azure Storage.
Вы можете подключиться к конечной точке аналитики SQL из таких средств, как SQL Server Management Studio (SSMS) или с помощью драйверов, таких как Microsoft Open Database Connectivity (ODBC) и Java Database Connectivity (JDBC). Дополнительные сведения см. в разделе о подключении к аналитической конечной точке SQL.
Вы также можете получить доступ к зеркальным данным с такими службами, как:
- Службы Azure, такие как Azure Databricks, Azure HDInsight или Azure Synapse Analytics
- Fabric Lakehouse с помощью сочетаний клавиш для проектирования данных и сценариев обработки и анализа данных
- Другие зеркальные базы данных или хранилища в рабочей области Fabric
Вы также можете создавать решения в архитектуре медальона, очищая и преобразуя данные, которые попадают в зеркальную базу данных как бронзовый слой. Дополнительные сведения см. в статье о поддержке архитектуры медальонов в Fabric.
Цены
Вычисления Fabric, используемые для репликации данных Cosmos DB в Fabric OneLake, бесплатны. Хранение в OneLake бесплатно в зависимости от объёма. Дополнительные сведения см. в статье о ценах OneLake для зеркального отображения данных. Использование вычислительных ресурсов для запроса данных через SQL, Power BI или Spark по-прежнему тарифицируется на основе емкости Fabric.
Если вы используете обозреватель данных в зеркальном отображении Fabric, у вас возникают стандартные расходы на основе использования единиц запросов (RU) для исследования контейнеров и выполнения запросов к элементам в исходной базе данных Azure Cosmos DB. Функция непрерывного резервного копирования Azure Cosmos DB обязательна для зеркалирования: стандартные тарифы на непрерывное резервное копирование применяются. При непрерывном выставлении счетов за резервное копирование не взимается дополнительная плата. Дополнительные сведения см. в разделе о ценах на Azure Cosmos DB.