Поделиться через

Что такое зеркальное отображение в среде Fabric?

  • Статья

Зеркальное отображение в Fabric — это решение с низкой стоимостью и низкой задержкой для объединения данных из различных систем в одну платформу аналитики. Вы можете непрерывно реплицировать существующее хранилище данных непосредственно в OneLake Fabric из различных баз данных Azure и внешних источников данных.

Используя самые актуальные данные в запрашиваемом формате в OneLake, теперь можно использовать все различные службы в Fabric, такие как выполнение аналитики с помощью Spark, выполнение записных книжек, проектирование данных, визуализация с помощью отчетов Power BI и многое другое.

Зеркальное отображение в Fabric позволяет пользователям использовать высоко интегрированный, комплексный и простой продукт, предназначенный для упрощения потребностей аналитики. Создано для открытости и совместной работы с корпорацией Майкрософт и технологическими решениями, способными обрабатывать формат таблиц Delta Lake с открытым исходным кодом, зеркальное отображение представляет собой недорогое и малозадержечное комплексное решение, которое позволяет создавать копию данных в OneLake для всех ваших аналитических нужд.

Затем таблицы Delta можно использовать везде в системе Fabric, что позволяет пользователям ускорить освоение Fabric.

Зачем использовать зеркальное отображение в Fabric?

Сегодня многие организации имеют критически важные операционные или аналитические данные, сидящие в силосах.

Для доступа и работы с этими данными сегодня требуются сложные конвейеры ETL (извлечение, преобразование, загрузка), бизнес-процессы и изолированные процессы принятия решений, которые создают:

  • Ограниченный и ограниченный доступ к важным, постоянно изменяющимся данным
  • Трение между людьми, процессами и технологиями
  • Длительное время ожидания для создания конвейеров данных и процессов для критически важных данных
  • Нет свободы использовать инструменты, необходимые для анализа и комфортного деления идеями.
  • Отсутствие надлежащей основы для людей для совместного использования и совместной работы с данными
  • Нет общих форматов открытых данных для всех аналитических сценариев : BI, AI, Integration, Engineering и даже Apps

Отражение в Fabric обеспечивает простоту для ускорения получения ценности от аналитических сведений и решений, а также для устранения разрозненности данных между технологическими решениями.

  • Репликация данных и метаданных практически в режиме реального времени в озеро данных SaaS с встроенной аналитикой для бизнес-аналитики и искусственного интеллекта

Платформа Microsoft Fabric построена на архитектуре программного обеспечения как услуги (SaaS), что выводит простоту и интеграцию на совершенно новый уровень. Дополнительные сведения о Microsoft Fabric см. в статье "Что такое Microsoft Fabric?"

Зеркальное отображение создает три элемента в рабочей области Fabric:

  • Зеркалирование обеспечивает репликацию данных и метаданных в OneLake и преобразование в Parquet в формате, готовом для аналитики. Это открывает возможности для последующих сценариев, таких как инженерия данных, наука о данных и многое другое.
  • Конечная точка аналитики SQL
  • Семантическая модель по умолчанию

Помимо редактора запросов SQL, существует широкий экосистема инструментов, включая SQL Server Management Studio (SSMS), расширение mssql для Visual Studio Code и даже GitHub.

Общий доступ позволяет обеспечить удобство управления доступом, чтобы убедиться, что вы можете контролировать доступ к конфиденциальной информации. Общий доступ также обеспечивает безопасный и демократизированный процесс принятия решений в организации.

Типы зеркального отображения

Fabric предлагает три различных подхода к переносу данных в OneLake с помощью зеркального отображения.

  • Зеркальное отображение базы данных — зеркальное отображение базы данных в Microsoft Fabric позволяет выполнять репликацию всех баз данных и таблиц, позволяя объединять данные из различных систем в одну платформу аналитики.
  • Зеркальное отображение метаданных — зеркальное отображение метаданных в Fabric синхронизирует метаданные (например, имена каталогов, схемы и таблицы) вместо физического перемещения данных. Этот подход использует обходные пути, гарантируя, что данные остаются в источнике и по-прежнему легко доступны в Fabric.
  • Открытое зеркалирование — открытое зеркалирование в Fabric предназначено для расширения функций зеркалирования, основанных на открытом формате таблиц Delta Lake. Эта возможность позволяет любому разработчику записывать данные об изменении приложения непосредственно в зеркальный элемент базы данных в Microsoft Fabric на основе открытого подхода зеркального отображения и общедоступных API.

В настоящее время доступны следующие внешние базы данных:

Платформа Репликация практически в режиме реального времени Тип зеркального отображения Полный учебник
Зеркальные базы данных Microsoft Fabric из Azure Cosmos DB (предварительная версия) Да Зеркалирование базы данных Руководство по Azure Cosmos DB
Зеркальные базы данных Microsoft Fabric из Azure Databricks (предварительный просмотр) Да Отражение метаданных Руководство по Azure Databricks
Зеркальные базы данных Microsoft Fabric из База данных SQL Azure Да Зеркальное отображение базы данных Руководство по База данных SQL Azure
Зеркальные базы данных Microsoft Fabric из управляемого экземпляра Azure SQL (предварительная версия) Да Зеркальное отображение базы данных Руководство: Управляемый экземпляр базы данных SQL в Azure
Зеркалированные в Microsoft Fabric базы данных из Snowflake Да Зеркальное отображение базы данных Руководство: Сноуфлейк
Открытые зеркальные базы данных (предварительная версия) Да Открыть зеркалирование Руководство. Открытие зеркального отображения
Зеркальные базы данных в Microsoft Fabric из SQL Fabric (предварительная версия) Да Зеркальное отображение базы данных Автоматическая настройка

Как работает репликация зеркального отображения базы данных практически в режиме реального времени?

Зеркальное отображение включается путем создания безопасного подключения к рабочему источнику данных. Вы выбираете, следует ли реплицировать всю базу данных или отдельные таблицы, а зеркальное отображение автоматически сохраняет данные в синхронизации. После настройки данные будут непрерывно реплицироваться в OneLake для потребления аналитики.

Ниже приведены основные основы зеркального отображения.

  • Включение зеркального отображения в Fabric является простым и интуитивно понятным без необходимости создавать сложные конвейеры ETL, выделять другие вычислительные ресурсы и управлять перемещением данных.

  • Зеркальное отображение в Fabric — это полностью управляемая служба, поэтому вам не нужно беспокоиться о размещении, обслуживании или управлении репликацией зеркального подключения.

Как работает зеркальное отображение метаданных?

Зеркальное отображение не только обеспечивает репликацию данных, но и может быть достигнуто с помощью сочетаний клавиш или зеркального отображения метаданных, а не полной репликации данных, что позволяет получить доступ к данным без физического перемещения или дублирования. Зеркальное отображение в этом контексте относится к репликации только метаданных, таких как имена каталогов, схемы и таблицы, а не фактические данные. Этот подход позволяет Fabric создавать данные из разных источников, не дублируя их, упрощая управление данными и минимизируя потребности в хранении.

Например, при доступе к данным, зарегистрированным в каталоге Unity, Fabric зеркально отражает только структуру каталога из Azure Databricks, что позволяет получить доступ к базовым данным с помощью ярлыков. Этот метод гарантирует, что любые изменения в исходных данных мгновенно отражаются в Fabric без необходимости перемещения данных, поддержания синхронизации в режиме реального времени и повышения эффективности доступа к актуальной информации.

Как работает открытое зеркальное отображение?

Помимо зеркалирования, обеспечивающего репликацию данных и создания безопасного подключения к источнику данных, вы также можете выбрать существующего поставщика данных или написать собственное приложение для загрузки данных в зеркальную базу данных. После создания открытой зеркальной базы данных через общедоступный API или на портале Fabric, вы сможете получить URL-адрес зоны приземления в OneLake, где можно загружать данные об изменениях в соответствии с каждой спецификацией открытого зеркального отображения.

После того как данные будут находиться в целевой зоне с соответствующим форматом, репликация начнет выполняться и управлять сложностью объединения изменений с обновлениями, вставкой и удалением, которые будут отражены в разностных таблицах. Этот метод гарантирует, что все данные, записанные в зону обработки, будут немедленно обновлены, поддерживая данные в Fabric в актуальном состоянии.

Совместное использование

Общий доступ позволяет упростить управление и контроль доступа, в то время как элементы безопасности, такие как управление безопасностью на уровне строк (RLS) и на уровне объектов (OLS), обеспечивают контроль доступа к конфиденциальной информации. Общий доступ также обеспечивает безопасный и демократизированный процесс принятия решений в организации.

Предоставляя общий доступ, пользователи предоставляют другим пользователям или группе пользователей доступ к зеркальной базе данных без предоставления доступа к рабочей области и остальным его элементам. Если кто-то использует зеркальную базу данных, они также предоставляют доступ к конечной точке аналитики SQL и связанной семантической модели по умолчанию.

Дополнительные сведения см. в статье "Общий доступ к зеркальной базе данных" и управление разрешениями.

Межбазовые запросы

С помощью данных из зеркальной базы данных, хранящихся в OneLake, можно создавать запросы между базами данных, присоединять данные из зеркальных баз данных, хранилищ и конечных точек аналитики SQL в одном запросе T-SQL. Дополнительные сведения см. в статье «Создание запроса между базами данных».

Например, можно ссылаться на таблицу из зеркальных баз данных и хранилищ с помощью трехкомпонентного именования. В следующем примере используйте трехкомпонентное имя для ссылки ContosoSalesTable на хранилище ContosoWarehouse. Из других баз данных или хранилищ первая часть стандартного соглашения об именовании sql с тремя компонентами — это имя зеркальной базы данных.

SELECT * 
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;

Стоимость зеркального отображения

Для зеркального отображения базы данных и открытого зеркального отображения вычислительные ресурсы Fabric и хранилище OneLake до ограничения емкости являются бесплатными.

  • Хранение реплик бесплатно до определенного предела, зависящего от размера емкости. Система резервного копирования предлагает бесплатный терабайт пространства для резервирования данных на каждую единицу емкости (CU), которую вы приобрели. Например, при покупке емкости F64 вы получаете 64 бесплатных терабайтов для хранения, которые используются исключительно для зеркального отображения. Плата за хранилище OneLake взимается, если превышено ограничение на бесплатное использование зеркального хранилища или в случае приостановки использования емкости. Дополнительные сведения см. в цен на Microsoft Fabric.
  • Вычислительные ресурсы Fabric, используемые для репликации данных в Fabric OneLake, бесплатны и не используют емкость. Запросы к OneLake в рамках процесса зеркального отображения потребляют вычислительные ресурсы так же, как и при обычном потреблении в OneLake. Вычислительные ресурсы для запроса данных с помощью SQL, Power BI или Spark оплачиваются по стандартным тарифам.

Обработка данных с данными зеркальной базы данных

Microsoft Fabric предоставляет различные возможности обработки данных, чтобы обеспечить, что ваши данные легкодоступны, хорошо организованы и высокого качества. Из Fabric Data Engineering вы можете:

  • Создавайте и управляйте вашими данными с помощью Spark, используя лейкхаус.
  • Проектирование конвейеров для копирования данных в хранилище Lakehouse
  • Использование определений заданий Spark для отправки задания пакетной или потоковой передачи в кластер Spark
  • Использование записных книжек для записи кода для приема данных, подготовки и преобразования

Наука о данных с использованием зеркальных данных вашей базы данных

Microsoft Fabric предлагает Fabric Науку о данных, чтобы предоставить пользователям возможность выполнять комплексные рабочие процессы науки о данных для целей обогащения данных и получения бизнес-аналитических данных. Вы можете выполнить широкий спектр действий в рамках всего процесса обработки и анализа данных, вплоть до изучения, подготовки и очистки данных до экспериментирования, моделирования, оценки моделей и обслуживания прогнозных аналитических сведений до отчетов бизнес-аналитики.

Пользователи Microsoft Fabric могут получать доступ к нагрузкам на системы обработки данных. Оттуда они могут обнаруживать и получать доступ к различным соответствующим ресурсам. Например, они могут создавать эксперименты машинного обучения, модели и записные книжки. Они также могут импортировать существующие записные книжки на домашней странице Обработка и анализ данных.

База данных SQL в Fabric

Вы также можете напрямую создать базу данных SQL в Microsoft Fabric (предварительная версия) на портале Fabric и управлять ими. На основе Azure SQL Database база данных SQL в Fabric автоматически дублируется для аналитических целей и позволяет легко создавать в Fabric вашу операционную базу данных. База данных SQL является домашней средой в Fabric для рабочих нагрузок OLTP и может интегрироваться с интеграцией системы управления версиями Fabric.

Связанный контент