Что такое зеркальное отображение в Fabric?
Зеркальное отображение в Fabric — это решение с низкой стоимостью и низкой задержкой для объединения данных из различных систем в одну платформу аналитики. Вы можете непрерывно реплицировать существующее хранилище данных непосредственно в OneLake Fabric из различных баз данных Azure и внешних источников данных.
Используя самые актуальные данные в запрашиваемом формате в OneLake, теперь можно использовать все различные службы в Fabric, такие как выполнение аналитики с помощью Spark, выполнение записных книжек, проектирование данных, визуализация с помощью отчетов Power BI и многое другое.
Зеркальное отображение в Fabric позволяет пользователям использовать высоко интегрированный, комплексный и простой продукт, предназначенный для упрощения потребностей аналитики. Создано для открытости и совместной работы между корпорацией Майкрософт и технологическими решениями, которые могут читать формат таблицы Delta Lake с открытым исходным кодом, зеркальное отображение — это решение с низкой и низкой задержкой, которое позволяет создавать реплику данных в OneLake, которая может использоваться для всех аналитических потребностей.
Затем таблицы Delta можно использовать во всем мире Fabric, позволяя пользователям ускорить их переход в Fabric.
Зачем использовать зеркальное отображение в Fabric?
Сегодня многие организации имеют критически важные операционные или аналитические данные, сидящие в силосах.
Для доступа и работы с данными сегодня требуются сложные конвейеры ETL (Извлечение нагрузки преобразования), бизнес-процессы и силосы принятия решений, создание:
- Ограниченный и ограниченный доступ к важным, постоянно изменяющимся данным
- Трение между людьми, процессами и технологиями
- Длительное время ожидания для создания конвейеров данных и процессов для критически важных данных
- Нет свободы использовать инструменты, необходимые для анализа и совместного использования аналитических сведений.
- Отсутствие надлежащей основы для людей для совместного использования и совместной работы с данными
- Нет общих форматов открытых данных для всех аналитических сценариев : BI, AI, Integration, Engineering и даже Apps
Зеркальное отображение в Fabric обеспечивает простой опыт для ускорения времени и ценности для аналитических сведений и решений, а также для разбиения данных между технологическими решениями:
- Репликация данных и метаданных практически в режиме реального времени в озеро данных SaaS с встроенной аналитикой для бизнес-аналитики и искусственного интеллекта
Платформа Microsoft Fabric основана на программном обеспечении как услуга (SaaS), которая занимает простоту и интеграцию с совершенно новым уровнем. Дополнительные сведения о Microsoft Fabric см. в статье "Что такое Microsoft Fabric?"
Зеркальное отображение создает три элемента в рабочей области Fabric:
- Зеркальное отображение управляет репликацией данных и метаданных в OneLake и преобразованием в Parquet в формате, готовом к аналитике. Это позволяет нижестоящим сценариям, таким как проектирование данных, обработка и т. д.
- Конечная точка аналитики SQL
- Семантическая модель по умолчанию
Помимо редактораCopilot
Общий доступ позволяет упростить управление доступом и управление ими, чтобы убедиться, что вы можете управлять доступом к конфиденциальной информации. Общий доступ также обеспечивает безопасный и демократизированный процесс принятия решений в организации.
Типы зеркального отображения
Fabric предлагает три различных подхода к переносу данных в OneLake с помощью зеркального отображения.
- Зеркальное отображение базы данных — зеркальное отображение базы данных в Microsoft Fabric позволяет выполнять репликацию всех баз данных и таблиц, позволяя объединять данные из различных систем в одну платформу аналитики.
- Зеркальное отображение метаданных — зеркальное отображение метаданных в Fabric синхронизирует метаданные (например, имена каталогов, схемы и таблицы) вместо физического перемещения данных. Этот подход использует сочетания клавиш, гарантируя, что данные остаются в источнике и по-прежнему легко доступны в Fabric.
- Открытое зеркальное отображение— открытое зеркальное отображение в Fabric предназначено для расширения зеркального отображения на основе открытого формата таблицы Delta Lake. Эта возможность позволяет любому разработчику записывать данные об изменении приложения непосредственно в зеркальный элемент базы данных в Microsoft Fabric на основе открытого подхода зеркального отображения и общедоступных API.
В настоящее время доступны следующие внешние базы данных:
Как работает репликация зеркального отображения базы данных практически в режиме реального времени?
Зеркальное отображение включается путем создания безопасного подключения к рабочему источнику данных. Вы выбираете, следует ли реплицировать всю базу данных или отдельные таблицы, а зеркальное отображение автоматически сохраняет данные в синхронизации. После настройки данные будут непрерывно реплицироваться в OneLake для потребления аналитики.
Ниже приведены основные основы зеркального отображения.
Включение зеркального отображения в Fabric является простым и интуитивно понятным без необходимости создавать сложные конвейеры ETL, выделять другие вычислительные ресурсы и управлять перемещением данных.
Зеркальное отображение в Fabric — это полностью управляемая служба, поэтому вам не нужно беспокоиться о размещении, обслуживании или управлении репликацией зеркального подключения.
Как работает зеркальное отображение метаданных?
Зеркальное отображение не только обеспечивает репликацию данных, но и может быть достигнуто с помощью сочетаний клавиш или зеркального отображения метаданных, а не полной репликации данных, что позволяет получить доступ к данным без физического перемещения или дублирования. Зеркальное отображение в этом контексте относится к репликации только метаданных, таких как имена каталогов, схемы и таблицы, а не фактические данные. Этот подход позволяет Fabric создавать данные из разных источников, не дублируя их, упрощая управление данными и минимизируя потребности в хранении.
Например, при доступе к данным, зарегистрированным в каталоге Unity, Структура зеркально отражает только структуру каталога из Azure Databricks, что позволяет получить доступ к базовым данным с помощью сочетаний клавиш. Этот метод гарантирует, что любые изменения в исходных данных мгновенно отражаются в Fabric без необходимости перемещения данных, поддержания синхронизации в режиме реального времени и повышения эффективности доступа к актуальной информации.
Как работает открытое зеркальное отображение?
Помимо зеркального отображения репликации данных путем создания безопасного подключения к источнику данных, можно также выбрать существующего поставщика данных или написать собственное приложение для посадки данных в зеркальную базу данных. После создания открытой зеркальной базы данных через общедоступный API или на портале Fabric вы сможете получить URL-адрес целевой зоны в OneLake, где можно приземлиться изменить данные на каждую спецификацию открытого зеркального отображения.
После того как данные будут находиться в целевой зоне с соответствующим форматом, репликация начнет выполняться и управлять сложностью объединения изменений с обновлениями, вставкой и удалением, которые будут отражены в разностных таблицах. Этот метод гарантирует, что все данные, записанные в целевую зону, будут немедленно и сохранят данные в Fabric в актуальном состоянии.
Совместное использование
Общий доступ позволяет упростить управление доступом и управление ими, в то время как элементы управления безопасностью на уровне строк (RLS) и безопасностью уровня объектов (OLS), а также обеспечивают контроль доступа к конфиденциальной информации. Общий доступ также обеспечивает безопасный и демократизированный процесс принятия решений в организации.
Предоставляя общий доступ, пользователи предоставляют другим пользователям или группе пользователей доступ к зеркальной базе данных без предоставления доступа к рабочей области и остальным его элементам. Если кто-то использует зеркальную базу данных, они также предоставляют доступ к конечной точке аналитики SQL и связанной семантической модели по умолчанию.
Дополнительные сведения см. в статье "Общий доступ к зеркальной базе данных" и управление разрешениями.
Межбазовые запросы
С помощью данных из зеркальной базы данных, хранящихся в OneLake, можно создавать запросы между базами данных, присоединять данные из зеркальных баз данных, хранилищ и конечных точек аналитики SQL в одном запросе T-SQL. Дополнительные сведения см. в статье "Запись запроса между базами данных".
Например, можно ссылаться на таблицу из зеркальных баз данных и хранилищ с помощью трехкомпонентного именования. В следующем примере используйте трехкомпонентное имя для ссылки ContosoSalesTable на хранилище ContosoWarehouse. Из других баз данных или хранилищ первая часть стандартного соглашения об именовании sql с тремя компонентами — это имя зеркальной базы данных.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Инжиниринг данных с зеркальными данными базы данных
Microsoft Fabric предоставляет различные возможности проектирования данных, чтобы обеспечить доступность данных, хорошо организованную и высококачественную. Из Инжиниринг данных Fabric можно:
- Создание и управление данными в качестве Spark с помощью lakehouse
- Проектирование конвейеров для копирования данных в lakehouse
- Использование определений заданий Spark для отправки задания пакетной или потоковой передачи в кластер Spark
- Использование записных книжек для записи кода для приема данных, подготовки и преобразования
Обработка и анализ данных с зеркальными данными базы данных
Microsoft Fabric предлагает Fabric Обработка и анализ данных, чтобы предоставить пользователям возможность выполнять комплексные рабочие процессы обработки и анализа данных для целей обогащения данных и бизнес-аналитики. Вы можете выполнить широкий спектр действий в рамках всего процесса обработки и анализа данных, вплоть до изучения, подготовки и очистки данных до экспериментирования, моделирования, оценки моделей и обслуживания прогнозных аналитических сведений до отчетов бизнес-аналитики.
Пользователи Microsoft Fabric могут получать доступ к рабочим нагрузкам Обработка и анализ данных. Оттуда они могут обнаруживать и получать доступ к различным соответствующим ресурсам. Например, они могут создавать эксперименты машинного обучения, модели и записные книжки. Они также могут импортировать существующие записные книжки на домашней странице Обработка и анализ данных.
База данных SQL в Fabric
Вы также можете напрямую создать базу данных SQL в Microsoft Fabric (предварительная версия) на портале Fabric и управлять ими. На основе База данных SQL Azure база данных SQL в Fabric автоматически зеркально отражается в целях аналитики и позволяет легко создавать операционную базу данных в Fabric. База данных SQL является домашней средой в Fabric для рабочих нагрузок OLTP и может интегрироваться с интеграцией системы управления версиями Fabric.