Доступность Eventhouse OneLake
Вы можете создать логическую копию данных базы данных KQL в хранилище событий, включив доступность OneLake. Включение доступности OneLake означает, что вы можете запрашивать данные в базе данных KQL в формате Delta Lake с помощью других подсистем Fabric, таких как режим Direct Lake в Power BI, Warehouse, Lakehouse, Notebook и т. д.
Delta Lake — это унифицированный формат таблицы озера данных, который обеспечивает простой доступ к данным во всех вычислительных модулях в Microsoft Fabric. Дополнительные сведения о Delta Lake см. в разделе "Что такое Delta Lake?".
Из этой статьи вы узнаете, как включить доступность данных базы данных KQL в OneLake.
Принцип работы
Вы можете включить доступность OneLake на уровне базы данных или таблицы. При включении на уровне базы данных все новые таблицы и их данные становятся доступными в OneLake. При включении функции можно также применить этот параметр к существующим таблицам, выбрав параметр "Применить к существующим таблицам". Включение на уровне таблицы делает только ту таблицу и ее данные доступными в OneLake. Политика хранения данных базы данных KQL также применяется к данным в OneLake. Данные, удаленные из базы данных KQL в конце срока хранения, также удаляются из OneLake. Если отключить доступность OneLake, данные мягко удаляются из OneLake.
Пока включена доступность OneLake, невозможно выполнить следующие задачи:
- Переименование таблиц
- Изменение схем таблиц
- Применение безопасности на уровне строк к таблицам
- Данные не могут быть удалены, усечены или очищены.
Если вам нужно выполнить любую из этих задач, выполните следующие действия.
Внимание
Отключение доступности OneLake мягко удаляет ваши данные из OneLake. При включении доступа в OneLake предоставляются только новые данные без дозаполнения удаленных данных.
Отключите доступность OneLake.
Выполните нужную задачу.
Включите доступность OneLake.
Внимание
Дополнительные сведения о времени отображения данных в OneLake см. в адаптивном поведении.
Нет дополнительных затрат на хранение для включения доступности OneLake. Дополнительные сведения см. в разделе о потреблении ресурсов.
Необходимые компоненты
- Рабочая область с емкостью с поддержкой Microsoft Fabric
- База данных KQL с разрешениями на редактирование и данными
Включение доступности OneLake
Вы можете включить доступность OneLake на уровне базы данных или таблицы KQL.
Чтобы включить доступность OneLake, перейдите в раздел OneLake в области сведений базы данных или таблицы KQL.
Задайте для доступности значение "Вкл.".
База данных обновляется автоматически.
Вы включили доступность OneLake в базе данных KQL. Теперь вы можете получить доступ ко всем новым данным, добавленным в базу данных, по указанному пути OneLake в формате Delta Lake. Вы также можете создать ярлык OneLake из Lakehouse, хранилища данных или запросить данные непосредственно через режим Direct Lake Power BI.
Адаптивное поведение
Eventhouse предлагает надежный механизм, который интеллектуально пакетирует входящие потоки данных в один или несколько файлов Parquet, структурированных для анализа. Потоки данных пакетной обработки важны при обработке данных. Написание множества небольших файлов Parquet в озеро может быть неэффективным, что приводит к более высоким затратам и низкой производительности.
Адаптивный механизм Eventhouse может отложить операции записи, если недостаточно данных для создания оптимальных файлов Parquet. Это гарантирует, что файлы Parquet являются оптимальными по размеру и соответствуют рекомендациям Delta Lake. Адаптивный механизм Eventhouse гарантирует, что файлы Parquet загружены для анализа и балансировки потребности в доступности данных с учетом затрат и производительности.
Примечание.
- По умолчанию операция записи может занять до 3 часов или до создания файлов достаточного размера (обычно 200–256 МБ).
- Можно настроить задержку в диапазоне от 5 минут до 3 часов.
Например, используйте следующую команду, чтобы задать задержку в 5 минут:
.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);
Осторожность
Изменение задержки до более короткого периода может привести к неоптимальной разностной таблице с большим количеством небольших файлов, что может привести к неэффективной производительности запросов. Результирующая таблица в OneLake доступна только для чтения и не может быть оптимизирована после создания.
Вы можете отслеживать, как давно новые данные были добавлены в озере, проверив задержку данных с помощью команды .show table mirroring operations.
Результаты измеряются с момента последнего добавления данных. Если задержка приводит к 00:00:00, все данные в базе данных KQL доступны в OneLake.
Просмотреть файлы
При включении доступности OneLake в таблице создается разностная папка журнала вместе с любыми соответствующими файлами JSON и Parquet. Вы можете просмотреть файлы, которые были доступны в OneLake и их свойства, оставаясь в аналитике в режиме реального времени.
Чтобы просмотреть файлы, наведите указатель мыши на таблицу в области обозревателя и выберите меню "Дополнительно" [...]>Просмотр файлов.
Чтобы просмотреть свойства папки разностного журнала или отдельных файлов, наведите указатель мыши на папку или файл, а затем выберите меню "Дополнительно" [...]>Свойства.
Чтобы просмотреть файлы в папке разностного журнала, выполните следующие действия.
- Выберите папку _delta_log .
- Выберите файл для просмотра метаданных и схемы таблицы. Открывающийся редактор находится в формате только для чтения.
Политика зеркального отображения доступа
По умолчанию при включении доступности OneLake политика зеркального отображения включена. Политику можно использовать для мониторинга задержки данных или изменения ее для секционирования разностных таблиц.
Примечание.
Если отключить отображения имеет IsEnabled ().
Разностные таблицы секционирования
Вы можете секционировать разностные таблицы для повышения скорости запроса. Сведения о том, когда следует секционировать файлы OneLake, см. в разделе "Когда следует секционировать таблицы". Каждая секция представлена в виде отдельного столбца, используя имя секции , указанное в списке секций . Это означает, что копия OneLake содержит больше столбцов, чем исходная таблица.
Чтобы секционировать разностные таблицы, используйте команду зеркального отображения политики слияния .alter-merge.
Связанный контент
- Сведения о доступе к данным в OneLake см. в статье "Создание ярлыка в OneLake"
- Чтобы создать ярлык OneLake в Lakehouse, ознакомьтесь со сведениями о сочетаниях клавиш в lakehouse?
- Запрос данных из OneLake в базе данных или таблице KQL см. в статье Создание ярлыка OneLake в базе данных KQL