Данные в промежуточных артефактах потока данных 2-го поколения
Для повышения производительности и надежности поток данных 2-го поколения использует промежуточные элементы для хранения промежуточных данных во время преобразования данных. В этой статье содержатся сведения о том, какие промежуточные элементы являются и как обрабатывать данные внутри них.
Что такое промежуточные артефакты?
Промежуточные артефакты — это промежуточные расположения хранилища данных, используемые потоком данных 2-го поколения для хранения данных во время преобразования данных. Эти артефакты идут именами DataflowsStagingLakehouse и DataflowsStagingWarehouse. Промежуточные артефакты используются для хранения промежуточных данных во время преобразования данных для повышения производительности. Эти артефакты создаются автоматически при создании первого потока данных и управляются потоком данных 2-го поколения. Эти артефакты скрыты от пользователя в рабочей области, но могут отображаться в других интерфейсах, таких как Получение данных или обозреватель Lakehouse. Настоятельно рекомендуется не обращаться к данным в промежуточных артефактах или изменять их непосредственно, так как это может привести к неожиданному поведению. Кроме того, хранение данных в промежуточных артефактах не поддерживается и может привести к потере данных.
Данные в промежуточных артефактах
Промежуточные артефакты не предназначены для прямого доступа пользователей. Поток данных 2-го поколения управляет данными в промежуточных артефактах и гарантирует, что данные находится в согласованном состоянии. Доступ к данным в промежуточных артефактах напрямую не поддерживается, так как они не могут быть гарантированы, что данные находится в согласованном состоянии. Если необходимо получить доступ к данным в промежуточных артефактах, можно использовать соединитель потока данных в Power BI, Excel или других потоках данных.
Удаление данных из промежуточных артефактов может быть принудительно вызвано одним из следующих действий:
- Отключите промежуточное хранение в потоке данных и обновите его (через 30 дней мы собираем данные).
- Удалите поток данных (непосредственно удаляет данные).
- Удалите рабочую область (непосредственно удаляет StagingLakehouse и StagingWarehouse).