Самостоятельная подготовка данных с потоками данных

Статья
03/15/2023

По мере того, как объем данных продолжает расти, растет и проблема формирования этих данных в хорошо структурированную, полезную информацию. Требуются данные, которые готовы для приложений, рабочих нагрузок ИИ или аналитики, чтобы вы могли быстро сформировать объемы данных в полезную информацию. Благодаря самостоятельной подготовке данных на портале Power Apps можно преобразовать и загрузить данные в Microsoft Dataverse или в учетную запись Azure Data Lake Storage 2 поколения вашей организации всего за несколько щелчков.

Потоки данных были введены, чтобы помочь организациям унифицировать данные из разнородных источников и подготовить их к использованию. Можно легко создавать потоки данных, используя знакомые инструменты самообслуживания для принятия, преобразования, интеграции и расширения больших данных. При создании потока данных вы будете определять подключения к источникам данных, логику ETL (извлечение, преобразование, загрузка) и место назначения для загрузки полученных данных. После создания можно настроить график обновления потока данных, чтобы указать частоту его запуска. Кроме того, новый механизм вычислений на основе моделей делает процесс подготовки данных более управляемым, более определенным и менее неудобным для пользователей потоков данных. С потоками данных задачи, которые когда-то требовали организации ИТ-данных для создания и контроля (и много часов или дней), теперь могут быть выполнены за несколько щелчков пользователями, которые даже не являются специалистами по обработке данных, такими как разработчики приложений, бизнес-аналитики и разработчики отчетов.

Потоки данных хранят данные в таблицах. Таблица — это набор строк, используемый для хранения данных, аналогично тому, как в таблице хранятся данные внутри базы данных. Клиенты могут определить пользовательскую схему таблицы или использовать стандартные таблицы Common Data Model. Common Data Model — это общий язык данных, используемый бизнес и аналитическими приложениями. Система метаданных Common Data Model обеспечивает согласованность данных и их значения в приложениях и бизнес-процессах, таких как Power Apps, Power BI, некоторые приложения Dynamics 365 (приложения на основе моделей) и Azure, которые хранят данные в соответствии с Common Data Model. Полученные таблицы потока данных могут быть сохранены в одном из следующих:

Dataverse. Позволяет безопасно хранить и управлять данными, которые используются бизнес-приложениями, созданными с использованием Power Apps и Power Automate.
Azure Data Lake Storage 2 поколения. Позволяет сотрудничать с пользователями в вашей организации, используя Power BI, Azure Data и службы AI или специализированные бизнес-приложения, которые считывают данные из озера данных. Потоки данных, которые загружают данные в учетную запись Azure Data Lake Storage 2 поколения, хранят данные в папках Common Data Model. Папки Common Data Model содержат схематизированные данные и метаданные в формате унифицированном, чтобы упростить обмен данными и обеспечить полную совместимость между службами, которые создают или используют данные, хранящиеся в учетной записи Azure Data Lake Storage организации, в качестве уровня общего хранилища.

Можно использовать потоки данных для загрузки данных из большого и растущего набора поддерживаемых локальных и облачных источников данных, включая Excel, базу данных SQL Azure, SharePoint, Azure Data Explorer, Salesforce, Oracle Database, и т.д.

Выбрав источник данных, можно использовать Power Query с небольшим объемом кода/без кода, чтобы преобразовать данные и сопоставить их со стандартными таблицами в Common Data Model или создать пользовательские таблицы. Опытные пользователи могут напрямую редактировать M-язык потока данных для полной настройки потоков данных, аналогично работе в Power Query, который уже знают миллионы пользователей Power BI Desktop и Excel.

После создания и сохранения потока данных, необходимо запустить его в облаке. Вы можете выбрать активацию потока данных вручную или запланировать частоту запуска службы потока данных для Power Platform для вас. Когда поток данных завершает выполнение, его данные становятся доступными для использования. Для загрузки данных потока данных в Dataverse можно использовать соединитель Common Data Service в Power Apps, Power Automate, Excel, а также во всех других приложениях, которые поддерживают соединитель Dataverse. Чтобы получить доступ к потокам данных, хранящимся в учетной записи Azure Data Lake Storage 2 поколения организации, можно использовать соединитель потока данных Power Platform в Power BI Desktop или получении доступа к файлам непосредственно в озере.

Как следует использовать потоки данных

В предыдущем разделе была представлена справочная информация о технологии потоков данных. В этом разделе вы узнаете, как потоки данных могут использоваться в организации.

Примечание

У вас должен быть платный план Power Apps для использования потоков данных, но вы не платите отдельно за использование потоков данных.

Загрузка данных в Dataverse

Потоки данных могут использоваться для заполнения таблиц в Common Data Service, которые затем используются в приложениях Power Apps. Несколькими щелчками мыши можно интегрировать данные из сетевых и локальных источников данных.

Расширение Common Data Model для нужд вашего бизнеса

Для организаций, которые хотят расширить и использовать Common Data Model, потоки данных позволяют специалистам по бизнес-аналитике настраивать стандартные таблицы или создавать новые. Этот подход к самообслуживания с настройкой модели данных можно затем использовать с потоками данных для создания панелей мониторинга Power BI, адаптированных к организации.

Расширьте свои возможности с помощью служб Azure Data и AI.

Потоки данных Power Platform можно настроить для хранения данных потоков данных в учетной записи Azure Data Lake Storage 2 поколения организации. Если среда связана с озером данных организации, специалисты по обработке данных и разработчики могут использовать мощные продукты Azure, такие как Машинное обучение Azure, Azure Databricks, Фабрика данных Azure, и т.д.

Дополнительные сведения об интеграции Azure Data Lake Storage 2-го поколения и потоков данных, в том числе о том, как создавать потоки данных, которые находятся в Azure Data Lake вашей организации, см. в разделе Подключение Azure Data Lake Storage 2-го поколения для хранилища потоков данных.

Сводная информация о подготовке данных самообслуживания для больших данных в Power Apps

Существует несколько сценариев и примеров, в которых потоки данных могут помочь вам получить лучший контроль и более быстрое понимание ваших бизнес-данных. Другие сотрудники организации могут использовать потоки данных либо через Dataverse, соединитель потока данных Power Platform в Power BI, или путем непосредственный доступ папке потока данных Common Data Service в учетной записи Azure Data Lake Storage 2 поколения вашей организации. Используя стандартную модель данных (схема), определенную Common Data Model, бизнес-приложения могут зависеть от схемы таблицы и быть абстрагированы от того, как были созданы данные или из какого источника данных. Когда поток данных завершает запланированный запуск, данные готовы к моделированию и созданию приложений, потоков или аналитической информации BI за очень короткий период... в течение того времени, которое раньше занимало месяцы или даже дольше для создания.

Стандартизированный формат Common Data Model позволяет сотрудникам вашей организации создавать приложения, которые генерируют быстрые, простые и автоматические визуальные элементы и отчеты. К ним относятся, но не ограничиваются:

Сопоставление данных из различных источников со стандартными таблицами в Common Data Model для унификации данных и использования известной схемы для запуска готовых приложений.
Создание собственных настраиваемых таблиц для стандартизации данных по вашей организации.
Создание отчетов Power BI и панелей мониторинга, которые используют данные потока данных.
Создание интеграции со службами Azure Data и AI с помощью учетной записи Azure Data Lake Storage 2 поколения вашей организации.

Дальнейшие шаги

В этой статье представлен обзор процесса подготовки данных самообслуживания на портале Power Apps и способы его использования. В следующих разделах более подробно рассматриваются общие сценарии использования потоков данных:

Для получения дополнительной информации о Power Query и запланированном обновлении вы можете прочитать эти статьи:

Для получения дополнительной информации о Common Data Model вы можете прочитать ее обзорную статью:

Common Data Model — обзор

Примечание

Каковы ваши предпочтения в отношении языка документации? Пройдите краткий опрос (обратите внимание, что этот опрос представлен на английском языке).

Опрос займет около семи минут. Личные данные не собираются (заявление о конфиденциальности).

Поделиться через