Criar e usar fluxos de dados no Microsoft Power Platform
O uso de fluxos de dados com o Microsoft Power Platform facilita a preparação de dados e permite reutilizar o trabalho de preparação de dados em relatórios, aplicativos e modelos subsequentes.
No mundo dos dados em constante expansão, a preparação de dados pode ser difícil e cara. Ele pode consumir de 60 a 80% do tempo e custo de um projeto de análise típico. Esses projetos podem exigir o gerenciamento de dados fragmentados e incompletos, a integração de sistemas complexos, lidar com dados com inconsistência estrutural e superar uma alta barreira de habilidades.
Para facilitar a preparação de dados e ajudá-lo a obter mais valor dos dados, os fluxos de dados do Power Query e do Power Platform foram criados.
Com fluxos de dados, a Microsoft traz os recursos de preparação de dados de autoatendimento do Power Query para os serviços online do Power BI e do Power Apps e expande os recursos existentes das seguintes maneiras:
Preparação de dados de autoatendimento para Big Data com fluxos de dados: os fluxos de dados podem ser usados para ingerir, limpar, transformar, integrar, enriquecer e esquematizar com facilidade dados de uma grande e crescente matriz de fontes transacionais e observacionais, abrangendo toda a lógica de preparação de dados. Anteriormente, a lógica ETL (extração, transformação, carregamento) só podia ser incluída em modelos semânticos no Power BI, copiada entre modelos semânticos e associada a configurações de gerenciamento de modelo semântico.
Com fluxos de dados, a lógica ETL é elevada a um artefato de primeira classe nos serviços do Microsoft Power Platform e inclui experiências dedicadas de criação e gerenciamento. Analistas de negócios, profissionais de BI e cientistas de dados podem usar fluxos de dados para lidar com os desafios mais complexos de preparação de dados e se basear no trabalho uns dos outros, graças a um mecanismo de cálculo revolucionário orientado por modelos. Esse mecanismo cuida de toda a lógica de transformação e dependência, reduzindo o tempo, custo e a necessidade de conhecimento para uma fração do que tradicionalmente era necessário para essas tarefas. Você pode criar fluxos de dados usando a conhecida experiência de preparação de dados de autoatendimento do Power Query. Os fluxos de dados são criados e facilmente gerenciados em ambientes ou workspaces de aplicativos, no Power BI ou no Power Apps, respectivamente, desfrutando de todos os recursos que esses serviços têm para oferecer, como gerenciamento de permissões e atualizações agendadas.
Carregar dados no Dataverse ou no Azure Data Lake Storage: dependendo do caso de uso, você pode armazenar dados preparados por fluxos de dados do Power Platform no Dataverse ou na conta do Azure Data Lake Storage da sua organização:
do Dataverse permite que você armazene e gerencie dados usados com segurança por aplicativos empresariais. Os dados no Dataverse são armazenados em um conjunto de tabelas. Uma tabela é um conjunto de linhas (anteriormente conhecidas como registros) e colunas (anteriormente conhecidas como campos/atributos). Cada coluna na tabela foi projetada para armazenar um determinado tipo de dados, por exemplo, nome, idade, salário e assim por diante. O Dataverse inclui um conjunto base de tabelas padrão que abrangem cenários típicos, mas você também pode criar tabelas personalizadas específicas para sua organização e preenchê-las com dados usando fluxos de dados. Os criadores de aplicativos podem usar o Power Apps e o Power Automate para criar aplicativos avançados que usam esses dados.
O Azure Data Lake Storage permite que você colabore com pessoas da sua organização usando o Power BI, os Dados do Azure e os serviços de IA ou usando aplicativos de linha de negócios personalizados que leem dados do lake. Fluxos de dados que carregam dados para uma conta do Azure Data Lake Storage armazenam dados em pastas do Common Data Model. As pastas common data model contêm dados esquematizados e metadados em um formato padronizado, para facilitar a troca de dados e habilitar a interoperabilidade total entre serviços que produzem ou consomem dados armazenados na conta do Azure Data Lake Storage de uma organização como a camada de armazenamento compartilhado.
Análise Avançada e IA com o Azure: fluxos de dados do Power Platform armazenam dados no Dataverse ou no Azure Data Lake Storage, o que significa que os dados ingeridos por meio de fluxos de dados agora estão disponíveis para engenheiros de dados e cientistas de dados aplicarem todo o poder dos Serviços de Dados do Azure, como Azure Machine Learning, Azure Databricks e Azure Synapse Analytics para análise avançada e IA. Isso permite que analistas de negócios, engenheiros de dados e cientistas de dados colaborem nos mesmos dados em sua organização.
suporte para o Common Data Model: Common Data Model é um conjunto de esquemas de dados padronizados e um sistema de metadados para permitir a consistência dos dados e seu significado entre aplicativos e processos empresariais. Os fluxos de dados dão suporte ao Common Data Model oferecendo mapeamento fácil de qualquer dado em qualquer forma nas tabelas padrão do Common Data Model, como Conta e Contato. Os fluxos de dados também integram os dados, tanto as tabelas padrão quanto as personalizadas, na forma de Modelo Comum de Dados esquematizado. Os analistas de negócios podem aproveitar o esquema padrão e sua consistência semântica ou personalizar suas tabelas com base em suas necessidades exclusivas. O Common Data Model continua a evoluir como parte da Iniciativa de Dados Abertos .
Recursos de fluxo de dados nos serviços do Microsoft Power Platform
A maioria dos recursos de fluxo de dados está disponível no Power Apps e no Power BI. Os fluxos de dados estão disponíveis como parte dos planos desses serviços. Alguns recursos de fluxo de dados são específicos do produto ou estão disponíveis em diferentes planos de produto. A tabela a seguir descreve os recursos de fluxo de dados e sua disponibilidade.
| Funcionalidade de fluxo de dados | Power Apps | Power BI |
|---|---|---|
| Atualização agendada | Até 48 por dia | Até 48 por dia |
| Tempo máximo de atualização por tabela | Até 2 horas | Até 2 horas |
| Criação de fluxo de dados com o Power Query Online | Sim | Sim |
| Gerenciamento de fluxo de dados | No portal de administração do Power Apps | No portal de administração do Power BI |
| Novos conectores | Sim | Sim |
| Suporte interno/esquema padronizado para o Modelo de Dados Comum | Sim | Sim |
| Conector de dados de fluxos de dados no Power BI Desktop | Para fluxos de dados com o Azure Data Lake Storage como destino | Sim |
| Integração com o Azure Data Lake Storage da organização | Sim | Sim |
| Integração com o Dataverse | Sim | Não |
| Tabelas vinculadas de fluxo de dados | Para fluxos de dados com o Azure Data Lake Storage como destino | Sim |
| Tabelas computadas (transformações no armazenamento usando M) | Para fluxos de dados com o Azure Data Lake Storage como destino | Somente Power BI Premium |
| Atualização incremental do fluxo de dados | Para fluxos de dados com o Azure Data Lake Storage como destino, requerem o Plano 2 do Power Apps | Somente Power BI Premium |
| Execução na capacidade do Power BI Premium/execução paralela de transformações | Não | Sim |
Limitações conhecidas
- Não há suporte para a cópia de fluxos de dados como parte de uma operação de cópia de ambientes do Power Platform ou de uma operação Fazer backup e restauração de ambientes.
- Alterar o proprietário de um fluxo de dados com uma conexão e um parâmetro de consulta também alteraria o valor do parâmetro para um valor anterior (se esse valor tiver sido definido).
Próximas etapas
Mais informações sobre fluxos de dados no Power Apps:
- Preparação de dados de autoatendimento no Power Apps
- Criando e usando fluxos de dados no Power Apps
- Conectar o Azure Data Lake Storage Gen2 para armazenamento de fluxo de dados
- Adicionar dados a uma tabela no Dataverse usando o Power Query
- Visite a comunidade de fluxo de dados do Power Apps e compartilhe o que você está fazendo, faça perguntas ou envie novas ideias .
- Visite o fórum da comunidade de fluxos de dados do Power Apps e compartilhe o que você está fazendo, faça perguntas ou envie novas ideias
Mais informações sobre fluxos de dados no Power BI:
- Preparação de dados de autoatendimento no Power BI
- Criar e usar fluxos de dados no Power BI
- White paper sobre fluxos de dados
- Vídeo detalhado de um passo a passo sobre fluxos de dados
- Visite a comunidade de fluxos de dados do Power BI e compartilhe o que está fazendo, faça perguntas ou envie novas ideias
Os artigos a seguir entram em mais detalhes sobre cenários comuns de uso para fluxos de dados.
- Como usar a atualização incremental com fluxos de dados
- Criar tabelas computadas em fluxos de dados
- Conectar-se a fontes de dados para fluxos de dados
- Vincular tabelas entre fluxos de dados
Para obter mais informações sobre o Common Data Model e o padrão da pasta Common Data Model, leia os seguintes artigos: