Criar e usar fluxos de dados no Microsoft Power Platform
O uso de fluxos de dados com o Microsoft Power Platform facilita a preparação de dados e permite que você reutilize seu trabalho de preparação de dados em relatórios, aplicativos e modelos subsequentes.
No mundo dos dados em constante expansão, a preparação dos dados pode ser difícil e dispendiosa. Pode consumir de 60% a 80% do tempo e do custo de um projeto de análise típico. Tais projetos podem exigir a gestão de dados fragmentados e incompletos, a integração de sistemas complexos, dados com inconsistências estruturais e um nível elevado de competências.
Para facilitar a preparação de dados e ajudá-lo a obter mais valor dos seus dados, foram criados os fluxos de dados do Power Query e do Power Platform.
Com fluxos de dados, a Microsoft traz os recursos de preparação de dados pessoais do Power Query para os serviços online do Power BI e Power Apps e expande os recursos existentes das seguintes maneiras:
Preparação de dados de autoatendimento para big data com fluxos de dados: Os fluxos de dados podem ser usados para facilmente ingerir, limpar, transformar, integrar, enriquecer e esquematizar dados de uma grande e crescente variedade de fontes transacionais e observacionais, abrangendo toda a lógica de preparação de dados. Anteriormente, a lógica ETL (extrair, transformar, carregar) só podia ser incluída em modelos semânticos no Power BI, copiada repetidamente entre modelos semânticos e vinculada a configurações de gerenciamento de modelo semântico.
Com os fluxos de dados, a lógica ETL é elevada a um artefato de primeira classe nos serviços do Microsoft Power Platform e inclui experiências dedicadas de criação e gerenciamento. Analistas de negócios, profissionais de BI e cientistas de dados podem usar fluxos de dados para lidar com os desafios mais complexos de preparação de dados e desenvolver o trabalho uns dos outros, graças a um revolucionário mecanismo de cálculo orientado por modelo. Esse mecanismo cuida de toda a lógica de transformação e dependência, reduzindo tempo, custo e experiência para uma fração do que tradicionalmente é necessário para essas tarefas. Pode criar fluxos de dados utilizando a conhecida experiência de preparação de dados self-service do Power Query. Os fluxos de dados são criados e facilmente gerenciados em espaços de trabalho ou ambientes de aplicativos, no Power BI ou no Power Apps, respectivamente, aproveitando todos os recursos que esses serviços têm a oferecer, como gerenciamento de permissões e atualizações agendadas.
Carregar dados no Dataverse ou node Armazenamento do Azure Data Lake: Dependendo do seu caso de uso, você pode armazenar dados preparados pelos fluxos de dados da Power Platform no Dataverse ou na conta do Armazenamento do Azure Data Lake da sua organização:
Dataverse permite armazenar e gerenciar dados usados por aplicativos de negócios com segurança. Os dados dentro do Dataverse são armazenados em um conjunto de tabelas. Uma tabela é um conjunto de linhas (anteriormente referidas como registos) e colunas (anteriormente referidas como campos/atributos). Cada coluna na tabela é projetada para armazenar um determinado tipo de dados, por exemplo, nome, idade, salário e assim por diante. O Dataverse inclui um conjunto básico de tabelas padrão que abrangem cenários típicos, mas você também pode criar tabelas personalizadas específicas para sua organização e preenchê-las com dados usando fluxos de dados. Os criadores de aplicativos podem usar o Power Apps e o Power Automate para criar aplicativos avançados que usam esses dados.
Armazenamento do Azure Data Lake permite-lhe colaborar com pessoas na sua organização usando o Power BI, Azure Data e os serviços de IA, ou usando aplicações personalizadas da linha de negócios que leem dados do lake. Os fluxos de dados que carregam dados para uma conta do Armazenamento do Azure Data Lake armazenam dados em pastas do Modelo de Dados Comum. As pastas do Modelo de Dados Comum contêm dados e metadados esquematizados em um formato padronizado, para facilitar a troca de dados e permitir a interoperabilidade total entre serviços que produzem ou consomem dados armazenados na conta do Armazenamento Azure Data Lake de uma organização como a camada de armazenamento compartilhado.
Advanced Analytics e IA com o Azure: os fluxos de dados da Power Platform armazenam dados no Dataverse ou no Armazenamento do Azure Data Lake, o que significa que os dados ingeridos por meio de fluxos de dados agora estão disponíveis para engenheiros de dados e cientistas de dados aplicarem todo o poder dos Serviços de Dados do Azure, como o Azure Machine Learning, o Azure Databricks e o Azure Synapse Analytics para análises avançadas e IA. Isso permite que analistas de negócios, engenheiros de dados e cientistas de dados colaborem nos mesmos dados dentro de sua organização.
Suporte para o Common Data Model: Common Data Model é um conjunto de esquemas de dados padronizados e um sistema de metadados para permitir a consistência dos dados e seu significado entre aplicativos e processos de negócios. Os fluxos de dados suportam o Modelo de Dados Comum, oferecendo mapeamento fácil de quaisquer dados em qualquer forma para as tabelas padrão do Modelo de Dados Comum, como Conta e Contato. Os fluxos de dados também colocam os dados, tabelas padrão e personalizadas, no formulário Modelo de Dados Comum esquematizado. Os analistas de negócios podem tirar proveito do esquema padrão e sua consistência semântica, ou personalizar suas tabelas com base em suas necessidades exclusivas. O Modelo de Dados Comum continua a evoluir como parte da Iniciativa de Dados Abertos .
Recursos de fluxo de dados nos serviços da Microsoft Power Platform
A maioria dos recursos de fluxo de dados está disponível no Power Apps e no Power BI. Os fluxos de dados estão disponíveis como parte dos planos desses serviços. Alguns recursos de fluxo de dados são específicos do produto ou estão disponíveis em diferentes planos de produto. A tabela a seguir descreve os recursos de fluxo de dados e sua disponibilidade.
| Capacidade de fluxo de dados | Aplicações Power | Power BI |
|---|---|---|
| Atualização agendada | Até 48 por dia | Até 48 por dia |
| Tempo máximo de atualização por tabela | Até 2 horas | Até 2 horas |
| Criação de fluxo de dados com o Power Query Online | Sim | Sim |
| Gerenciamento de fluxo de dados | No portal de administração do Power Apps | No portal de administração do Power BI |
| Novos conectores | Sim | Sim |
| Esquema padronizado / suporte interno para o Common Data Model | Sim | Sim |
| Conector de Fluxos de Dados no Power BI Desktop | Para fluxos de dados com o Armazenamento Azure Data Lake como destino | Sim |
| Integração com o Armazenamento Azure Data Lake da organização | Sim | Sim |
| Integração com Dataverse | Sim | Não |
| Tabelas vinculadas de fluxo de dados | Para fluxos de dados com o Armazenamento Azure Data Lake como destino | Sim |
| Tabelas computadas (transformações no armazenamento usando M) | Para fluxos de dados com o Armazenamento Azure Data Lake como destino | Apenas Power BI Premium |
| Atualização incremental do fluxo de dados | Para fluxos de dados com o Armazenamento Azure Data Lake como destino, requer o Power Apps Plan2 | Apenas Power BI Premium |
| Execução em Capacidade Premium do Power BI / execução paralela de transformações | Não | Sim |
Limitações conhecidas
- Copiar fluxos de dados como parte de um ambientes da Power Platform copiar operação ou Ambientes de backup e restauração operação não é suportada.
- Alterar o proprietário de um Dataflow com uma conexão e um parâmetro de consulta também alteraria o valor do parâmetro para um valor anterior (se esse valor tiver sido definido).
Próximos passos
Mais informações sobre fluxos de dados no Power Apps:
- Preparação de dados de autoatendimento no Power Apps
- Criando e usando fluxos de dados no Power Apps
- conectar o Azure Data Lake Storage Gen2 para armazenamento de fluxo de dados
- Adicionar dados a uma tabela no Dataverse usando o Power Query
- Visite a comunidade Power Apps fluxo de dados e partilhe o que está a fazer, faça perguntas ou envie novas ideias
- Visite o fórum da comunidade de fluxo de dados do Power Apps e partilhe o que está a fazer, faça perguntas ou envie novas ideias
Mais informações sobre fluxos de dados no Power BI:
- Preparação de dados self-service no Power BI
- Criar e usar fluxos de dados no Power BI
- Whitepaper Dataflows
- Vídeo detalhado passo a passo de fluxos de dados
- Visite o da comunidade de fluxos de dados do Power BI
e partilhe o que está a fazer, faça perguntas ou envie novas ideias
Os artigos a seguir fornecem mais detalhes sobre cenários de uso comum para fluxos de dados.
- Usar atualização incremental com fluxos de dados
- Criação de tabelas computadas em fluxos de dados
- Conectar-se a fontes de dados para fluxos de dados
- Vincular tabelas entre fluxos de dados
Para obter mais informações sobre o Common Data Model e o padrão de pasta Common Data Model, leia os seguintes artigos: