Criar e usar fluxos de dados no Microsoft Power Platform
O uso de fluxos de dados com o Microsoft Power Platform facilita a preparação de dados e permite que você reutilize seu trabalho de preparação de dados em relatórios, aplicativos e modelos subsequentes.
No mundo dos dados em constante expansão, a preparação dos dados pode ser difícil e dispendiosa. Pode consumir de 60% a 80% do tempo e do custo de um projeto de análise típico. Tais projetos podem exigir a disputa de dados fragmentados e incompletos, integração de sistemas complexos, dados com inconsistência estrutural e uma barreira de alto conjunto de habilidades.
Para facilitar a preparação de dados e ajudá-lo a obter mais valor dos seus dados, foram criados os fluxos de dados do Power Query e do Power Platform.
Com fluxos de dados, a Microsoft traz os recursos de preparação de dados pessoais do Power Query para os serviços online do Power BI e Power Apps e expande os recursos existentes das seguintes maneiras:
Preparação de dados de autoatendimento para big data com fluxos de dados: Os fluxos de dados podem ser usados para ingerir, limpar, transformar, integrar, enriquecer e esquematizar facilmente dados de uma grande e crescente variedade de fontes transacionais e observacionais, abrangendo toda a lógica de preparação de dados. Anteriormente, a lógica ETL (extrair, transformar, carregar) só podia ser incluída em modelos semânticos no Power BI, copiada repetidamente entre modelos semânticos e vinculada a configurações de gerenciamento de modelo semântico.
Com os fluxos de dados, a lógica ETL é elevada a um artefato de primeira classe nos serviços do Microsoft Power Platform e inclui experiências dedicadas de criação e gerenciamento. Analistas de negócios, profissionais de BI e cientistas de dados podem usar fluxos de dados para lidar com os desafios mais complexos de preparação de dados e desenvolver o trabalho uns dos outros, graças a um revolucionário mecanismo de cálculo orientado por modelo. Esse mecanismo cuida de toda a lógica de transformação e dependência, reduzindo tempo, custo e experiência para uma fração do que tradicionalmente é necessário para essas tarefas. Pode criar fluxos de dados utilizando a conhecida experiência de preparação de dados self-service do Power Query. Os fluxos de dados são criados e facilmente gerenciados em espaços de trabalho ou ambientes de aplicativos, no Power BI ou no Power Apps, respectivamente, aproveitando todos os recursos que esses serviços têm a oferecer, como gerenciamento de permissões e atualizações agendadas.
Carregar dados para o Dataverse ou o Armazenamento do Azure Data Lake: Dependendo do seu caso de uso, você pode armazenar dados preparados pelos fluxos de dados da Power Platform no Dataverse ou na conta do Armazenamento do Azure Data Lake da sua organização:
O Dataverse permite armazenar e gerenciar com segurança os dados usados por aplicativos de negócios. Os dados dentro do Dataverse são armazenados em um conjunto de tabelas. Uma tabela é um conjunto de linhas (anteriormente designadas por registos) e colunas (anteriormente referidas como campos/atributos). Cada coluna na tabela é projetada para armazenar um determinado tipo de dados, por exemplo, nome, idade, salário, e assim por diante. O Dataverse inclui um conjunto básico de tabelas padrão que abrangem cenários típicos, mas você também pode criar tabelas personalizadas específicas para sua organização e preenchê-las com dados usando fluxos de dados. Os criadores de aplicativos podem usar o Power Apps e o Power Automate para criar aplicativos avançados que usam esses dados.
O Armazenamento Azure Data Lake permite que você colabore com pessoas em sua organização usando o Power BI, os Dados do Azure e os serviços de IA ou usando aplicativos de linha de negócios personalizados que leem dados do lago. Os fluxos de dados que carregam dados para uma conta do Armazenamento do Azure Data Lake armazenam dados em pastas do Modelo de Dados Comum. As pastas do Modelo de Dados Comum contêm dados e metadados esquematizados em um formato padronizado, para facilitar a troca de dados e permitir a interoperabilidade total entre serviços que produzem ou consomem dados armazenados na conta do Armazenamento Azure Data Lake de uma organização como a camada de armazenamento compartilhado.
Análise Avançada e IA com Azure: os fluxos de dados da Plataforma de Energia armazenam dados no Dataverse ou no Armazenamento do Azure Data Lake, o que significa que os dados ingeridos por meio de fluxos de dados agora estão disponíveis para engenheiros de dados e cientistas de dados aplicarem todo o poder dos Serviços de Dados do Azure, como o Azure Machine Learning, o Azure Databricks e o Azure Synapse Analytics para análises avançadas e IA. Isso permite que analistas de negócios, engenheiros de dados e cientistas de dados colaborem nos mesmos dados dentro de sua organização.
Suporte para Common Data Model: Common Data Model é um conjunto de esquemas de dados padronizados e um sistema de metadados para permitir a consistência dos dados e seu significado entre aplicativos e processos de negócios. Os fluxos de dados suportam o Modelo de Dados Comum, oferecendo mapeamento fácil de quaisquer dados em qualquer forma para as tabelas padrão do Modelo de Dados Comum, como Conta e Contato. Os fluxos de dados também colocam os dados, tabelas padrão e personalizadas, no formulário Modelo de Dados Comum esquematizado. Os analistas de negócios podem tirar proveito do esquema padrão e sua consistência semântica, ou personalizar suas tabelas com base em suas necessidades exclusivas. O Modelo Comum de Dados continua a evoluir como parte da Iniciativa de Dados Abertos.
Recursos de fluxo de dados nos serviços da Microsoft Power Platform
A maioria dos recursos de fluxo de dados está disponível no Power Apps e no Power BI. Os fluxos de dados estão disponíveis como parte dos planos desses serviços. Alguns recursos de fluxo de dados são específicos do produto ou estão disponíveis em diferentes planos de produto. A tabela a seguir descreve os recursos de fluxo de dados e sua disponibilidade.
| Capacidade de fluxo de dados | Power Apps | Power BI |
|---|---|---|
| Atualização agendada | Até 48 por dia | Até 48 por dia |
| Tempo máximo de atualização por tabela | Até 2 horas | Até 2 horas |
| Criação de fluxo de dados com o Power Query Online | Sim | Sim |
| Gerenciamento de fluxo de dados | No portal de administração do Power Apps | No portal de administração do Power BI |
| Novos conectores | Sim | Sim |
| Esquema padronizado / suporte interno para o Common Data Model | Sim | Sim |
| Conector de dados de fluxos de dados no Power BI Desktop | Para fluxos de dados com o Armazenamento Azure Data Lake como destino | Sim |
| Integração com o Armazenamento Azure Data Lake da organização | Sim | Sim |
| Integração com o Dataverse | Sim | No |
| Tabelas vinculadas de fluxo de dados | Para fluxos de dados com o Armazenamento Azure Data Lake como destino | Sim |
| Tabelas computadas (transformações no armazenamento usando M) | Para fluxos de dados com o Armazenamento Azure Data Lake como destino | Apenas Power BI Premium |
| Atualização incremental do fluxo de dados | Para fluxos de dados com o Armazenamento Azure Data Lake como destino, requer o Power Apps Plan2 | Apenas Power BI Premium |
| Execução no Power BI Capacidade Premium / execução paralela de transformações | Não | Sim |
Limitações conhecidas
- Não há suporte para a cópia de fluxos de dados como parte de uma operação de cópia de ambientes da Power Platform.
Próximos passos
Mais informações sobre fluxos de dados no Power Apps:
- Preparação de dados de autoatendimento no Power Apps
- Criar e utilizar fluxos de dados no Power Apps
- Ligar o Azure Data Lake Storage Gen2 para armazenamento de fluxo de dados
- Adicionar dados a uma tabela no Dataverse utilizando o Power Query
- Visite a comunidade de fluxo de dados do Power Apps e partilhe o que está a fazer, faça perguntas ou envie novas ideias
- Visite o fórum da comunidade de fluxo de dados do Power Apps e partilhe o que está a fazer, faça perguntas ou envie novas ideias
Mais informações sobre fluxos de dados no Power BI:
- Preparação de dados de autoatendimento no Power BI
- Criar e usar fluxos de dados no Power BI
- Whitepaper sobre fluxos de dados
- Vídeo detalhado de um passo a passo de fluxos de dados
- Visite a comunidade de fluxos de dados do Power BI e partilhe o que está a fazer, faça perguntas ou envie novas ideias
Os artigos a seguir fornecem mais detalhes sobre cenários de uso comum para fluxos de dados.
- Usando a atualização incremental com fluxos de dados
- Criação de tabelas computadas em fluxos de dados
- Conectar-se a fontes de dados para fluxos de dados
- Vincular tabelas entre fluxos de dados
Para obter mais informações sobre o Common Data Model e o padrão de pasta Common Data Model, leia os seguintes artigos: