Introdução ao tutorial do Data warehouse
Aplica-se a:✅ ponto de extremidade de análise do SQL e Warehouse no Microsoft Fabric
O Microsoft Fabric fornece uma loja única para todas as necessidades analíticas para cada empresa. Ele abrange o espectro completo de serviços, incluindo movimentação de dados, data lake, engenharia de dados, integração de dados e ciência de dados, análise em tempo real e business intelligence. Com o Microsoft Fabric, não é necessário unir serviços diferentes de vários fornecedores. Em vez disso, o cliente desfruta de um produto abrangente de ponta a ponta, altamente integrado, que é fácil de entender, integrar, criar e operar. Nenhum outro produto no mercado oferece a amplitude, profundidade e nível de integração que o Microsoft Fabric oferece. Além disso, o Microsoft Purview é incluído por padrão em cada locatário para atender às necessidades de conformidade e governança.
Finalidade deste tutorial
Embora os profissionais de dados e análise possam conhecer muitos conceitos no Microsoft Fabric, pode ser desafiador aplicar esses conceitos em um novo ambiente. Este tutorial foi projetado para percorrer passo a passo um cenário de ponta a ponta, desde a aquisição de dados até o consumo de dados, para criar uma compreensão básica da experiência do usuário do Microsoft Fabric, das várias experiências e de seus pontos de integração e das experiências de desenvolvedor profissional e cidadão do Microsoft Fabric.
Os tutoriais não se destinam a ser uma arquitetura de referência, uma lista exaustiva de recursos e funcionalidades ou uma recomendação de práticas recomendadas específicas.
Cenário de ponta a ponta do data warehouse
Como pré-requisitos para este tutorial, conclua as seguintes etapas:
- Entre em sua conta online do Power BI ou, se você ainda não tiver uma conta, inscreva-se para uma avaliação gratuita.
- Habilite o Microsoft Fabric em seu locatário.
Neste tutorial, você assume a função de desenvolvedor de warehouse na empresa fictícia Wide World Importers e conclui as seguintes etapas no portal do Microsoft Fabric para criar e implementar uma solução de data warehouse de ponta a ponta:
- Crie um workspace do Microsoft Fabric.
- Criar um warehouse.
- Ingira dados da origem para o modelo dimensional do data warehouse com um pipeline de dados.
- Crie tabelas em seu warehouse.
- Carregue dados com o T-SQL com o editor de consultas SQL.
- Realize a clonagem de uma tabela ao usar T-SQL com o editor de consultas SQL.
- Transforme os dados para criar conjuntos de dados agregados usando T-SQL.
- Utilize T-SQL para realizar uma viagem no tempo e visualizar os dados como estavam em um momento específico.
- Use o editor de consultas visuais para consultar o data warehouse.
- Analise dados com um notebook.
- Crie e execute consultas entre depósitos com o editor de consultas SQL.
- Crie relatórios do Power BI usando o modo DirectLake para analisar os dados em vigor.
- Crie um relatório do OneLake.
- Limpe os recursos excluindo o workspace e outros itens.
Arquitetura de ponta a ponta do data warehouse
Fontes de dados – o Microsoft Fabric facilita e agiliza a conexão com os Serviços de Dados do Azure, outras plataformas de nuvem e fontes de dados locais para ingerir dados.
Ingestão – com mais de 200 conectores nativos como parte do pipeline do Microsoft Fabric e com a transformação de dados de arrastar e soltar com o fluxo de dados, você pode criar insights rapidamente para sua organização. O atalho é um novo recurso no Microsoft Fabric que fornece uma maneira de se conectar aos dados existentes sem precisar copiá-los ou movê-los. Você pode encontrar mais detalhes sobre o recurso Atalho mais adiante neste tutorial.
Transformar e armazenar: o Microsoft Fabric utiliza como padrão o formato Delta Lake, o que significa que todos os mecanismos do Microsoft Fabric podem ler e trabalhar no mesmo dados armazenado no OneLake, sem necessidade de duplicidade de dados. Esse armazenamento permite que você crie um data warehouse ou uma malha de dados com base em suas necessidades organizacionais. Para a transformação, você pode escolher a experiência de código baixo ou sem código com pipelines/fluxos de dados ou usar o T-SQL para uma primeira experiência de código.
Consumo: os dados do warehouse podem ser consumidos pelo Power BI, a principal ferramenta de business intelligence do setor, para relatórios e visualização. Cada warehouse vem com um ponto de extremidade TDS interno para se conectar com facilidade a outras ferramentas de relatório e consultar dados nelas, quando necessário. Quando um warehouse é criado, um item secundário, chamado de modelo semântico padrão, é gerado ao mesmo tempo com o mesmo nome. Use o modelo semântico padrão para começar a visualizar dados com apenas algumas etapas.
Dados de exemplo
Para dados de exemplo, usamos o banco de dados de exemplo da Wide World Importers (WWI). Para nosso cenário de ponta a ponta do data warehouse, geramos dados suficientes para uma prévia das funcionalidades de escala e desempenho da plataforma Microsoft Fabric.
A WWI (Wide World Importers) é uma importadora e distribuidora atacadista de produtos inovadores que opera na área da baía de São Francisco. Como atacadista, a WWI tem clientes que são, em sua maioria, empresas que revendem os produtos para pessoas físicas. A WWI comercializa produtos para clientes de varejo em todos os Estados Unidos, incluindo lojas especializadas, supermercados, lojas de computação, lojas de atrações turísticas e algumas pessoas físicas. Também vendem mercadorias para outros fornecedores por meio de uma rede de agentes que promovem os produtos em nome da empresa. Para saber mais sobre o perfil e a operação da empresa, confira Bancos de dados de exemplo da Wide World Importers para Microsoft SQL.
Normalmente, você traria dados de sistemas transacionais (ou aplicativos de linha de negócios) para uma área de preparo de data lake ou data warehouse. No entanto, para este tutorial, usamos o modelo dimensional fornecido pela WWI como nossa fonte de dados inicial. Usamos-os como a origem para ingerir os dados em um data warehouse e transformá-los por meio do T-SQL.
Modelo de dados
Embora o modelo dimensional da WWI contenha várias tabelas de fatos, neste tutorial nos concentramos apenas na tabela fact_sale e em suas dimensões relacionadas, da seguinte maneira, para demonstrar esse cenário de data warehouse de ponta a ponta:
