Documentação da Engenharia de Dados no Microsoft Fabric

A engenharia de dados no Microsoft Fabric permite que os usuários projetem, criem e mantenham sistemas que possibilitem que suas organizações coletem, armazenem, processem e analisem grandes volumes de dados.

Sobre a Engenharia de dados

Visão geral

• O que é a Engenharia de dados?
• O que é um lakehouse?
• Funções e permissões do espaço de trabalho

Introdução ao lakehouse

Começar agora

• Criar um lakehouse
• Navegar pelo lakehouse explorer

Guia de Instruções

• Obter dados no lakehouse usando o notebook

Introdução aos notebooks

Começar agora

• Criar e usar notebooks

Guia de Instruções

• Desenvolver e executar notebooks
• Explorar dados do lakehouse com um notebook
• Visualizar os notebooks
• Usar a experiência do Python no Notebook
• Implantação e controle do código-fonte de notebooks
• Usar NotebookUtils no notebook
• Criar e executar notebooks do T-SQL

API para GraphQL

Visão geral

• O que é a API de Fabric para GraphQL?

Começar agora

• Criar uma API para GraphQL e adicionar dados

Guia de Instruções

• Gerenciar relações
• Conectar aplicativos
• Consultar várias fontes de dados

Delta Lake

Conceito

• Tabelas Lakehouse e Delta

Guia de Instruções

• Otimização Delta e Ordem V
• Carregar nas tabelas

Tutorial de ponta a ponta do Lakehouse

Conceito

• Visão geral do cenário do Lakehouse

Tutorial

• Etapa 1 – criar um workspace
• Etapa 2 – Criar um lakehouse
• Etapa 3 – Ingerir dados no lakehouse
• Etapa 4 – Transformar dados em tabelas delta
• Etapa 5 – Criar um relatório
• Etapa 6: Limpar os recursos

Integração do VS Code

Guia de Instruções

• Usar notebooks do VS Code
• Usar a imagem de contêiner do VS Code
• Use notebooks do VS Code com recurso
• Usar definições de trabalho do Spark do VS Code
• Explorar o lakehouse do VS Code
• Desenvolver notebook com base na experiência Web do VS Code

Apache Spark

Conceito

• Definição de trabalho do Apache Spark
• Visão geral do monitoramento do Spark
• Assistente do Apache Spark

Começar agora

• Criar uma definição de trabalho do Spark
• Criar uma definição de trabalho do Spark com uma API do Fabric
• Integração do Git à definição de trabalho do Spark

Guia de Instruções

• Agendar e executar uma definição de trabalho do Spark
• Monitorar aplicativo Spark
• Gerenciar pacotes do Apache Spark
• Como usar o Fabric MSSparkUtils
• Definir as configurações de capacidade

Introdução ao ambiente

Começar agora

• Ambientes do Microsoft Fabric

Guia de Instruções

• Gerenciar computação do Spark em ambientes
• Gerenciar bibliotecas em ambientes
• Ambiente de integração Git e pipeline de implantação
• Gerenciar o ambiente por meio de APIs públicas
• Gerenciar recursos no ambiente Fabric
• Migrar as bibliotecas de espaço de trabalho existentes e as propriedades do Spark para um ambiente

Livy API

Visão geral

• O que é a API do Livy?

Começar agora

• Criar e executar trabalhos do Spark usando a API do Livy
• Enviar trabalhos de sessão da API do Livy
• Enviar trabalhos em lotes da API do Livy