Partilhar via


O que é engenharia de dados no Microsoft Fabric?

A engenharia de dados no Microsoft Fabric permite que os usuários projetem, criem e mantenham infraestruturas e sistemas que permitem que suas organizações coletem, armazenem, processem e analisem grandes volumes de dados.

O Microsoft Fabric fornece vários recursos de engenharia de dados para garantir que seus dados sejam facilmente acessíveis, bem organizados e de alta qualidade. Na página inicial de engenharia de dados, você pode:

  • Crie e gere os seus dados usando um lakehouse

  • Projete pipelines para copiar dados para sua casa no lago

  • Usar definições de trabalho do Spark para submeter tarefas de processamento em lote/streaming para o cluster Spark

  • Usar blocos de anotações para escrever código para ingestão, preparação e transformação de dados

    Captura de tela mostrando objetos de Engenharia de Dados.

Casa do Lago

Lakehouses são arquiteturas de dados que permitem às organizações armazenar e gerenciar dados estruturados e não estruturados em um único local, usando várias ferramentas e estruturas para processar e analisar esses dados. Essas ferramentas e estruturas podem incluir consultas e análises baseadas em SQL, bem como aprendizado de máquina e outras técnicas avançadas de análise.

Definição de trabalho do Apache Spark

As definições de trabalho do Spark são um conjunto de instruções que definem como executar um trabalho em um cluster do Spark. Ele inclui informações como as fontes de dados de entrada e saída, as transformações e as definições de configuração para o aplicativo Spark. A definição de tarefa do Spark permite que você envie uma tarefa em lote/streaming para o cluster do Spark, aplique diferentes lógicas de transformação aos dados hospedados no seu lakehouse, juntamente com muitas outras funcionalidades.

Computador portátil

Os blocos de anotações são um ambiente de computação interativo que permite aos usuários criar e compartilhar documentos que contêm código dinâmico, equações, visualizações e texto narrativo. Eles permitem que os usuários escrevam e executem código em várias linguagens de programação, incluindo Python, R e Scala. Você pode usar blocos de anotações para ingestão, preparação, análise e outras tarefas relacionadas a dados.

Fluxo de dados

Os fluxos de dados são uma série de etapas que podem coletar, processar e transformar dados da sua forma bruta para um formato que possa ser usado para análise e tomada de decisões. Eles são um componente crítico da engenharia de dados, pois fornecem uma maneira de mover dados de sua origem para seu destino de forma confiável, escalável e eficiente.

Você pode usar a Engenharia de Dados no Microsoft Fabric gratuitamente ao se inscrever no de avaliação doFabric. Você também pode comprar uma capacidade do Microsoft Fabric ou uma capacidade reservada do Fabric

Introdução à Engenharia de Dados: