O que é engenharia de dados no Microsoft Fabric?
A engenharia de dados no Microsoft Fabric permite que os usuários projetem, criem e mantenham infraestruturas e sistemas que permitem que suas organizações coletem, armazenem, processem e analisem grandes volumes de dados.
O Microsoft Fabric fornece vários recursos de engenharia de dados para garantir que seus dados sejam facilmente acessíveis, bem organizados e de alta qualidade. Para acessar a página inicial de engenharia de dados, selecione Cargas de trabalho no painel de navegação e, em seguida, selecione o bloco Engenharia de Dados. Na página inicial de engenharia de dados, você pode:
Crie e gere os seus dados usando um lakehouse
Projete pipelines para copiar dados para sua casa no lago
Usar definições de trabalho do Spark para submeter tarefas de processamento em lote/streaming para o cluster Spark
Usar blocos de anotações para escrever código para ingestão, preparação e transformação de dados
Casa do Lago
Lakehouses são arquiteturas de dados que permitem às organizações armazenar e gerenciar dados estruturados e não estruturados em um único local, usando várias ferramentas e estruturas para processar e analisar esses dados. Essas ferramentas e estruturas podem incluir consultas e análises baseadas em SQL, bem como aprendizado de máquina e outras técnicas avançadas de análise.
Definição de trabalho do Apache Spark
As definições de trabalho do Spark são um conjunto de instruções que definem como executar um trabalho em um cluster do Spark. Ele inclui informações como as fontes de dados de entrada e saída, as transformações e as definições de configuração para o aplicativo Spark. A definição de tarefa do Spark permite que você envie uma tarefa em lote/streaming para o cluster do Spark, aplique diferentes lógicas de transformação aos dados hospedados no seu lakehouse, juntamente com muitas outras funcionalidades.
Computador portátil
Os blocos de anotações são um ambiente de computação interativo que permite aos usuários criar e compartilhar documentos que contêm código dinâmico, equações, visualizações e texto narrativo. Eles permitem que os usuários escrevam e executem código em várias linguagens de programação, incluindo Python, R e Scala. Você pode usar blocos de anotações para ingestão, preparação, análise e outras tarefas relacionadas a dados.
Fluxo de dados
Os fluxos de dados são uma série de etapas que podem coletar, processar e transformar dados da sua forma bruta para um formato que possa ser usado para análise e tomada de decisões. Eles são um componente crítico da engenharia de dados, pois fornecem uma maneira de mover dados de sua origem para seu destino de forma confiável, escalável e eficiente.
Você pode usar a Engenharia de Dados no Microsoft Fabric gratuitamente quando se inscrever no teste do Fabric. Você também pode comprar uma capacidade do Microsoft Fabric ou uma capacidade reservada do Fabric
Conteúdo relacionado
Introdução à Engenharia de Dados:
- Para saber mais sobre lakehouses, consulte O que é uma lakehouse no Microsoft Fabric?
- Para começar a usar uma casa de lago, consulte Criar uma casa de lago no Microsoft Fabric.
- Para saber mais sobre as definições de trabalho do Apache Spark, consulte O que é uma definição de trabalho do Apache Spark?
- Para começar a usar uma definição de trabalho do Apache Spark, consulte Como criar uma definição de trabalho do Apache Spark no Fabric.
- Para saber mais sobre blocos de notas, consulte Criar e executar o bloco de notas.
- Para começar a usar atividades de cópia de pipeline, consulte Como copiar dados usando a atividade de cópia.