Explorar e transformar dados em um lakehouse
Transformar e carregar dados
A maioria dos dados requer transformações antes de serem carregados nas tabelas. Você pode ingerir dados brutos diretamente em um lakehouse e depois transformá-los e carregá-los em tabelas. Independentemente do seu design ETL, você pode transformar e carregar dados simplesmente usando as mesmas ferramentas para ingerir dados. Os dados transformados podem então ser carregados como um arquivo ou uma tabela Delta.
- Os notebooks são preferidos por engenheiros de dados familiarizados com diferentes linguagens de programação, incluindo PySpark, SQL e Scala.
- Os Dataflows Gen2 são excelentes para desenvolvedores familiarizados com o Power BI ou Excel, pois usam a interface do PowerQuery.
- Os pipelines fornecem uma interface visual para executar e orquestrar processos ETL. Os pipelines podem ser tão simples ou complexos quanto você precisar.
Analisar e visualizar dados em um lakehouse
Depois que os dados são ingeridos, transformados e carregados, eles estão prontos para serem usados por outros. Os itens de tecido oferecem a flexibilidade necessária para cada organização, para que você possa usar as ferramentas que funcionam melhor para você.
- Cientistas de dados podem usar notebooks ou Data Wrangler para explorar e treinar modelos de aprendizado de máquina para IA.
- Os desenvolvedores de relatórios podem usar o modelo semântico para criar relatórios do Power BI.
- Os analistas podem usar o ponto de extremidade de análise SQL para consultar, filtrar, agregar e explorar dados em tabelas do Lakehouse.
Combinando os recursos de visualização de dados do Power BI com o armazenamento centralizado e o esquema tabular de um data lakehouse, é possível implementar uma solução de análise de ponta a ponta em uma única plataforma.