Transformar dados com o Spark no Azure Synapse Analytics
Em geral, os engenheiros de dados precisam transformar grandes volumes de dados. Os pools do Apache Spark no Azure Synapse Analytics fornecem uma plataforma de processamento distribuído que eles podem usar para atingir essa meta.
Objetivos de aprendizagem
Neste módulo, você aprenderá a:
- Usar o Apache Spark para modificar e salvar dataframes
- Particionar arquivos de dados para aprimorar o desempenho e a escalabilidade.
- Transformar dados com o SQL
Pré-requisitos
Antes de realizar este módulo, você deve se familiarizar com os pools do Apache Spark no Azure Synapse Analytics. Considere concluir o módulo Analisar dados com o Apache Spark no Azure Synapse Analytics primeiro.