Transformer des données avec Spark dans Azure Synapse Analytics
Les ingénieurs Données doivent généralement transformer de gros volumes de données. Les pools Apache Spark dans Azure Synapse Analytics fournissent une plateforme de traitement distribué qui leur permet d’atteindre cet objectif.
Objectifs d’apprentissage
Dans ce module, vous allez découvrir comment :
- Utiliser Apache Spark pour modifier et enregistrer des dataframes
- Partitionnez les fichiers de données pour améliorer les performances et la scalabilité.
- Transformer des données avec SQL
Prérequis
Avant de suivre ce module, vous devez vous familiariser avec les pools Apache Spark dans Azure Synapse Analytics. Envisagez d’abord d’effectuer le module Analyser des données avec Apache Spark dans Azure Synapse Analytics.