Partager via

Migrer des données et des pipelines d’Azure Synapse Analytics vers Microsoft Fabric

  • Article

La première étape d’une migration de données et de pipelines consiste à identifier les données que vous voulez rendre disponibles dans OneLake et les pipelines que vous avez l’intention de déplacer.

Vous disposez de deux options pour la migration des données :

  • Option 1 : Azure Data Lake Storage (ADLS) Gen2 comme stockage par défaut. Si vous utilisez actuellement ADLS Gen2 et souhaitez éviter la copie des données, envisagez d’utiliser des raccourcis OneLake.
  • Option 2 : OneLake comme stockage par défaut. Si vous souhaitez passer d’ADLS Gen2 à OneLake pour la couche de stockage, envisagez de lire/écrire depuis/vers OneLake à partir de vos notebooks et définitions de tâche Spark.

Migration des données

Option 1 : ADLS Gen2 comme stockage (raccourcis)

Si vous interagissez avec ADLS Gen2 et que vous souhaitez éviter la duplication des données, vous pouvez créer un raccourci vers le chemin source ADLS Gen2 dans OneLake. Vous pouvez créer des raccourcis dans les sections Fichiers et Tables du lakehouse dans Fabric avec les considérations suivantes :

  • La section Fichiers est la zone non managée du lac. Si vos données sont au format CSV, JSON ou Parquet, nous vous recommandons de créer un raccourci vers cette zone.
  • La section Tables est la zone managée du lac. Toutes les tables, à la fois managées par Spark et non managées, sont inscrites ici. Si vos données sont au format Delta, vous pouvez créer un raccourci dans cette zone et le processus de découverte automatique inscrit automatiquement ces tables Delta dans le metastore du lakehouse.

En savoir plus sur la création d’un raccourci ADLS Gen2.

Option 2 : OneLake comme stockage

Pour utiliser OneLake comme couche de stockage et déplacer des données d’ADLS Gen2, vous devez commencer par pointer les éléments liés à Azure Synapse Spark vers OneLake, puis transférer les données existantes vers OneLake. Pour la première, consultez Intégrer OneLake à Azure Synapse Spark.

Pour déplacer les données existantes vers OneLake, vous avez plusieurs options :

  • mssparkutils fastcp : La bibliothèque mssparkutils fournit une API fastcp qui vous permet de copier les données d’ADLS Gen2 vers OneLake.
  • AzCopy : Vous pouvez vous servir de l’utilitaire de ligne de commande AzCopy pour copier les données d’ADLS Gen2 vers OneLake.
  • Azure Data Factory, Azure Synapse Analytics et Data Factory dans Fabric : utilisez copier l’activité pour copier les données dans le lakehouse.
  • Utiliser des raccourcis : Vous pouvez activer les données historiques ADLS Gen2 dans OneLake à l’aide de raccourcis. Aucune copie de données nécessaire.
  • Explorateur Stockage Azure : Vous pouvez déplacer les fichiers de l’emplacement ADLS Gen2 vers OneLake à l’aide de l’Explorateur Stockage Azure. Découvrez comment Intégrer OneLake à l’Explorateur Stockage Azure.

Si vos pipelines de données Azure Synapse incluent des activités de notebook et/ou de définition de tâche Spark, vous devez déplacer ces pipelines d’Azure Synapse vers des pipelines de données Data Factory dans Fabric et référencer les notebooks cibles. L’activité de notebook est disponible dans les pipelines de données Data Factory. Consultez toutes les activités de pipeline de données prises en charge dans Fabric ici.

Contenu connexe