Eseguire la migrazione di dati e pipeline da Azure Synapse Analytics a Microsoft Fabric
Il primo passaggio della migrazione di dati e pipeline consiste nell'identificare i dati da rendere disponibili in OneLake e le pipeline che si intende spostare.
Sono disponibili due opzioni per la migrazione dei dati:
- Opzione 1: Azure Data Lake Storage (ADLS) Gen2 come risorsa di archiviazione predefinita. Se attualmente si usa ADLS Gen2 e si vuole evitare la copia dei dati, considerare l’uso di collegamenti OneLake.
- Opzione 2: OneLake come risorsa di archiviazione predefinita. Se si vuole passare da ADLS Gen2 a OneLake come livello di archiviazione, è consigliabile leggere/scrivere da/a OneLake dai notebook e dalle definizioni processo Spark.
Migrazione dei dati
Opzione 1: ADLS Gen2 come risorsa di archiviazione (collegamenti)
Se si interagisce con ADLS Gen2 e si vuole evitare la duplicazione dei dati, è possibile creare un collegamento al percorso di origine ADLS Gen2 in OneLake. È possibile creare collegamenti all'interno delle sezioni File e Tabelle del lakehouse in Fabric con le considerazioni seguenti:
- La sezione File è l'area non gestita del lake. Se i dati sono in formato CSV, JSON o Parquet, è consigliabile creare un collegamento a questa area.
- La sezione Tabelle è l'area gestita del lake. Tutte le tabelle, gestite o non gestite da Spark, vengono registrate qui. Se i dati sono in formato Delta, è possibile creare un collegamento in questa area; il processo di individuazione automatica registra automaticamente tali tabelle Delta nel metastore del lakehouse.
Altre informazioni sulla creazione di un collegamento ADLS Gen2.
Opzione 2: OneLake come risorsa di archiviazione
Per usare OneLake come livello di archiviazione e spostare i dati da ADLS Gen2, è necessario puntare inizialmente gli elementi correlati ad Azure Synapse Spark in OneLake e quindi trasferire i dati esistenti in OneLake. Per il primo casovedere Integrare OneLake con Azure Synapse Spark.
Per spostare i dati esistenti in OneLake, sono disponibili diverse opzioni:
- mssparkutils fastcp: la libreria mssparkutils fornisce un'API fastcp che consente di copiare dati da ADLS Gen2 a OneLake.
- AzCopy: è possibile usare l'utilità della riga di comando AzCopy per copiare dati da ADLS Gen2 a OneLake.
- Azure Data Factory, Azure Synapse Analytics e Data Factory in Fabric: usare l'attività di copia per copiare i dati nella lakehouse.
- Usare collegamenti: è possibile abilitare i dati storici di ADLS Gen2 in OneLake usando collegamenti. Non è necessario copiare dati.
- Azure Storage Explorer: è possibile spostare file dal percorso di ADLS Gen2 a OneLake usando Azure Storage Explorer. Vedere Come integrare OneLake con Azure Storage Explorer.
Migrazione delle pipeline (attività correlate a Spark)
Se le pipeline di dati di Azure Synapse includono attività di definizione processo del notebook e/o di Spark, sarà necessario spostare tali pipeline da Azure Synapse alle pipeline di dati di Data Factory in Fabric e fare riferimento ai notebook di destinazione. L'attività del notebook è disponibile nelle pipeline di dati di Data Factory. Vedere tutte le attività della pipeline di dati supportate in Fabric qui.
- Per considerazioni sulle attività della pipeline di dati correlate a Spark, vedere le differenze tra Azure Synapse Spark e Fabric.
- Per la migrazione dei notebook, vedere Eseguire la migrazione dei notebook da Azure Synapse a Fabric.
- Per la migrazione della pipeline di dati, vedere Eseguire la migrazione a Data Factory in Fabric.