Eseguire la migrazione di Azure Data Lake Analytics a Azure Synapse Analytics
Azure Data Lake Analytics verrà ritirato il 29 febbraio 2024. Altre informazioni con questo annuncio.
Se si usa già Azure Data Lake Analytics, è possibile creare un piano di migrazione per Azure Synapse Analytics per l'organizzazione.
Microsoft ha lanciato Azure Synapse Analytics che mira a mettere insieme sia data lake che data warehouse per un'esperienza di analisi big data unica. Consente di raccogliere e analizzare i dati per risolvere l'inefficienza dei dati e aiutare i team a collaborare. Inoltre, l'integrazione di Synapse con Azure Machine Learning e Power BI permetterà alle organizzazioni di ottenere informazioni dettagliate dai dati ed eseguire Machine Learning in tutte le app intelligenti.
Il documento illustra come eseguire la migrazione da Azure Data Lake Analytics a Azure Synapse Analytics.
Approccio consigliato
- Passaggio 1: Valutare l'idoneità
- Passaggio 2: Preparare la migrazione
- Passaggio 3: Eseguire la migrazione di carichi di lavoro di dati e applicazioni
- Passaggio 4: Cutover da Azure Data Lake Analytics a Azure Synapse Analytics
Passaggio 1: Valutare l'idoneità
Esaminare Apache Spark in Azure Synapse Analytics e comprendere le principali differenze di Azure Data Lake Analytics e Spark in Azure Synapse Analytics.
Elemento Azure Data Lake Analytics. Spark in Synapse Prezzi Ogni ora di unità analitica Per vCore-hour Motore Azure Data Lake Analytics. Apache Spark Linguaggio di programma predefinito U-SQL T-SQL, Python, Scala, Spark SQL e .NET Origini dati Azure Data Lake Storage Archiviazione BLOB di Azure, Azure Data Lake Storage Esaminare il questionario per la valutazione della migrazione e elencare i possibili rischi da considerare.
Passaggio 2: Preparare la migrazione
Identificare i processi e i dati di cui si eseguirà la migrazione.
- Sfruttare questa opportunità per pulire i processi che non si usano più. A meno che non si prevede di eseguire la migrazione di tutti i processi alla volta, richiedere questo tempo per identificare gruppi logici di processi che è possibile eseguire la migrazione in fasi.
- Valutare le dimensioni dei dati e comprendere il formato dei dati di Apache Spark. Esaminare gli script U-SQL e valutare le attività di riscrittura degli script e comprendere il concetto di codice Apache Spark.
Determinare l'impatto che una migrazione avrà per l'azienda. Ad esempio, se è possibile concedere tempi di inattività durante la migrazione.
Creare un piano di migrazione.
Passaggio 3: Eseguire la migrazione dei dati e del carico di lavoro dell'applicazione
Eseguire la migrazione dei dati da Azure Data Lake Storage Gen1 a Azure Data Lake Storage Gen2.
Azure Data Lake Storage ritiro gen1 sarà a febbraio 2024, vedere l'annuncio ufficiale. È consigliabile eseguire la migrazione dei dati a Gen2 al primo posto. Vedere Informazioni sui formati di dati di Apache Spark per sviluppatori di Azure Data Lake Analytics U-SQL e spostare sia il file che i dati archiviati nelle tabelle U-SQL per renderli accessibili per Azure Synapse Analytics. Altre informazioni sulla guida alla migrazione sono disponibili qui.Trasformare gli script U-SQL in Spark. Vedere Informazioni sui concetti relativi al codice Apache Spark per gli sviluppatori di Azure Data Lake Analytics U-SQL per trasformare gli script U-SQL in Spark.
Trasformare o ricreare le pipeline di orchestrazione del processo in un nuovo programma Spark.
Passaggio 4: Passare da Azure Data Lake Analytics a Azure Synapse Analytics
Dopo aver sicuro che le applicazioni e i carichi di lavoro sono stabili, è possibile iniziare a usare Azure Synapse Analytics per soddisfare gli scenari aziendali. Disattivare tutte le pipeline rimanenti in esecuzione in Azure Data Lake Analytics e ritirare gli account di Azure Data Lake Analytics.
Questionario per la valutazione della migrazione
| Category | Domande | Riferimento |
|---|---|---|
| Valutare le dimensioni della migrazione | Quanti account di Azure Data Lake Analytics sono disponibili? Quanti pipeline sono in uso? Quanti script U-SQL sono in uso? | Più dati e script devono essere migrati, più UDO/UDF vengono usati negli script, più è difficile eseguire la migrazione. Il tempo e le risorse necessarie per la migrazione devono essere pianificati correttamente in base alla scala del progetto. |
| Origine dati | Qual è la dimensione dell'origine dati? Quali tipi di formato di dati per l'elaborazione? | Informazioni sui formati di dati apache Spark per gli sviluppatori di Azure Data Lake Analytics U-SQL |
| Output dei dati | I dati di output verranno mantenuto per un uso successivo? Se i dati di output vengono salvati nelle tabelle U-SQL, come gestirli? | Se i dati di output verranno usati spesso e salvati nelle tabelle U-SQL, è necessario modificare gli script e modificare i dati di output in formato dati supportato da Spark. |
| Migrazione dei dati | È stato effettuato il piano di migrazione dell'archiviazione? | Eseguire la migrazione di Azure Data Lake Storage da Gen1 a Gen2 |
| Trasformazione degli script U-SQL | Si usa UDO/UDF (.NET, python e così via)? Se la risposta precedente è sì, quale linguaggio si usa nella UDO/UDF e eventuali problemi per la trasformazione durante la trasformazione? La query federata viene usata in U-SQL? | Informazioni sui concetti relativi al codice Apache Spark per sviluppatori di Azure Data Lake Analytics U-SQL |