Eseguire la migrazione di Azure Data Lake Analytics ad Azure Synapse Analytics
Azure Data Lake Analytics verrà ritirato il 29 febbraio 2024. Per altre informazioni, vedere questo annuncio.
Se si usa già Azure Data Lake Analytics, è possibile creare un piano di migrazione ad Azure Synapse Analytics per l'organizzazione.
Microsoft ha lanciato Azure Synapse Analytics che mira a riunire data lake e data warehouse per un'esperienza unica di analisi dei Big Data. Consente di raccogliere e analizzare i dati per risolvere l'inefficienza dei dati e aiutare i team a collaborare. Inoltre, l'integrazione di Synapse con Azure Machine Learning e Power BI consentirà alle organizzazioni di ottenere informazioni dettagliate dai dati ed eseguire l'apprendimento automatico in tutte le app intelligenti.
Il documento illustra come eseguire la migrazione da Azure Data Lake Analytics ad Azure Synapse Analytics.
Approccio consigliato
- Passaggio 1: valutare l'idoneità
- Passaggio 2: preparare la migrazione
- Passaggio 3: eseguire la migrazione di carichi di lavoro di dati e applicazioni
- Passaggio 4: Eseguire il cutover da Azure Data Lake Analytics ad Azure Synapse Analytics
Passaggio 1: valutare l'idoneità
Esaminare Apache Spark in Azure Synapse Analytics e comprendere le differenze principali di Azure Data Lake Analytics e Spark in Azure Synapse Analytics.
Elemento Azure Data Lake Analytics. Spark in Synapse Tariffazione Per ora di unità analitica Per ora vCore Motore Azure Data Lake Analytics. Apache Spark Lingua di programma predefinita U-SQL T-SQL, Python, Scala, Spark SQL e .NET Origini dati Azure Data Lake Storage Archiviazione BLOB di Azure, Archiviazione Data Lake di Azure Esaminare il questionario per la valutazione della migrazione ed elencare i possibili rischi da considerare.
Passaggio 2: preparare la migrazione
Identificare i lavori e i dati che si migreranno.
- Sfrutta questa opportunità per eliminare i lavori che non usi più. A meno che non si intenda eseguire la migrazione di tutti i processi contemporaneamente, prendere questo tempo per identificare gruppi logici di processi di cui è possibile eseguire la migrazione in fasi.
- Valutare le dimensioni dei dati e comprendere il formato dei dati apache Spark. Esaminare gli script U-SQL e valutare le attività di riscrittura degli script e comprendere il concetto di codice Apache Spark.
Determinare l'impatto della migrazione sull'azienda. Ad esempio, se è possibile permettersi tempi di inattività durante la migrazione.
Creare un piano di migrazione.
Passaggio 3: Eseguire la migrazione dei dati e del carico di lavoro dell'applicazione
Eseguire la migrazione dei dati da Azure Data Lake Storage Gen1 ad Azure Data Lake Storage Gen2.
Il ritiro di Azure Data Lake Storage Gen1 sarà a febbraio 2024. Vedere l'annuncio ufficiale. È consigliabile eseguire la migrazione dei dati a Gen2 in primo luogo. Vedere Informazioni sui formati di dati apache Spark per gli sviluppatori U-SQL di Azure Data Lake Analytics e spostare sia il file che i dati archiviati nelle tabelle U-SQL per renderli accessibili ad Azure Synapse Analytics. Altre informazioni sulla guida alla migrazione sono disponibili qui.Trasformare gli script U-SQL in Spark. Consultare Informazioni sui concetti relativi al codice Apache Spark per gli sviluppatori U-SQL di Azure Data Lake Analytics per trasformare i tuoi script U-SQL in Spark.
Trasformare o ricreare le pipeline di orchestrazione dei processi in un nuovo programma Spark.
Passaggio 4: Eseguire il cut-over da Azure Data Lake Analytics ad Azure Synapse Analytics
Dopo aver certi che le applicazioni e i carichi di lavoro siano stabili, è possibile iniziare a usare Azure Synapse Analytics per soddisfare gli scenari aziendali. Disattivare tutte le pipeline rimanenti in esecuzione in Azure Data Lake Analytics e ritirare gli account di Azure Data Lake Analytics.
Questionario per la valutazione della migrazione
| Categoria | Domande | Riferimento |
|---|---|---|
| Valutare le dimensioni della migrazione | Quanti account di Azure Data Lake Analytics sono disponibili? Quante pipeline sono in uso? Quanti script U-SQL sono in uso? | Maggiore è il numero di dati e script di cui eseguire la migrazione, più UDO/UDF vengono usati negli script, più difficile è eseguire la migrazione. Il tempo e le risorse necessarie per la migrazione devono essere pianificati correttamente in base alla scala del progetto. |
| L'origine dei dati | Qual è la dimensione dell'origine dati? Quali tipi di formato di dati per l'elaborazione? | Informazioni sui formati di dati Apache Spark per sviluppatori U-SQL di Azure Data Lake Analytics |
| Output dei dati | Si manterranno i dati di output per usarli in un secondo momento? Se i dati di output vengono salvati nelle tabelle U-SQL, come gestirli? | Se i dati di output verranno usati spesso e salvati nelle tabelle U-SQL, è necessario modificare gli script e modificare i dati di output in formato dati supportati da Spark. |
| Migrazione dei dati | Hai realizzato il piano di migrazione dell'archiviazione? | Eseguire la migrazione di Azure Data Lake Storage da Gen1 a Gen2 |
| Trasformazione degli script U-SQL | Usi UDO/UDF (.NET, Python e così via)? Se la risposta precedente è sì, quale linguaggio usi nella funzione definita dall'utente/UDO e ci sono eventuali problemi con la trasformazione? La query federata viene usata in U-SQL? | Informazioni sui concetti relativi al codice Apache Spark per sviluppatori U-SQL di Azure Data Lake Analytics |