Migrieren von Azure Data Lake Analytics zu Azure Synapse Analytics

Azure Data Lake Analytics wird am 29. Februar 2024 eingestellt. Erfahren Sie mehr mit dieser Ankündigung.

Wenn Sie azure Data Lake Analytics bereits verwenden, können Sie einen Migrationsplan zu Azure Synapse Analytics für Ihre Organisation erstellen.

Microsoft hat Azure Synapse Analytics gestartet, die darauf abzielt, sowohl Datenseen als auch Data Warehouse für eine einzigartige Big Data Analytics-Erfahrung zusammenzubringen. Es hilft Ihnen, Ihre Daten zu sammeln und zu analysieren, um Datenineffizienz zu lösen und Ihre Teams bei der Zusammenarbeit zu unterstützen. Darüber hinaus ermöglicht die Integration von Synapse mit Azure Machine Learning und Power BI Organisationen eine verbesserte Fähigkeit, Einblicke aus ihren Daten zu gewinnen und maschinelles Lernen in all ihren intelligenten Apps auszuführen.

Das Dokument zeigt, wie Sie die Migration von Azure Data Lake Analytics zu Azure Synapse Analytics durchführen.

Empfohlener Ansatz

• Schritt 1: Bewerten der Bereitschaft
• Schritt 2: Vorbereiten der Migration
• Schritt 3: Migrieren von Daten und Anwendungsworkloads
• Schritt 4: Umstellung von Azure Data Lake Analytics auf Azure Synapse Analytics

Schritt 1: Bewerten der Bereitschaft

1. Sehen Sie sich Apache Spark auf Azure Synapse Analyticsan und verstehen Sie die wichtigsten Unterschiede von Azure Data Lake Analytics und Spark in Azure Synapse Analytics.

   Gegenstand	Azure Data Lake Analytics	Spark on Synapse
   Preisgestaltung	Pro Analyseeinheit -Stunde	Pro vCore-Stunde
   Engine	Azure Data Lake Analytics	Apache Spark
   Standardprogrammierungssprache	U-SQL	T-SQL, Python, Scala, Spark SQL und .NET
   Datenquellen	Azure Data Lake Storage	Azure Blob Storage, Azure Data Lake Storage

2. Überprüfen Sie den Fragebogen zur Migrationsbeurteilung und listen Sie die möglichen Risiken für die Prüfung auf.

Schritt 2: Vorbereiten der Migration

1. Identifizieren Sie Aufträge und Daten, die Sie migrieren möchten.

   • Nutzen Sie diese Gelegenheit, um die Jobs zu bereinigen, die Sie nicht mehr benötigen. Es sei denn, Sie planen, alle Ihre Aufträge gleichzeitig zu migrieren, nehmen Sie sich diese Zeit, um logische Gruppen von Aufträgen zu identifizieren, die Sie in Phasen migrieren können.
   • Werten Sie die Größe der Daten aus, und verstehen Sie das Apache Spark-Datenformat. Überprüfen Sie Ihre U-SQL-Skripte, bewerten Sie die Bemühungen zur Neufassung der Skripte und verstehen Sie das Konzept des Apache Spark-Codes.

2. Ermitteln Sie, welche Auswirkungen eine Migration auf Ihr Unternehmen hat. Beispielsweise, ob Sie während der Migration Ausfallzeiten leisten können.

3. Erstellen Sie einen Migrationsplan.

Schritt 3: Migrieren von Daten und Anwendungsworkloads

1. Migrieren Sie Ihre Daten von Azure Data Lake Storage Gen1 zu Azure Data Lake Storage Gen2.
   
   Azure Data Lake Storage Gen1 wird im Februar 2024 eingestellt, finden Sie die offizielle Ankündigung. Wir empfehlen, die Daten zuerst nach Gen2 zu migrieren. Lesen Sie Grundlegendes zu Apache Spark-Datenformaten für Azure Data Lake Analytics U-SQL-Entwickler und verschieben Sie sowohl die Datei als auch die in U-SQL-Tabellen gespeicherten Daten, um sie für Azure Synapse Analytics zugänglich zu machen. Weitere Details zum Migrationshandbuch finden Sie hier.

2. Transformieren Sie Ihre U-SQL-Skripts in Spark. Lesen Sie Grundsätzliches zu Apache Spark-Codekonzepten für Azure Data Lake Analytics U-SQL-Entwickler, um Ihre U-SQL-Skripts in Spark umzuwandeln.

3. Transformieren oder neu erstellen Sie Ihre Auftrags-Orchestrierungspipelines in ein neues Spark-Programm.

Schritt 4: Umstellung von Azure Data Lake Analytics zu Azure Synapse Analytics

Nachdem Sie sicher sind, dass Ihre Anwendungen und Workloads stabil sind, können Sie mit der Verwendung von Azure Synapse Analytics beginnen, um Ihre Geschäftsszenarien zu erfüllen. Deaktivieren Sie alle verbleibenden Pipelines, die in Azure Data Lake Analytics ausgeführt werden, und deaktivieren Sie Ihre Azure Data Lake Analytics-Konten.

Fragebogen zur Migrationsbeurteilung

Kategorie	Fragen	Referenz
Die Größe der Migration bewerten	Wie viele Azure Data Lake Analytics-Konten haben Sie? Wie viele Pipelines werden verwendet? Wie viele U-SQL-Skripts werden verwendet?	Je mehr Daten und Skripts migriert werden sollen, desto mehr UDO/UDF werden in Skripts verwendet, desto schwieriger ist es, zu migrieren. Die für die Migration erforderliche Zeit und Ressourcen müssen entsprechend dem Umfang des Projekts gut geplant sein.
Datenquelle	Wie groß ist die Datenquelle? Welche Arten von Datenformaten für die Verarbeitung?	Verstehen von Apache Spark-Datenformaten für Azure Data Lake Analytics U-SQL-Entwickler
Datenausgabe	Behalten Sie die Ausgabedaten zur späteren Verwendung bei? Wenn die Ausgabedaten in U-SQL-Tabellen gespeichert werden, wie sie behandelt werden?	Wenn die Ausgabedaten häufig verwendet und in U-SQL-Tabellen gespeichert werden, müssen Sie die Skripts ändern und die Ausgabedaten in das unterstützte Spark-Datenformat ändern.
Datenmigration	Haben Sie den Speichermigrationsplan erstellt?	Migrieren von Azure Data Lake Storage von Gen1 zu Gen2
U-SQL-Skripts transformieren	Verwenden Sie UDO/UDF (.NET, Python usw.)? Wenn oben die Antwort ja ist, welche Sprache verwenden Sie in Ihrem UDO/UDF und gibt es Probleme bei der Transformation? Wird die federierte Abfrage in U-SQL genutzt?	Verstehen von Apache Spark-Codekonzepten für U-SQL-Entwickler von Azure Data Lake Analytics

Nächste Schritte

• Azure Synapse Analytics