Migrowanie usługi Azure Data Lake Analytics do usługi Azure Synapse Analytics
Usługa Azure Data Lake Analytics zostanie wycofana 29 lutego 2024 r. Dowiedz się więcej z tym ogłoszeniem.
Jeśli już używasz usługi Azure Data Lake Analytics, możesz utworzyć plan migracji do usługi Azure Synapse Analytics dla swojej organizacji.
Firma Microsoft uruchomiła usługę Azure Synapse Analytics, która ma na celu połączenie jezior danych i magazynów danych w celu uzyskania unikatowego środowiska analizy big data. Pomoże to zebrać i przeanalizować dane w celu rozwiązania nieefektywności danych i pomóc zespołom w współpracy. Ponadto integracja usługi Synapse z usługą Azure Machine Learning i usługą Power BI umożliwi organizacjom lepsze uzyskiwanie szczegółowych informacji z danych i wykonywanie uczenia maszynowego we wszystkich aplikacjach inteligentnych.
W dokumencie pokazano, jak przeprowadzić migrację z usługi Azure Data Lake Analytics do usługi Azure Synapse Analytics.
Zalecane podejście
- Krok 1. Ocena gotowości
- Krok 2. Przygotowanie do migracji
- Krok 3. Migrowanie danych i obciążeń aplikacji
- Krok 4. Migracja jednorazowa z usługi Azure Data Lake Analytics do usługi Azure Synapse Analytics
Krok 1. Ocena gotowości
Zapoznaj się z platformą Apache Spark w usłudze Azure Synapse Analytics i zapoznaj się z kluczowymi różnicami w usługach Azure Data Lake Analytics i Spark w usłudze Azure Synapse Analytics.
Przedmiot Azure Data Lake Analytics Platforma Spark w usłudze Synapse Ceny Na jednostkę analizową na godzinę Na godzinę vCore Silnik Azure Data Lake Analytics Apache Spark Domyślny język programowania U-SQL T-SQL, Python, Scala, Spark SQL i .NET Źródła danych Azure Data Lake Storage Azure Blob Storage, Azure Data Lake Storage Zapoznaj się z kwestionariuszem oceny migracji i wymień możliwe zagrożenia do rozważenia.
Krok 2. Przygotowanie do migracji
Identyfikowanie zadań i danych, które zostaną zmigrowane.
- Skorzystaj z tej okazji, aby uporządkować te zadania, których już nie używasz. O ile nie planujesz migrować wszystkich zadań jednocześnie, pośmiń ten czas, aby zidentyfikować logiczne grupy zadań, które można migrować w fazach.
- Oceń rozmiar danych i zapoznaj się z formatem danych platformy Apache Spark. Przejrzyj skrypty U-SQL i oceń działania związane z ponownym pisaniem skryptów i zapoznaj się z koncepcją kodu platformy Apache Spark.
Określ wpływ migracji na Twoją firmę. Na przykład, czy możesz sobie pozwolić na przestoje podczas migracji.
Utwórz plan migracji.
Krok 3. Migrowanie danych i obciążenia aplikacji
Przeprowadź migrację danych z usługi Azure Data Lake Storage Gen1 do usługi Azure Data Lake Storage Gen2.
Wycofanie usługi Azure Data Lake Storage Gen1 odbędzie się w lutym 2024 r., zobacz oficjalne ogłoszenie. Zalecamy migrację danych do usługi Gen2 w pierwszej kolejności. Zobacz Omówienie formatów danych platformy Apache Spark dla deweloperów U-SQL usługi Azure Data Lake Analytics i przenieś zarówno plik, jak i dane przechowywane w tabelach U-SQL, aby udostępnić je w usłudze Azure Synapse Analytics. Więcej szczegółów przewodnika po migracji można znaleźć tutaj.Przekształć skrypty U-SQL na platformę Spark. Zapoznaj się z artykułem Omówienie pojęć dotyczących kodu platformy Apache Spark dla deweloperów U-SQL usługi Azure Data Lake Analytics , aby przekształcić skrypty U-SQL na platformę Spark.
Przekształć lub odtwórz potoki orkiestracji zadań w nowym programie w Spark.
Krok 4. Przechodzenie z usługi Azure Data Lake Analytics do usługi Azure Synapse Analytics
Po upewnieniu się, że aplikacje i obciążenia są stabilne, możesz rozpocząć korzystanie z usługi Azure Synapse Analytics w celu spełnienia Twoich scenariuszy biznesowych. Wyłącz wszystkie pozostałe potoki uruchomione w usłudze Azure Data Lake Analytics i wycofaj konta usługi Azure Data Lake Analytics.
Kwestionariusz oceny migracji
| Kategoria | Pytania | Źródło |
|---|---|---|
| Ocena rozmiaru migracji | Ile kont usługi Azure Data Lake Analytics masz? Ile rurociągów jest używanych? Ile skryptów U-SQL jest używanych? | Tym więcej danych i skryptów do zmigrowania, tym więcej UDO/UDF jest używanych w skryptach, tym trudniej jest przeprowadzić migrację. Czas i zasoby wymagane do migracji muszą być dobrze zaplanowane zgodnie ze skalą projektu. |
| Źródło danych | Jaki jest rozmiar źródła danych? Jakiego rodzaju format danych jest przeznaczony do przetwarzania? | Omówienie formatów danych platformy Apache Spark dla deweloperów U-SQL usługi Azure Data Lake Analytics |
| Wynik danych | Czy zachowasz dane wyjściowe do późniejszego użycia? Jeśli dane wyjściowe są zapisywane w tabelach U-SQL, jak je obsłużyć? | Jeśli dane wyjściowe będą często używane i zapisywane w tabelach U-SQL, musisz zmienić skrypty i zmienić dane wyjściowe na obsługiwany format danych platformy Spark. |
| Migracja danych | Czy plan migracji magazynu został wykonany? | Migrowanie usługi Azure Data Lake Storage z gen1 do generacji 2 |
| Transformacja skryptów U-SQL | Czy używasz funkcji UDO/UDF (.NET, python itp.)? Jeśli powyżej odpowiedź brzmi tak, który język jest używany w UDO/UDF i jakiekolwiek problemy dotyczące transformacji podczas transformacji? Czy zapytanie federacyjne jest używane w języku U-SQL? | Omówienie pojęć związanych z kodem platformy Apache Spark dla deweloperów języka U-SQL usługi Azure Data Lake Analytics |