Миграция из Azure Synapse Spark в Fabric
Перед началом миграции необходимо убедиться, что Инжиниринг данных Fabric является лучшим решением для рабочей нагрузки. Инжиниринг данных Fabric поддерживает lakehouse, записную книжку, среду, определение задания Spark (SJD) и элементы конвейера данных, включая различные возможности среды выполнения и spark.
Основные рекомендации
Первым шагом в создании стратегии миграции является оценка подходящести. Стоит отметить, что некоторые функции Fabric, связанные с Spark, в настоящее время находятся в разработке или планировании. Дополнительные сведения и обновления см. в схеме развития Структуры.
Для Spark см. подробные различия между Azure Synapse Spark и Fabric.
Сценарии миграции
Если определить, что Инжиниринг данных Fabric является правильным выбором для переноса существующих рабочих нагрузок Spark, процесс миграции может включать несколько сценариев и этапов:
- Элементы. Миграция элементов включает перенос одного или различных элементов из существующей рабочей области Azure Synapse в Fabric. Дополнительные сведения о переносе пулов Spark, конфигураций Spark, библиотек Spark, записных книжек и определения задания Spark.
- Данные и конвейеры. Использование сочетаний клавиш OneLake позволяет сделать данные ADLS 2-го поколения (связанные с рабочей областью Azure Synapse) доступными в Fabric lakehouse. Миграция конвейера включает перемещение существующих конвейеров данных в Fabric, включая действия конвейера определения заданий Spark и записные книжки. Дополнительные сведения о миграции данных и конвейеров.
- Метаданные. Миграция метаданных включает перемещение метаданных каталога Spark (базы данных, таблиц и секций) из существующего хранилища метаданных Hive (HMS) в Azure Synapse в Fabric lakehouse. Дополнительные сведения о миграции метаданных HMS.
- Рабочая область. Пользователи могут перенести существующую рабочую область Azure Synapse, создав новую рабочую область в Microsoft Fabric, включая метаданные. Миграция рабочей области не рассматривается в этом руководстве, предполагается, что пользователям необходимо создать новую рабочую область или создать существующую рабочую область Fabric. Дополнительные сведения о ролях рабочей области в Fabric.
Переход из Azure Synapse Spark в Fabric Spark требует глубокого понимания текущей архитектуры и различий между Azure Synapse Spark и Fabric. Первым важным шагом является оценка, за которой следует создание подробного плана миграции. Этот план можно настроить для сопоставления уникальных признаков системы, зависимостей этапов и сложности рабочей нагрузки.
Связанный контент
- Fabric и Azure Synapse Spark
- Дополнительные сведения о вариантах миграции для пулов Spark, конфигураций, библиотек, записных книжек и определения задания Spark
- Перенос данных и конвейеров
- Перенос метаданных хранилища метаданных Хранилища метаданных Hive