Поделиться через

Миграция из Azure Synapse Spark в Fabric

  • Статья

Перед началом миграции необходимо убедиться, что Инжиниринг данных Fabric является лучшим решением для рабочей нагрузки. Инжиниринг данных Fabric поддерживает lakehouse, записную книжку, среду, определение задания Spark (SJD) и элементы конвейера данных, включая различные возможности среды выполнения и spark.

Основные рекомендации

Первым шагом в создании стратегии миграции является оценка подходящести. Стоит отметить, что некоторые функции Fabric, связанные с Spark, в настоящее время находятся в разработке или планировании. Дополнительные сведения и обновления см. в схеме развития Структуры.

Для Spark см. подробные различия между Azure Synapse Spark и Fabric.

Сценарии миграции

Если определить, что Инжиниринг данных Fabric является правильным выбором для переноса существующих рабочих нагрузок Spark, процесс миграции может включать несколько сценариев и этапов:

  • Элементы. Миграция элементов включает перенос одного или различных элементов из существующей рабочей области Azure Synapse в Fabric. Дополнительные сведения о переносе пулов Spark, конфигураций Spark, библиотек Spark, записных книжек и определения задания Spark.
  • Данные и конвейеры. Использование сочетаний клавиш OneLake позволяет сделать данные ADLS 2-го поколения (связанные с рабочей областью Azure Synapse) доступными в Fabric lakehouse. Миграция конвейера включает перемещение существующих конвейеров данных в Fabric, включая действия конвейера определения заданий Spark и записные книжки. Дополнительные сведения о миграции данных и конвейеров.
  • Метаданные. Миграция метаданных включает перемещение метаданных каталога Spark (базы данных, таблиц и секций) из существующего хранилища метаданных Hive (HMS) в Azure Synapse в Fabric lakehouse. Дополнительные сведения о миграции метаданных HMS.
  • Рабочая область. Пользователи могут перенести существующую рабочую область Azure Synapse, создав новую рабочую область в Microsoft Fabric, включая метаданные. Миграция рабочей области не рассматривается в этом руководстве, предполагается, что пользователям необходимо создать новую рабочую область или создать существующую рабочую область Fabric. Дополнительные сведения о ролях рабочей области в Fabric.

Снимок экрана: сценарии миграции.

Переход из Azure Synapse Spark в Fabric Spark требует глубокого понимания текущей архитектуры и различий между Azure Synapse Spark и Fabric. Первым важным шагом является оценка, за которой следует создание подробного плана миграции. Этот план можно настроить для сопоставления уникальных признаков системы, зависимостей этапов и сложности рабочей нагрузки.

Связанный контент