Поделиться через

Перенос записных книжек из Azure Synapse Analytics в Fabric

  • Статья

Записные книжки Azure Synapse и Fabric поддерживаются. Перенос записной книжки из Azure Synapse в Fabric можно выполнить двумя разными способами:

  • Вариант 1. Вы можете экспортировать записные книжки из Azure Synapse (IPynb) и импортировать их в Fabric (вручную).
  • Вариант 2. Вы можете использовать скрипт для экспорта записных книжек из Azure Synapse и импорта их в Fabric с помощью API.

Рекомендации по записной книжке см. в различиях между Azure Synapse Spark и Fabric.

Необходимые компоненты

Если у вас еще нет, создайте рабочую область Fabric в клиенте.

Вариант 1. Экспорт и импорт записной книжки вручную

Экспорт записной книжки из Azure Synapse:

  1. Откройте Synapse Studio: войдите в Azure. Перейдите в рабочую область Azure Synapse и откройте Synapse Studio.
  2. Найдите записную книжку: в Synapse Studio найдите записную книжку, которую нужно экспортировать из раздела записных книжек рабочей области.
  3. Экспорт записной книжки:
    • Щелкните правой кнопкой мыши записную книжку, которую вы хотите экспортировать.
    • Выберите "Экспорт>записной книжки" (.ipynb).
    • Выберите папку назначения и укажите имя экспортированного файла записной книжки.
  4. После завершения экспорта файл записной книжки должен быть доступен для отправки.

Снимок экрана: экспорт Записной книжки Synapse.

Импорт экспортируемой записной книжки в Fabric:

  1. Доступ к рабочей области Fabric: вход в Fabric и доступ к рабочей области.
  2. Перейдите на Инжиниринг данных домашнюю страницу: как только в рабочей области Fabric перейдите на Инжиниринг данных домашнюю страницу.
  3. Импорт записной книжки:
    • Выберите "Импорт записной книжки". Вы можете импортировать одну или несколько существующих записных книжек с локального компьютера в рабочую область Fabric.
    • Найдите файлы записной книжки IPynb, скачанные из Azure Synapse Analytics.
    • Выберите файлы записной книжки и нажмите кнопку "Отправить".
  4. Откройте и используйте записную книжку: после завершения импорта можно открыть и использовать записную книжку в рабочей области Fabric.

После импорта записной книжки проверьте зависимости записной книжки:

  • Убедитесь, что используется та же версия Spark.
  • Если вы используете записные книжки, на которые ссылается ссылка, можно использовать msparkutils также в Fabric. Однако при импорте записной книжки, ссылающейся на другую, необходимо также импортировать ее. Рабочая область Fabric пока не поддерживает папки, поэтому любые ссылки на записные книжки в других папках должны быть обновлены. При необходимости можно использовать ресурсы записной книжки.
  • Если записная книжка использует определенные библиотеки и конфигурации пула, необходимо также импортировать эти библиотеки и (или) конфигурации.
  • Связанные службы, подключения источника данных и точки подключения.

Вариант 2. Использование API Fabric

Выполните следующие ключевые действия для миграции:

  • Предварительные требования.
  • Шаг 1. Экспорт записных книжек из Azure Synapse в OneLake (IPynb).
  • Шаг 2. Автоматически импортируйте записные книжки в Fabric с помощью API Fabric.

Необходимые компоненты

Предварительные требования включают действия, которые необходимо учитывать перед началом миграции записной книжки в Fabric.

Шаг 1. Экспорт записных книжек из рабочей области Azure Synapse

Основное внимание уделяется экспорту записных книжек из рабочей области Azure Synapse в OneLake в формате IPynb. Этот процесс выглядит следующим образом:

  • 1.1) Импорт записной книжки миграции в рабочую область Fabric . Эта записная книжка экспортирует все записные книжки из заданной рабочей области Azure Synapse в промежуточный каталог в OneLake. API Synapse используется для экспорта записных книжек.
  • 1.2) Настройте параметры в первой команде для экспорта записных книжек в промежуточное хранилище (OneLake). Следующий фрагмент кода используется для настройки параметров источника и назначения. Обязательно замените их собственными значениями.
# Azure config
azure_client_id = "<client_id>"
azure_tenant_id = "<tenant_id>"
azure_client_secret = "<client_secret>"

# Azure Synapse workspace config
synapse_workspace_name = "<synapse_workspace_name>"

# Fabric config
workspace_id = "<workspace_id>"
lakehouse_id = "<lakehouse_id>"
export_folder_name = f"export/{synapse_workspace_name}"
prefix = "" # this prefix is used during import {prefix}{notebook_name}

output_folder = f"abfss://{workspace_id}@onelake.dfs.fabric.microsoft.com/{lakehouse_id}/Files/{export_folder_name}"
  • 1.3) Запустите первые две ячейки записной книжки экспорта и импорта, чтобы экспортировать записные книжки в OneLake. После завершения ячеек создается эта структура папок в промежуточном выходном каталоге.

Снимок экрана: экспорт записной книжки в OneLake.

Шаг 2. Импорт записных книжек в Fabric

Шаг 2 заключается в том, что записные книжки импортируются из промежуточного хранилища в рабочую область Fabric. Этот процесс выглядит следующим образом:

  • 2.1) Проверьте конфигурации на шаге 1.2, чтобы убедиться, что указаны правильные значения рабочей области Fabric и префикса для импорта записных книжек.
  • 2.2) Запустите третью ячейку записной книжки экспорта и импорта, чтобы импортировать все записные книжки из промежуточного расположения.

Связанный контент