Перенос библиотек Spark из Azure Synapse в Fabric
Пул Azure Synapse Spark предлагает различные параметры веб-канала и пользовательской библиотеки. В Fabric каждая среда выполнения поставляется с предустановленным набором библиотек (встроенные библиотеки). Однако в зависимости от сценариев и конкретных потребностей можно также включить другие библиотеки с помощью библиотек среды и встроенных библиотек. Чтобы переместить библиотеки пулов Azure Synapse Spark в Fabric, используйте библиотеки среды.
Рекомендации по библиотеке Spark см. в различиях между Azure Synapse Spark и Fabric.
Необходимые компоненты
- Если у вас еще нет, создайте рабочую область Fabric в клиенте.
- Если у вас еще нет среды, создайте среду в рабочей области.
Вариант 1. Добавление библиотек Spark в настраиваемую среду
Библиотеки пула Spark можно переместить в среду следующим образом:
- Откройте Synapse Studio: войдите в Azure. Перейдите в рабочую область Azure Synapse и откройте Synapse Studio.
-
Найдите библиотеки Spark:
- Перейдите в раздел "Управление областью " и выберите пулы Apache Spark.
- Найдите пул Apache Spark, выберите пакеты и найдите библиотеки Spark для пула.
- Получение библиотек Spark: поиск пакетов requirements.txt, environment.yml или рабочих областей, установленных в пуле. Получите список установленных библиотек в пуле.
- После создания библиотек Spark добавьте пользовательские библиотеки Spark в среду в Fabric. В среде перейдите в библиотеки и добавьте библиотеки:
- Из общедоступных библиотек можно отправить файл .yml. Вы также можете установить библиотеки с помощью PyPI и Conda.
- Из пользовательских библиотек можно установить библиотеки с помощью файлов .jar/.whl/.tar.gz.
- Нажмите кнопку "Сохранить и опубликовать изменения".
Дополнительные сведения о добавлении библиотек Spark в среду.
Примечание.
Обратите внимание, что установка библиотеки может занять некоторое время.