Перенос библиотек рабочей области и свойств Spark в среду по умолчанию
Среды Microsoft Fabric предоставляют гибкие конфигурации для выполнения заданий Spark. В среде можно выбрать разные среды выполнения Spark, настроить вычислительные ресурсы и установить библиотеки из общедоступных репозиториев или отправить локальные пользовательские библиотеки. Вы можете легко подключить среды к записным книжкам и определениям заданий Spark.
параметры рабочей области Инжиниринг данных и Обработка и анализ данных обновляются, чтобы включить среды Fabric. В рамках этого обновления Fabric больше не поддерживает добавление новых библиотек и свойств Spark в параметрах рабочей области. Вместо этого можно создать среду Fabric, настроить библиотеку и свойство в ней и присоединить ее в качестве среды рабочей области по умолчанию. После создания среды и установки ее в качестве значения по умолчанию можно перенести существующие библиотеки и свойства Spark в эту среду по умолчанию.
В этом руководстве описано, как перенести существующие библиотеки рабочей области и свойства Spark в среду.
Внимание
- Параметры рабочей области ограничены администраторами.
- Существующие параметры рабочей области остаются эффективными для записных книжек или определений заданий Spark, если к ним не подключена среда. Однако вы не можете вносить дальнейшие изменения в эти параметры. Мы НАСТОЯТЕЛЬНО РЕКОМЕНДУЕМ перенести существующие параметры в среду.
- Процесс миграции включает шаг, который окончательно удаляет все существующие конфигурации. Внимательно следуйте этим инструкциям. Нет способа вернуть файлы, если они удаляются случайно.
Подготовка файлов к миграции
В параметрах рабочей области просмотрите существующие конфигурации.
Запишите текущую версию среды выполнения .
Скачайте существующие конфигурации, выбрав "Скачать все файлы".
Содержимое загружается в виде разных файлов. Sparkproperties.yml содержит все пары значений ключей свойств Spark. Файл Publiclibrary.yml содержит все определения общедоступной библиотеки. Все пользовательские пакеты, отправленные вами или вашей организацией, загружаются в виде файлов по одному.
После скачивания файлов можно перенести.
Создание и настройка среды
Создайте среду в центре создания и списка рабочих областей. После создания новой среды откроется страница "Среда".
На вкладке "Главная" среды убедитесь, что версия среды выполнения совпадает с существующей средой выполнения рабочей области.
Пропустите этот шаг, если у вас нет общедоступных библиотек в параметрах рабочей области. Перейдите к разделу "Общедоступные библиотеки " и выберите " Добавить" из .yml на ленте. Отправьте Publiclibrary.yml, скачанные из существующих параметров рабочей области.
Пропустите этот шаг, если у вас нет пользовательских библиотек в параметрах рабочей области. Перейдите в раздел "Пользовательские библиотеки" и выберите " Отправить " на ленте. Отправьте файлы пользовательской библиотеки, скачанные из существующих параметров рабочей области.
Пропустите этот шаг, если у вас нет свойств Spark в параметрах рабочей области. Перейдите к разделу свойств Spark и выберите " Отправить " на ленте. Отправьте файл Sparkproperties.yml, скачанный из существующих параметров рабочей области.
Снова выберите "Опубликовать " и внимательно просмотрите изменения. Если все правильно, опубликуйте изменения. Публикация занимает несколько минут.
После завершения публикации вы успешно настроили среду.
Включение и выбор среды по умолчанию в параметрах рабочей области
Внимание
Все существующие конфигурации будут удалены при выборе параметра "Включить среду". Прежде чем продолжить, убедитесь, что вы скачали все существующие конфигурации и установили их в среде.
Перейдите к параметрам рабочей области ->Инжиниринг данных/Science ->Environment и выберите "Включить среду". Это действие удаляет существующие конфигурации и начинает работу среды на уровне рабочей области.
Следующий экран отображается при успешном удалении существующих конфигураций.
Переместите переключатель среды "Настройка" в положение "Вкл .". Этот параметр позволяет подключить среду как рабочую область по умолчанию.
Выберите среду, настроенную на предыдущих шагах в качестве рабочей области по умолчанию, и нажмите кнопку "Сохранить".
Убедитесь, что новая среда теперь отображается в среде по умолчанию для рабочей области на странице параметров Spark.
