Перенос конфигураций Spark из Azure Synapse Analytics в Fabric
Apache Spark предоставляет множество конфигураций, которые можно настроить для улучшения возможностей в различных сценариях. В Azure Synapse Spark и Fabric Инжиниринг данных вы можете включить эти конфигурации или свойства, чтобы адаптировать интерфейс. В Fabric можно добавить конфигурации Spark в среду и использовать встроенные свойства Spark непосредственно в заданиях Spark. Чтобы переместить конфигурации пула Azure Synapse Spark в Fabric, используйте среду.
Рекомендации по настройке Spark см. в различиях между Azure Synapse Spark и Fabric.
Необходимые компоненты
- Если у вас еще нет, создайте рабочую область Fabric в клиенте.
- Если у вас еще нет среды, создайте среду в рабочей области.
Вариант 1. Добавление конфигураций Spark в настраиваемую среду
В среде можно задать свойства Spark и эти конфигурации применяются к выбранному пулу сред.
- Откройте Synapse Studio: войдите в Azure. Перейдите в рабочую область Azure Synapse и откройте Synapse Studio.
-
Найдите конфигурации Spark:
- Перейдите в раздел "Управление областью " и выберите пулы Apache Spark.
- Найдите пул Apache Spark, выберите конфигурацию Apache Spark и найдите имя конфигурации Spark для пула.
- Получение конфигураций Spark. Эти свойства можно получить, выбрав конфигурации представления или экспорт конфигурации (.txt/.conf/.json формат) из конфигураций и библиотек>Apache Spark.
- После настройки Spark добавьте настраиваемые свойства Spark в среду в Fabric:
- В среде перейдите к свойствам Spark Compute>Spark.
- Добавьте конфигурации Spark. Вы можете добавить каждую вручную или импортировать из .yml.
- Нажмите кнопку "Сохранить и опубликовать изменения".
Дополнительные сведения о добавлении конфигураций Spark в среду.