Параметры конфигурации вычислений Spark в средах Fabric
Возможности разработки и обработки и анализа данных Microsoft Fabric работают на полностью управляемой вычислительной платформе Spark. Эта платформа предназначена для достижения непревзойденной скорости и эффективности. Он включает начальные пулы и настраиваемые пулы.
Среда Fabric содержит коллекцию конфигураций, включая свойства вычислений Spark, которые позволяют пользователям настраивать сеанс Spark после подключения к записным книжкам и заданиям Spark. С помощью среды вы гибко настраиваете конфигурации вычислений для выполнения заданий Spark. В среде раздел вычислений позволяет настроить свойства уровня сеанса Spark для настройки памяти и ядер исполнителей на основе требований к рабочей нагрузке. Свойства Spark, установленные через spark.conf.set, управляют параметрами уровня приложения и не связаны с переменными среды.
Администраторы рабочей области могут включать или отключать настройки вычислительных процессов с помощью переключателя Настройки конфигурации вычислений для элементов на вкладке Пул в разделе Data Engineering/Science на экране параметров рабочей области.
Администраторы рабочей области могут делегировать изменения конфигураций вычислительных ресурсов по умолчанию на уровне сеанса в среде Fabric участникам и соавторам, включив этот параметр.
Если администратор рабочей области отключает этот параметр в параметрах рабочей области, раздел вычислений среды отключен, а конфигурации вычислений пула по умолчанию для рабочей области используются для выполнения заданий Spark.
Настройка свойств вычислений уровня сеанса в среде
Как пользователь, вы можете выбрать пул для среды из списка пулов, доступных в рабочей области Fabric. Администратор рабочей области Fabric создает начальный пул по умолчанию и настраиваемые пулы.
После выбора пула в разделе вычислений можно настроить ядра и память для исполнителей в пределах размеров узлов и ограничений выбранного пула.
Например: вы выбираете пользовательский пул среды с большим размером узла, который составляет 16 виртуальных ядер Spark. Затем можно выбрать количество ядер для драйвера или исполнителя: 4, 8 или 16, в зависимости от требований уровня задания. Для памяти, выделенной драйверам и исполнителям, можно выбрать 28 г, 56 г или 112 г, которые находятся в пределах ограничения памяти большого узла.
Дополнительные сведения о размерах вычислений Spark и их ядрах или параметрах памяти см. в разделе Что такое вычисления Spark в Microsoft Fabric?.