Создание, настройка и использование среды в Microsoft Fabric
Среды Microsoft Fabric — это консолидированный элемент для всех параметров оборудования и программного обеспечения. В среде можно выбрать разные среды выполнения Spark, настроить вычислительные ресурсы, установить библиотеки из общедоступных репозиториев или локального каталога и многое другое.
В этом руководстве представлен обзор создания, настройки и использования среды.
Создать среду
Существует несколько точек входа при создании новых сред.
Стандартная точка входа
В центре создания или в разделе "Создать " рабочей области можно найти вариант создания новой среды, например других элементов Fabric.
Создание во время выбора
Если выбрать среду для записной книжки, определение задания Spark и рабочую область по умолчанию, можно найти вариант создания новой среды.
Настройка среды
В среде есть три основных компонента, которые представляют собой вычислительные ресурсы Spark, которые включают среду выполнения Spark, библиотеки и ресурсы. Конфигурации вычислений и библиотек Spark необходимы для эффективной публикации, а ресурсы — это общее хранилище, которое может измениться в режиме реального времени. Дополнительные сведения см. в разделе "Сохранение и публикация изменений ".
Настройка вычислений Spark
Для среды можно выбрать разные среды выполнения Spark, каждая из которых имеет собственные параметры по умолчанию и предварительно установленные пакеты. Чтобы просмотреть доступные среды выполнения, перейдите на вкладку "Главная " среды и выберите "Среда выполнения". Выберите среду выполнения, которая лучше всего подходит для ваших потребностей.
Внимание
- При обновлении среды выполнения с существующими конфигурациями или библиотеками необходимо повторно опубликовать содержимое на основе обновленной версии среды выполнения.
- Если существующие конфигурации или библиотеки несовместимы с новой обновленной версией среды выполнения, публикация завершается ошибкой. Необходимо удалить несовместимые конфигурации или библиотеки и снова опубликовать среду.
Вычислительная среда Microsoft Fabric Spark обеспечивает беспрецедентную скорость и эффективность работы в Spark и с учетом требований. В вашей среде можно выбрать различные пулы, созданные администраторами рабочей области и администраторами емкости. Вы можете дополнительно настроить конфигурации и управлять свойствами Spark, чтобы быть эффективными в сеансах Spark. Дополнительные сведения см. в разделе "Параметры конфигурации вычислений Spark" в средах Fabric.
Управление библиотеками
За исключением встроенных библиотек, предоставляемых каждой средой выполнения Spark, среда Fabric позволяет устанавливать библиотеки из общедоступных источников или отправлять пользовательские библиотеки, созданные вами или вашей организацией. После успешной установки библиотек они будут доступны в сеансах Spark. Дополнительные сведения см. в разделе "Управление библиотеками в средах Fabric". Вы также можете найти рекомендации по управлению библиотеками в Microsoft Fabric.Управление библиотеками Apache Spark в Microsoft Fabric
Ресурсы
Раздел "Ресурсы" в среде упрощает управление небольшими ресурсами на этапе разработки. Файлы, отправленные в среду, доступны для записных книжек при присоединении. Дополнительные сведения см. в разделе "Управление ресурсами в среде Fabric"
Сохранение и публикация изменений
На вкладке "Главная" ленты среды можно легко найти две кнопки "Сохранить" и "Опубликовать". Они будут активированы при наличии несохраненных или неопубликованных изменений в разделах вычислений Библиотек и Spark.
Вы также увидите баннер с запросом этих двух кнопок, когда в разделах вычислений Библиотеки и Spark существуют те же функции, что и те, которые находятся на ленте.
- Если обновить или оставить браузер открытым, изменения будут потеряны. Нажмите кнопку "Сохранить", чтобы убедиться, что изменения записываются перед выходом. Сохранение не применяет конфигурацию, но кэширует их в системе.
- Выберите "Опубликовать" , чтобы применить изменения к библиотекам и вычислениям Spark. Страница "Ожидающие изменения" появится для окончательной проверки перед публикацией. Затем выберите "Опубликовать все ", чтобы инициировать конфигурацию в среде Fabric. Этот процесс может занять некоторое время, особенно если изменения библиотеки связаны.
- Чтобы отменить процесс публикации, выберите "Просмотр хода выполнения " в баннере и "Отмена операции".
- Уведомление появляется после завершения публикации. Уведомление об ошибке возникает, если во время процесса возникли проблемы.
Примечание.
Среда принимает только одну публикацию за раз. Во время текущей публикации никакие дополнительные изменения не могут быть внесены в библиотеки или раздел вычислений Spark. Публикация не влияет на добавление, удаление или редактирование файлов и папок в разделе "Ресурсы ". Действия по управлению ресурсами находятся в режиме реального времени, публикация не блокирует изменения в разделе ресурсов.
Присоединение среды
Среда Microsoft Fabric может быть присоединена к рабочим областям Инжиниринг данных/Science или записным книжкам и определениям заданий Spark.
Подключение среды как рабочей области по умолчанию
Найдите вкладку "Среда", выбрав параметр рабочей области ->Инжиниринг данных/Science ->Spark.
Новые рабочие области
Когда вы работаете в рабочей области, которая является новой или не имеет библиотеки и параметров Spark, появится следующий экран параметров Spark.
Администраторы рабочей области могут определить рабочую нагрузку по умолчанию для всей рабочей области. Значения, настроенные здесь, эффективны для записных книжек и определений заданий Spark, которые присоединяются к параметрам рабочей области.
Переключатель среды set по умолчанию может улучшить взаимодействие с пользователем. По умолчанию этот переключатель имеет значение Off. Если для рабочей области по умолчанию не требуется свойство Spark или библиотека по умолчанию, администраторы могут определить среду выполнения Spark в этом случае. Однако если администратор хочет подготовить вычислительные ресурсы и библиотеки Spark по умолчанию для рабочей области, он может переключиться на включено и легко подключить среду в качестве рабочей области по умолчанию. Этот параметр делает все конфигурации в среде эффективными в качестве параметров рабочей области.
Рабочие области с существующей библиотекой или свойствами Spark
Функция среды — это большое обновление до раздела Инжиниринг данных/Обработка и анализ данных в параметрах рабочей области. В рамках этого обновления Fabric больше не поддерживает управление библиотеками и добавление новых свойств Spark на уровне рабочей области. Вы можете перенести существующие библиотеки и свойства Spark в среду и присоединить его в качестве рабочей области по умолчанию. Дополнительные сведения см. в разделе "Миграция библиотек рабочей области" и свойств Spark в среду по умолчанию.
Присоединение среды к записной книжке или определению задания Spark
Меню "Среда" отображается на вкладках "Главная" в записной книжке и в определении задания Spark. Доступные среды перечислены в меню. Если выбрать среду, вычислительные ресурсы и библиотеки Spark, настроенные в ней, эффективны после запуска сеанса Spark.
Примечание.
Если переключиться на другую среду во время активного сеанса, вновь выбранная среда не будет входить в силу до следующего сеанса.
Предоставление общего доступа к существующей среде
Microsoft Fabric поддерживает общий доступ к элементу с различным уровнем разрешений.
При совместном использовании элемента среды получатели автоматически получают разрешение на чтение. С помощью этого разрешения они могут изучить конфигурации среды и подключить его к записным книжкам или заданиям Spark. Для плавного выполнения кода необходимо предоставить разрешения на чтение для подключенных сред при совместном использовании записных книжек и определений заданий Spark.
Кроме того, вы можете предоставить общий доступ к среде с разрешениями общего доступа и редактирования . Пользователи с разрешением общего доступа могут продолжать совместно использовать среду с другими пользователями. Между тем получатели с разрешением на изменение могут обновить содержимое среды.