Управление библиотеками в средах Fabric
Среды Microsoft Fabric предоставляют гибкие конфигурации для выполнения заданий Spark. Библиотеки предоставляют повторно используемый код, который разработчики хотят включить в свою работу. Кроме встроенных библиотек, которые входят в каждую среду выполнения Spark, можно установить общедоступные и пользовательские библиотеки в средах Fabric. Вы можете легко подключить среды к записным книжкам и определениям заданий Spark.
Примечание.
Изменение версии определенного пакета может потенциально нарушить другие пакеты, которые зависят от него. Например, понижение azure-storage-blob может привести к проблемам с Pandas и различными другими библиотеками, которые полагаются Pandasна , в том числе mssparkutils, fsspec_wrapperи notebookutils.
Вы можете просмотреть список предварительно установленных пакетов и их версий для каждой среды выполнения.
Ознакомьтесь с дополнительными параметрами и рекомендациями по использованию библиотек в Microsoft Fabric: управление библиотеками Apache Spark в Microsoft Fabric
Общедоступные библиотеки
Общедоступные библиотеки создаются из репозиториев, таких как PyPI и Conda, которые в настоящее время поддерживает Fabric.
Добавление новой общедоступной библиотеки
Чтобы добавить новую общедоступную библиотеку, выберите источник и укажите имя и версию библиотеки. Кроме того, можно отправить спецификацию среды Conda .yml файл, чтобы указать общедоступные библиотеки. Содержимое отправленного .yml файла извлекается и добавляется в список.
Примечание.
Функция автоматического завершения имен библиотек во время добавления ограничена наиболее популярными библиотеками. Если библиотека, которую вы хотите установить, не находится в этом списке, вы не получите запрос автозавершения. Вместо этого найдите библиотеку непосредственно в PyPI или Conda, введя полное имя. Если имя библиотеки допустимо, отображаются доступные версии. Если имя библиотеки недопустимо, вы получите предупреждение о том, что библиотека не существует.
Добавление общедоступных библиотек в пакет
Среды поддерживают отправку YAML-файла для управления несколькими общедоступными библиотеками в пакете. Содержимое YAML извлекается и добавляется в список общедоступной библиотеки.
Примечание.
Пользовательские каналы conda в YAML-файле в настоящее время не поддерживаются. Распознаются только библиотеки из PyPI и conda.
Фильтрация общедоступных библиотек
Введите ключевые слова в поле поиска на странице "Общедоступные библиотеки ", чтобы отфильтровать список общедоступных библиотек и найти нужный.
Обновление общедоступных библиотек
Чтобы обновить версию существующей общедоступной библиотеки, перейдите к envronment и откройте общедоступные библиотеки или пользовательские библиотеки. Выберите необходимую библиотеку, выберите раскрывающийся список версий и обновите ее версию.
Удаление общедоступных библиотек
Параметр корзины для каждой библиотеки отображается при наведении указателя мыши на соответствующую строку. Кроме того, можно удалить несколько общедоступных библиотек, выбрав их, а затем выбрав " Удалить " на ленте.
Просмотр зависимостей
Каждая общедоступная библиотека имеет различные зависимости. Параметр зависимости представления отображается при наведении указателя мыши на соответствующую строку.
Экспорт в yaml
Fabric предоставляет возможность экспортировать полный список общедоступных библиотек в ФАЙЛ YAML и скачать его в локальный каталог.
Пользовательские библиотеки
Пользовательские библиотеки ссылаются на код, созданный вами или вашей организацией. Fabric поддерживает файлы пользовательской библиотеки в форматах WHL, .jar и .tar.gz.
Примечание.
Fabric поддерживает только .tar.gz файлы для языка R. Используйте формат WHL-файла для языка Python.
Отправка пользовательской библиотеки
Пользовательские библиотеки можно отправить из локального каталога в среду Fabric.
Удаление пользовательской библиотеки
При наведении указателя мыши на соответствующую строку отображается параметр корзины для каждой библиотеки. Кроме того, можно удалить несколько пользовательских библиотек, выбрав их, а затем выбрав " Удалить " на ленте.
Скачивание всех пользовательских библиотек
Если щелкнуть, пользовательские библиотеки скачивают по одному в локальный каталог загрузки по умолчанию.