Управление библиотеками в Spark

Важный

Azure HDInsight на AKS прекращен 31 января 2025 г. Узнайте больше в этом объявлении.

Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.

Важный

Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и подписывайтесь на Azure HDInsight Communityдля получения дополнительных обновлений.

Цель управления библиотеками — сделать открытый или пользовательский код доступным для записных книжек и заданий, выполняемых в кластерах. Библиотеки Python можно отправлять из репозиториев PyPI. В этой статье рассматривается управление библиотеками в пользовательском интерфейсе кластера. Azure HDInsight в AKS уже включает множество общих библиотек в кластере. Чтобы узнать, какие библиотеки включены в HDI в кластере AKS, просмотрите страницу управления библиотекой.

Установка библиотек

Библиотеки можно установить в двух режимах:

• Установлен в кластере
• Область применения ноутбука

Установлен кластер

Все записные книжки, работающие в кластере, могут использовать библиотеки кластера. Вы можете установить библиотеку кластера непосредственно из общедоступного репозитория, например PyPi. Отправка из репозиториев Maven, отправка пользовательских библиотек из облачного хранилища приведена в схеме.

Область действия блокнота

Библиотеки с областью действия записной книжки, доступные для Python и Scala, которые позволяют устанавливать библиотеки и создавать среду, ограниченную сеансом записной книжки. Эти библиотеки не влияют на другие записные книжки, работающие в одном кластере. Библиотеки, привязанные к записной книжке, не сохраняются и должны быть переустановлены при каждом сеансе.

Заметка

Используйте библиотеки для записной книжки, если требуется настраиваемая среда для конкретной записной книжки.

Режимы установки библиотеки

PyPI: получение библиотек из репозитория PyPI с открытым исходным кодом, указав имя библиотеки и версию в пользовательском интерфейсе установки.

Просмотр установленных библиотек

1. На странице "Обзор" перейдите к менеджеру библиотек.

   

2. В Диспетчере кластеров Spark щелкните Менеджер библиотек.

3. Список установленных библиотек можно просмотреть здесь.

   

Добавить виджет библиотеки

PyPI

1. На вкладке PyPI введите имя пакета и версию пакета ..

2. Нажмите Установить.

   

Удаление библиотек

Если вы решили больше не использовать библиотеки, вы можете легко удалить пакеты библиотек с помощью кнопки удаления на странице управления библиотекой.

1. Выберите и щелкните имя библиотеки

   

2. Щелкните Удалить в мини-приложении

   

   Заметка

   • Пакеты, установленные из Jupyter Notebook, можно удалить только из Jupyter Notebook.
   • Пакеты, установленные из диспетчера библиотек, можно удалить только из диспетчера библиотек.
   • Чтобы обновить библиотеку или пакет, удалите текущую версию библиотеки и переустановите требуемую версию библиотеки.
   • Установка библиотек из Jupyter Notebook является специфичной для сеанса. Это не постоянно.
   • Установка тяжелых пакетов может занять некоторое время из-за их размера и сложности.