Установка библиотек из тома
В этой статье описаны действия, необходимые для отправки библиотек или requirements.txt файлов в тома и их установки в кластеры в Azure Databricks. Вы можете установить библиотеки на вычислительные ресурсы всех целей или вычисления заданий.
Дополнительные сведения о томах см. в разделе "Что такое тома каталога Unity?". Сведения о работе с каталогом Unity, включая управление доступом и создание объектов, см. в разделе "Что такое каталог Unity?".
Полные сведения о совместимости библиотек см. в библиотеках с областью действия кластера.
Загрузка библиотек в том
Чтобы загрузить библиотеку в том:
- Щелкните каталог в левой боковой панели.
- В дереве обозревателя каталогов перейдите к тому.
- Нажмите кнопку +Добавить, а затем выберите "Отправить в этот том".
- Откроется диалоговое окно "Отправка файлов в том ". Перетащите и удалите или перейдите к файлам, которые вы хотите отправить, и нажмите кнопку " Отправить".
Установка библиотек из тома в кластер
При установке библиотеки в кластер все записные книжки, работающие в этом кластере, имеют доступ к библиотеке.
Чтобы установить библиотеку из тома в кластер, выполните приведенные действия.
- Щелкните "Вычисления" на левой боковой панели.
- Щелкните имя кластера в списке кластеров.
- Перейдите на вкладку "Библиотеки ".
- Щелкните Установить новый. Откроется диалоговое окно "Установка библиотеки ".
- Для источника библиотеки выберите тома.
- Отправьте библиотеку или файл requirements.txt, перейдите к библиотеке или requirements.txt файлу в браузере томов или введите его расположение в поле "Путь к файлам томов", например:
/Volumes/<catalog>/<schema>/<volume>/<path-to-library>/<file-name>.<ext>
- Щелкните Установить.
Добавление зависимых библиотек в задачи рабочего процесса из тома
Чтобы настроить задачу рабочего процесса с зависимой библиотекой из тома:
- Выберите существующую задачу в рабочем процессе или создайте новую задачу.
- Рядом с зависимыми библиотеками нажмите кнопку +Добавить.
- В диалоговом окне "Добавление зависимой библиотеки" выберите тома для источника библиотеки.
- Отправьте библиотеку или файл requirements.txt, перейдите к библиотеке или requirements.txt файлу в браузере томов или введите его расположение в поле "Путь к файлам томов", например:
/Volumes/<catalog>/<schema>/<volume>/<path-to-library>/<file-name>.<ext>
- Щелкните Установить.
Установка библиотек из тома в записную книжку
Библиотеки Python можно установить непосредственно в записную книжку для создания пользовательских сред Python, относящихся к записной книжке. Например, можно использовать определенную версию библиотеки в записной книжке, не влияя на других пользователей в кластере, которые могут потребовать другую версию той же библиотеки. Дополнительные сведения см . в библиотеках с областью действия записной книжки.
При установке библиотеки в записную книжку только текущая записная книжка и все задания, связанные с этой записной книжкой, имеют доступ к этой библиотеке. На другие записные книжки, подключенные к тому же кластеру, это не повлияет.
В следующем коде показано, как установить файл колеса Python из тома в записную книжку в виде библиотеки с областью действия записной книжки.
%pip install /Volumes/<catalog>/<schema>/<volume>/<path-to-library>/mypackage-0.0.1-py3-none-any.whl
or
%pip install /Volumes/<catalog>/<schema>/<volume>/<path-to-project>/requirements.txt