Выполнение команд оболочки в веб-терминале Azure Databricks

Статья
01/22/2025

Веб-терминал Azure Databricks предоставляет удобный и высоко интерактивный способ выполнения команд оболочки в интерфейсе командной строки (CLI), включая команды CLI Databricks, для выполнения действий над объектами Databricks программным способом. Это особенно полезно для расширенных вариантов использования, таких как пакетные операции с несколькими файлами, которые существующие пользовательские интерфейсы (UIs) могут не полностью поддерживаться.

Несколько пользователей могут использовать веб-терминал на одном вычислении.

Для выполнения следующих действий можно использовать веб-терминал:

Внесите быстрые изменения в файл с помощью Vim или Emacs.
Мониторинг использования ресурсов с помощью таких команд, как htop (использование кластера) или nvidia-smi (использование GPU).
Запустите скрипты Python, отличные от Spark.
Выполнение операций с файлами с помощью команд оболочки, таких как mv и mkdir.
Установка библиотек и управление ими на вычислительных ресурсах.
Используйте интерфейс командной строки Databricks для автоматизации различных аспектов Azure Databricks.

Требования

Предупреждение

Azure Databricks прокси-сервер веб-терминала из порта 7681 на драйвере Spark для вычислений. Этот веб-прокси предназначен только для веб-терминала. Если порт занят при запуске вычислений или имеется какой-то конфликт, веб-терминал может не работать должным образом. Если другие веб-службы запускаются через порт 7681, пользователи вычислений могут быть подвержены потенциальным эксплойтам безопасности. Ни Databricks, ни Корпорация Майкрософт не несет ответственности за любые проблемы, возникающие при установке неподдерживаемого программного обеспечения на вычислительных ресурсах.

Веб-терминал по умолчанию отключен для всех пользователей рабочей области. Чтобы включить его, см. статью "Включить веб-терминал".
РАЗРЕШЕНИЕ CAN ATTACH TO для вычислительных ресурсов.
Вычислительные ресурсы должны использовать режим доступа отдельного пользователя или без общей изоляции. Для Databricks Runtime 15.1 и более поздних версий также поддерживается режим доступа с set до Shared.

Запуск веб-терминала

Вы можете запустить веб-терминал на странице сведений о вычислениях или из записной книжки.

Из записной книжки

Чтобы запустить веб-терминал из записной книжки, выполните следующие действия.

Подключите записную книжку к вычислительным ресурсам.
В нижней части правой боковой панели записной книжки щелкните значок открытой нижней панели.
Кроме того, щелкните раскрывающийся список подключенных вычислений, наведите указатель мыши на подключенные вычислительные ресурсы, а затем выберите веб-терминал.

Веб-терминал откроется на панели в нижней части экрана. Кнопки в правом верхнем углу панели позволяют:

Откройте новый сеанс терминала на новой вкладке .
Перезагрузите сеанс терминала.
Закройте нижнюю панель . Чтобы открыть панель, щелкните внизу правой боковой панели.

На странице сведений о вычислениях

Чтобы запустить веб-терминал на странице сведений о вычислениях, выполните следующие действия.

На боковой панели рабочей области щелкните " Вычисления".
На вкладке "Все назначения вычислений " щелкните имя вычисления.
Нажмите кнопку " Пуск" , чтобы запустить вычисление.
На вкладке "Приложения" щелкните веб-терминал.

Откроется новая вкладка с пользовательским интерфейсом веб-терминала и запросом Bash.

Использование веб-терминала

В веб-терминале можно выполнять команды из корневого каталога в контейнере узла вычислительного драйвера.

У каждого пользователя может быть открыто до 100 активных сеансов веб-терминала (вкладок). При простое сеансов веб-терминала время ожидания может быть превышено, и тогда веб-приложение веб-терминала будет подключено заново, что приведет к новому процессу оболочки. Databricks рекомендует использовать tmux для сохранения сеанса Bash.

Выполнение команд CLI Databricks

Вы также можете использовать веб-терминал для выполнения команд ИНТЕРФЕЙСА командной строки Databricks. Доступный интерфейс командной строки всегда является последней версией, а проверка подлинности основана на текущем пользователе. Вычислительные ресурсы должны соответствовать следующим требованиям:

Кластер должен установить Databricks Runtime 15.0 или более поздней версии.
Рабочая область не должна быть включена для Приватный канал.

Запустите веб-терминал и выполните следующую команду, чтобы вывести сведения о текущем пользователе:

   databricks current-user me

Кроме того, доступны команды пакета, которые позволяют создавать пакеты ресурсов Databricks и управлять ими непосредственно из веб-терминала в рабочей области Databricks. Например, чтобы создать, развернуть и запустить простой пакет с помощью шаблона по умолчанию:

В корневом каталоге веб-терминала перейдите к домашней рабочей области и выполните следующую команду bundle init:
```
cd /Workspace/Users/someone@example.com
databricks bundle init
```
Примите запросы шаблона по умолчанию, а затем перейдите в каталог пакета и разверните его:
```
cd my_project
databricks bundle deploy
```
Развернутый my_project пакет можно просмотреть в пользовательском интерфейсе рабочей области Databricks.
Наконец, запустите задание по умолчанию в пакете:
```
databricks bundle run my_project_job
```
Перейдите к запуску заданий, чтобы просмотреть выполняемую работу.

Настройка веб-терминала

Вы можете set постоянные конфигурации для веб-терминала с помощью файлов конфигурации .bashrc.

Databricks автоматически считывает файлы с именем .bashrc из домашней папки файловой системы рабочей области. Параметры из этих файлов автоматически активируются при каждом запуске нового сеанса терминала.

Если вы хотите создать другие файлы (например, Zshrc) для веб-терминала, создайте их из файла bashrc, чтобы сохранить конфигурацию.

Сохраните все файлы конфигурации в папке рабочей области where их можно настроить с помощью текстового редактора.

Ограничения

Azure Databricks не поддерживает выполнение заданий Spark из веб-терминала.
Веб-терминал Azure Databricks недоступен в следующих типах вычислений:
- Вычисление задания
- Бессерверные вычисления
- Вычисление запущено с переменной среды DISABLE_WEB_TERMINAL=trueset.
- Вычислительные задачи, запущенные с режимом доступа set для общей в Databricks Runtime версии ниже 15.1. Веб-терминал доступен на общих вычислительных ресурсах для Databricks Runtime 15.1 и более поздних версий.
- Запуск вычислений с конфигурацией Spark spark.databricks.pyspark.enableProcessIsolationset до true.
С момента начальной загрузки страницы действует жесткое ограничение limit в 12 часов, после чего любое подключение, даже если оно активно, будет прекращено. Вы можете использовать команду refresh в веб-терминале для повторного подключения. Databricks рекомендует использовать tmux для сохранения сеанса оболочки.
Вычислительные ресурсы ARM не могут использовать веб-терминалы для доступа к файлам рабочей области, включая файлы в папках Git.
При включении служб контейнеров Docker веб-терминал отключается.

Поделиться через