Spouštění příkazů prostředí ve webovém terminálu Azure Databricks

Článek
01/21/2025

Webový terminál Azure Databricks nabízí pohodlný a interaktivní způsob, jak spouštět příkazy prostředí v rozhraní příkazového řádku (CLI), včetně příkazů rozhraní příkazového řádku Databricks, a provádět akce s objekty Databricks programově. Je zvlášť užitečné pro pokročilé případy použití, jako jsou dávkové operace s více soubory, které stávající uživatelská rozhraní (UI) nemusí plně podporovat.

Na jednom výpočetním prostředí může webový terminál používat více uživatelů.

K provedení následujících kroků můžete použít webový terminál:

Proveďte rychlé úpravy souborů pomocí Vim nebo Emacs.
Monitorování využití prostředků pomocí příkazů, jako htop jsou (využití clusteru) nebo nvidia-smi (využití GPU).
Spusťte skripty Pythonu bez Sparku.
Provádění operací se soubory pomocí příkazů prostředí, jako mvmkdirjsou a .
Nainstalujte a spravujte knihovny na výpočetní prostředky.
Pomocí rozhraní příkazového řádku Databricks můžete automatizovat různé aspekty Azure Databricks.

Požadavky

Upozorňující

Proxy serveru Webového terminálu Azure Databricks z portu 7681 na ovladači Spark výpočetních prostředků. Tento webový proxy server je určený pouze pro webový terminál. Pokud je port obsazen při spuštění výpočetních prostředků nebo dojde ke konfliktu, webový terminál nemusí fungovat podle očekávání. Pokud se na portu 7681 spustí jiné webové služby, můžou být výpočetní uživatelé vystaveni potenciálním zneužitím zabezpečení. Databricks ani Microsoft nejsou zodpovědné za všechny problémy, které vyplývají z instalace nepodporovaného softwaru na výpočetní prostředky.

Webový terminál je ve výchozím nastavení zakázaný pro všechny uživatele pracovního prostoru. Pokud ho chcete povolit, přečtěte si téma Povolení webového terminálu.
MŮŽE SE PŘIPOJIT K oprávnění k výpočetním prostředkům.
Výpočetní prostředky musí používat režimpřístupu jednoho uživatele nebo žádná sdílená izolace. Pro Databricks Runtime 15.1 a novější se podporuje také režim přístupu nastavený na sdílený.

Spuštění webového terminálu

Webový terminál můžete spustit ze stránky podrobností výpočetních prostředků nebo z poznámkového bloku.

Z poznámkového bloku

Spuštění webového terminálu z poznámkového bloku:

Připojte poznámkový blok k výpočetním prostředkům.
V dolní části pravého bočního panelu poznámkového bloku klikněte na Open bottom panel in notebookikonu Otevřít dolní panel .
Případně klikněte na připojený rozevírací seznam výpočetních prostředků, najeďte myší na připojené výpočetní prostředky a potom klikněte na webový terminál.

Webový terminál se otevře na panelu v dolní části obrazovky. Tlačítka v pravém horním rohu panelu umožňují:

Otevřete novou relaci terminálu na nové kartě .
Znovu načtěte relaci terminálu .
Zavřete dolní panel . Pokud chcete panel znovu otevřít, klikněte v dolní části pravého bočního panelu.

Na stránce s podrobnostmi o výpočetních prostředcích

Spuštění webového terminálu ze stránky s podrobnostmi o výpočetních prostředcích:

Na bočním panelu pracovního prostoru klikněte na Compute.
Na kartě Výpočetní prostředky pro všechny účely klikněte na název výpočetního objektu.
Kliknutím na Start spustíte výpočetní prostředky.
Na kartě Aplikace klikněte na Webový terminál.

Otevře se nová karta s uživatelským rozhraním webového terminálu a výzvou Bash.

Použití webového terminálu

Ve webovém terminálu můžete spouštět příkazy z kořenového adresáře v kontejneru uzlu výpočetního ovladače.

Každý uživatel může mít otevřeno až 100 aktivních relací webového terminálu (karet). Nečinné relace webového terminálu můžou vyprstit časový limit a webová aplikace webového terminálu se znovu připojí, což vede k novému procesu prostředí. Pokud chcete zachovat relaci Bash, doporučuje Databricks používat tmux.

Spuštění příkazů rozhraní příkazového řádku Databricks

Ke spuštění příkazů Rozhraní příkazového řádku Databricks můžete použít také webový terminál. Dostupné rozhraní příkazového řádku je vždy nejnovější verze a ověřování vychází z aktuálního uživatele. Výpočetní prostředky musí splňovat následující požadavky:

Cluster musí mít nainstalovaný Databricks Runtime 15.0 nebo vyšší.
Pro službu Private Link nesmí být povolený pracovní prostor.

Spusťte webový terminál a spuštěním následujícího příkazu vypíšete informace o aktuálním uživateli:

   databricks current-user me

K dispozici jsou také příkazy sady prostředků, které umožňují vytvářet a spravovat sady prostředků Databricks přímo z webového terminálu v pracovním prostoru Databricks. Pokud například chcete vytvořit, nasadit a spustit jednoduchou sadu pomocí výchozí šablony:

V kořenovém adresáři webového terminálu přejděte do domovské stránky pracovního prostoru a spusťte bundle init:
```
cd /Workspace/Users/someone@example.com
databricks bundle init
```
Přijměte výchozí výzvy šablony a pak přejděte do adresáře sady prostředků a nasaďte ji:
```
cd my_project
databricks bundle deploy
```
Nasazenou my_project sadu můžete zobrazit v uživatelském rozhraní pracovního prostoru Databricks.
Nakonec spusťte výchozí úlohu v sadě:
```
databricks bundle run my_project_job
```
Přejděte do spuštění úloh a zobrazte spuštěnou úlohu.

Konfigurace webového terminálu

Trvalé konfigurace webového terminálu můžete nastavit pomocí konfiguračních souborů .bashrc.

Databricks automaticky získává soubory s názvem .bashrc z domovské složky systému souborů vašeho pracovního prostoru. Nastavení z těchto souborů se automaticky aktivuje při každém spuštění nové relace terminálu.

Pokud chcete zdrojovat jakékoli jiné soubory (například .zshrc) pro prostředí webového terminálu, vytvořte je ze souboru .bashrc, aby se zachovala konfigurace.

Uložte všechny konfigurační soubory do složky pracovního prostoru, kde je můžete nakonfigurovat pomocí textového editoru.

Omezení

Azure Databricks nepodporuje spouštění úloh Sparku z webového terminálu.
Webový terminál Azure Databricks není k dispozici v následujících typech výpočetních prostředků:
- Výpočetní výkon úloh
- Bezserverové výpočetní prostředí
- Výpočet spuštěn s proměnnou prostředí DISABLE_WEB_TERMINAL=true nastavenou.
- Výpočetní prostředky spuštěné s režimem přístupu nastavené na Sdílené v Databricks Runtime nižší než 15.1. Webový terminál je k dispozici pro sdílené výpočetní prostředky pro Databricks Runtime 15.1 a vyšší.
- Spuštění výpočtu s konfigurací Sparku spark.databricks.pyspark.enableProcessIsolation nastavenou na true.
Od počátečního načtení stránky platí pevný limit 12 hodin, po kterém bude ukončeno jakékoli připojení, i když je aktivní. Pokud se chcete znovu připojit, můžete webový terminál aktualizovat. Databricks doporučuje použít tmux k zachování relace prostředí.
Výpočetní prostředky ARM nemůžou používat webové terminály pro přístup k souborům pracovního prostoru, včetně souborů ve složkách Gitu.
Povolení služby Docker Container Services zakáže webový terminál.

Sdílet prostřednictvím