Shell-opdrachten uitvoeren in azure Databricks-webterminal

Artikel
08/10/2024

De Azure Databricks-webterminal biedt een handige en zeer interactieve manier om shell-opdrachten uit te voeren in een opdrachtregelinterface (CLI), waaronder Databricks CLI-opdrachten, om programmatisch acties uit te voeren op Databricks-objecten. Het is vooral handig voor geavanceerde gebruiksvoorbeelden, zoals batchbewerkingen op meerdere bestanden, die bestaande gebruikersinterfaces (UIS's) mogelijk niet volledig ondersteunen.

Meerdere gebruikers kunnen de webterminal op één rekenproces gebruiken.

U kunt de webterminal gebruiken om het volgende te doen:

Maak snelle bestandsbewerkingen met behulp van Vim of Emacs.
Bewaak het resourcegebruik met opdrachten zoals htop (clustergebruik) of nvidia-smi (GPU-gebruik).
Voer niet-Spark Python-scripts uit.
Voer bestandsbewerkingen uit met shell-opdrachten zoals mv en mkdir.
Bibliotheken installeren en beheren op rekenkracht.
Gebruik de Databricks CLI om verschillende aspecten van Azure Databricks te automatiseren.

Vereisten

Waarschuwing

Azure Databricks proxyt de webterminalservice vanaf poort 7681 op het Spark-stuurprogramma van de rekenkracht. Deze webproxy is alleen bedoeld voor gebruik met de webterminal. Als de poort bezet is wanneer de berekening wordt gestart of er een conflict is, werkt de webterminal mogelijk niet zoals verwacht. Als andere webservices worden gestart op poort 7681, kunnen rekengebruikers worden blootgesteld aan mogelijke beveiligingsexplots. Databricks en Microsoft zijn niet verantwoordelijk voor problemen die het gevolg zijn van de installatie van niet-ondersteunde software op een rekenproces.

Webterminal is standaard uitgeschakeld voor alle werkruimtegebruikers. Zie De webterminal inschakelen om deze in te schakelen.
KAN BIJVOEGEN AAN machtiging voor een berekening.
De berekening moet gebruikmaken van een toegangsmodus voor één gebruiker of geen isolatie gedeeld.

De webterminal starten

U kunt de webterminal starten vanaf de pagina met rekengegevens of vanuit een notebook.

Vanuit een notitieblok

De webterminal starten vanuit een notebook:

Verbind het notebook om te berekenen.
Klik onder aan de rechterzijbalk van het notitieblok op het pictogram van het onderste deelvenster openen.
U kunt ook op de gekoppelde vervolgkeuzelijst voor berekeningen klikken, de muisaanwijzer op de gekoppelde rekenkracht bewegen en vervolgens op Web Terminal klikken.

De webterminal wordt geopend in een paneel onderaan het scherm. Met de knoppen in de rechterbovenhoek van het deelvenster kunt u het volgende doen:

Open een nieuwe terminalsessie op een nieuw tabblad .
Een terminalsessie opnieuw laden.
Sluit het onderste paneel . Als u het deelvenster opnieuw wilt openen, klikt u onderaan de rechterzijbalk.

Op de pagina rekengegevens

De webterminal starten vanaf de pagina met rekengegevens:

Klik in de zijbalk van de werkruimte op Compute.
Klik op het tabblad Alles berekenen op de naam van de berekening.
Klik op Start om het rekenproces te starten.
Klik op het tabblad Apps op Web Terminal.

Er wordt een nieuw tabblad geopend met de gebruikersinterface van de webterminal en de Bash-prompt.

Webterminal gebruiken

In de webterminal kunt u opdrachten uitvoeren vanuit de hoofdmap in de container van het knooppunt van het rekenstuurprogramma.

Elke gebruiker kan maximaal 100 actieve webterminalsessies (tabbladen) openen. Er kan een time-out optreden voor niet-actieve webterminalsessies en de webterminalwebtoepassing wordt opnieuw verbonden, wat resulteert in een nieuw shell-proces. Als u uw Bash-sessie wilt behouden, raadt Databricks het gebruik van tmux aan.

Databricks CLI-opdrachten uitvoeren

U kunt de webterminal ook gebruiken om Databricks CLI-opdrachten uit te voeren. De beschikbare CLI is altijd de nieuwste versie en verificatie is gebaseerd op de huidige gebruiker. De berekening moet voldoen aan de volgende vereisten:

Voor het cluster moet Databricks Runtime 15.0 of hoger zijn geïnstalleerd.
De werkruimte mag niet zijn ingeschakeld voor Private Link.

Start de webterminal en voer de volgende opdracht uit om informatie over de huidige gebruiker uit te voeren:

   databricks current-user me

Bundelopdrachten zijn ook beschikbaar, waarmee u uw Databricks Asset Bundles rechtstreeks vanuit de webterminal in de Databricks-werkruimte kunt maken en beheren. Als u bijvoorbeeld een eenvoudige bundel wilt maken, implementeren en uitvoeren met behulp van de standaardsjabloon:

Navigeer vanuit de hoofdmap van de webterminal naar de startpagina van uw werkruimte en voer het volgende uit bundle init:
```
cd /Workspace/Users/someone@example.com
databricks bundle init
```
Accepteer de standaardsjabloonprompts en ga vervolgens naar de bundelmap en implementeer deze:
```
cd my_project
databricks bundle deploy
```
U kunt de geïmplementeerde my_project bundel bekijken in de gebruikersinterface van de Databricks-werkruimte.
Voer ten slotte de standaardtaak uit in de bundel:
```
databricks bundle run my_project_job
```
Navigeer naar Taakuitvoeringen om de actieve taak te zien.

Beperkingen

Azure Databricks biedt geen ondersteuning voor het uitvoeren van Spark-taken vanuit de webterminal.
Azure Databricks-webterminal is niet beschikbaar in de volgende rekentypen:
- Taak berekenen
- Serverloze compute
- Compute gestart met de DISABLE_WEB_TERMINAL=true omgevingsvariabeleset.
- Compute gestart met toegangsmodus ingesteld op Gedeeld.
- Compute gestart met de Spark-configuratie spark.databricks.pyspark.enableProcessIsolation ingesteld op true.
Er is een vaste limiet van 12 uur sinds de eerste pagina wordt geladen, waarna een verbinding, zelfs als actief, wordt beëindigd. U kunt de webterminal vernieuwen om opnieuw verbinding te maken. Databricks raadt het gebruik van tmux aan om uw shell-sessie te behouden.
ARM-rekenresources kunnen geen webterminals gebruiken voor toegang tot werkruimtebestanden, inclusief bestanden in Git-mappen.
Als u Docker Container Services inschakelt, wordt de webterminal uitgeschakeld.

Delen via