Executar comandos de shell no terminal Web do Azure Databricks

O terminal Web do Azure Databricks fornece uma maneira conveniente e altamente interativa de executar comandos shell em uma interface de linha de comando (CLI), incluindo comandos da CLI do Databricks, para executar ações em objetos Databricks programaticamente. É especialmente útil para casos de uso avançados, como operações em lote em vários arquivos, que as interfaces de usuário (UIs) existentes podem não suportar totalmente.

Vários usuários podem usar o terminal da Web em um computador.

Você pode usar o terminal da Web para fazer o seguinte:

• Faça edições rápidas de arquivos usando Vim ou Emacs.
• Monitore o uso de recursos com comandos como htop (uso de cluster) ou nvidia-smi (uso de GPU).
• Execute scripts Python que não sejam do Spark.
• Execute operações de arquivo com comandos do shell, como mv e mkdir.
• Instale e gerencie bibliotecas em computação.
• Use a CLI do Databricks para automatizar vários aspetos do Azure Databricks.

Requisitos

Aviso

O Azure Databricks faz o proxy do serviço de terminal Web da porta 7681 no driver Spark da computação. Este proxy web destina-se a ser usado apenas com o terminal web. Se a porta estiver ocupada quando a computação for iniciada ou houver algum tipo de conflito, o terminal da Web pode não funcionar conforme o esperado. Se outros serviços Web forem iniciados na porta 7681, os usuários de computação poderão ser expostos a possíveis explorações de segurança. Nem a Databricks nem a Microsoft são responsáveis por quaisquer problemas resultantes da instalação de software não suportado em uma computação.

• O terminal Web está desativado por padrão para todos os usuários do espaço de trabalho. Para habilitá-lo, consulte Habilitar o terminal da Web.
• PODE ANEXAR A permissão em um computador.
• A computação deve usar um modo de acesso de Usuário único ou Sem isolamento compartilhado.

Inicie o terminal web

Pode iniciar o terminal Web a partir da página de detalhes de computação ou de um bloco de notas.

A partir de um caderno

Para iniciar o terminal Web a partir de um bloco de notas:

1. Conecte o notebook à computação.
2. Na parte inferior da barra lateral direita do bloco de notas, clique no ícone Abrir painel inferior .
3. Como alternativa, clique na lista suspensa de computação anexada, passe o mouse sobre a computação anexada e clique em Terminal Web.

O terminal web abre num painel na parte inferior do ecrã. Os botões no canto superior direito do painel permitem-lhe:

• Abra uma nova sessão de terminal num novo separador .
• Recarregue uma sessão de terminal .
• Feche o painel inferior. Para reabrir o painel, clique na parte inferior da barra lateral direita.

Na página de detalhes de computação

Para iniciar o terminal Web a partir da página de detalhes de computação:

1. Na barra lateral do espaço de trabalho, clique em Computar.
2. Na guia Computação para todos os fins, clique no nome da computação.
3. Clique em Iniciar para iniciar a computação.
4. Na guia Aplicativos, clique em Terminal Web.

Uma nova guia é aberta com a interface do usuário do terminal da Web e o prompt Bash.

Utilizar o terminal web

No terminal da Web, você pode executar comandos da raiz dentro do contêiner do nó do driver de computação.

Cada utilizador pode ter até 100 sessões ativas de terminal web (separadores) abertas. As sessões ociosas do terminal da Web podem atingir o tempo limite e o aplicativo da Web do terminal da Web será reconectado, resultando em um novo processo de shell. Se você quiser manter sua sessão Bash, a Databricks recomenda o uso do tmux.

Executar comandos da CLI do Databricks

Você também pode usar o terminal da Web para executar comandos da CLI do Databricks. A CLI disponível é sempre a versão mais recente e a autenticação é baseada no usuário atual. O cálculo deve atender aos seguintes requisitos:

• O cluster deve ter o Databricks Runtime 15.0 ou superior instalado.
• O espaço de trabalho não deve estar habilitado para Link Privado.

Inicie o terminal da Web e execute o seguinte comando para produzir informações sobre o usuário atual:

   databricks current-user me

Comandos de pacote também estão disponíveis, o que permite que você crie e gerencie seus pacotes de ativos Databricks diretamente do terminal da Web dentro do espaço de trabalho Databricks. Por exemplo, para criar, implantar e executar um pacote simples usando o modelo padrão:

1. A partir da raiz do terminal Web, navegue até a página inicial do seu espaço de trabalho e execute bundle init:

   cd /Workspace/Users/someone@example.com
   databricks bundle init
   

2. Aceite os prompts de modelo padrão e, em seguida, altere para o diretório do pacote e implante-o:

   cd my_project
   databricks bundle deploy
   

   Você pode exibir o pacote implantado my_project na interface do usuário do espaço de trabalho Databricks.

3. Finalmente, execute o trabalho padrão no pacote:

   databricks bundle run my_project_job
   

   Navegue até Job Runs para ver o trabalho em execução.

Limitações

• O Azure Databricks não suporta a execução de trabalhos do Spark a partir do terminal Web.

• O terminal Web do Azure Databricks não está disponível nos seguintes tipos de computação:

  • Computação de trabalho
  • Computação sem servidor
  • Computação iniciada com o conjunto de variáveis de DISABLE_WEB_TERMINAL=true ambiente.
  • Computação iniciada com o modo de acesso definido como Compartilhado.
  • A computação foi iniciada com a configuração spark.databricks.pyspark.enableProcessIsolation do Spark definida como true.

• Há um limite rígido de 12 horas desde o carregamento inicial da página, após o qual qualquer conexão, mesmo que ativa, será encerrada. Você pode atualizar o terminal da Web para se reconectar. A Databricks recomenda o uso do tmux para preservar sua sessão de shell.

• Os recursos de computação ARM não podem usar terminais da Web para acessar arquivos de espaço de trabalho, incluindo arquivos em pastas Git.

• A ativação dos Serviços de Contêiner do Docker desativa o terminal da Web.