Defina e use variáveis de ambiente com scripts de inicialização

Os scripts de inicialização têm acesso a todas as variáveis de ambiente presentes em um cluster. O Azure Databricks define muitas variáveis padrão que podem ser úteis na lógica de script de inicialização.

As variáveis de ambiente definidas na configuração do Spark estão disponíveis nos scripts de inicialização. Confira Variáveis de ambiente.

Quais variáveis de ambiente são expostas ao script de inicialização por padrão?

Os scripts de inicialização no escopo do cluster e global dão suporte às seguintes variáveis de ambiente:

• DB_CLUSTER_ID: a ID do cluster no qual o script está em execução. Consulte a API de clusters.
• DB_CONTAINER_IP: o endereço IP privado do contêiner no qual o Spark é executado. O script de inicialização é executado nesse contêiner. Consulte a API de clusters.
• DB_IS_DRIVER: indica se o script está em execução em um nó de driver.
• DB_DRIVER_IP: o endereço IP do nó do driver.
• DB_INSTANCE_TYPE: o tipo de instância da VM do host.
• DB_CLUSTER_NAME: o nome do cluster em que o script está sendo executado.
• DB_IS_JOB_CLUSTER: indica se o cluster foi criado para executar um trabalho. Confira Configurar computação para trabalhos.

Por exemplo, se você quiser executar parte de um script somente em um nó de driver, escreva um script como:

echo $DB_IS_DRIVER
if [[ $DB_IS_DRIVER = "TRUE" ]]; then
  <run this part only on driver>
else
  <run this part only on workers>
fi
<run this part on both driver and workers>

Usar segredos nos scripts de inicialização

Você pode usar qualquer nome de variável válido ao referenciar um segredo. O acesso a segredos referenciados em variáveis de ambiente é determinado pelas permissões do usuário que configurou o cluster. Os segredos armazenados nas variáveis de ambiente podem ser acessados por todos os usuários do cluster, mas são protegidos da exibição de texto simples.

Confira Usar um segredo em uma propriedade de configuração ou variável de ambiente do Spark.