Festlegen und Verwenden von Umgebungsvariablen mit Initskripts
Initskripts haben Zugriff auf alle Umgebungsvariablen, die in einem Cluster vorhanden sind. Azure Databricks legt viele Standardvariablen fest, die in der Initskript-Logik nützlich sein können.
Umgebungsvariablen, die in der Spark-Konfiguration festgelegt sind, stehen Initskripts zur Verfügung. Weitere Informationen finden Sie unter Umgebungsvariablen.
Welche Umgebungsvariablen werden standardmäßig für das Initskript verfügbar gemacht?
Clusterspezifische und globale Initialisierungsskripts unterstützen die folgenden Umgebungsvariablen:
DB_CLUSTER_ID
: ID des Clusters, auf dem das Skript ausgeführt wird. Weitere Informationen finden Sie unter Cluster-API.DB_CONTAINER_IP
: Private IP-Adresse des Containers, in dem Spark ausgeführt wird. Das Initialisierungsskript wird in diesem Container ausgeführt. Weitere Informationen finden Sie unter Cluster-API.DB_IS_DRIVER
: Gibt an, ob das Skript auf einem Treiberknoten ausgeführt wird.DB_DRIVER_IP
: IP-Adresse des Treiberknotens.DB_INSTANCE_TYPE
: Instanztyp des virtuellen Hostcomputers.DB_CLUSTER_NAME
: Name des Clusters, auf dem das Skript ausgeführt wird.DB_IS_JOB_CLUSTER
: Gibt an, ob der Cluster zur Ausführung eines Auftrags erstellt wurde. Weitere Informationen finden Sie unter Konfigurieren von Compute für Aufträge.
Wenn Sie z. B. einen Teil eines Skripts nur auf einem Treiberknoten ausführen möchten, können Sie ein Skript wie das folgende schreiben:
echo $DB_IS_DRIVER
if [[ $DB_IS_DRIVER = "TRUE" ]]; then
<run this part only on driver>
else
<run this part only on workers>
fi
<run this part on both driver and workers>
Verwenden von Geheimnissen in Initskripts
Sie können einen beliebigen gültigen Variablennamen verwenden, wenn Sie auf ein Geheimnis verweisen. Der Zugriff auf Geheimnisse, auf die in Umgebungsvariablen verwiesen wird, wird durch die Berechtigungen des Benutzers oder der Benutzerin bestimmt, der oder die den Cluster konfiguriert hat. Geheimnisse, die in Umgebungsvariablen gespeichert sind, sind für alle Benutzer des Clusters zugänglich, werden jedoch aus der Klartextanzeige ausgeklammert.
Weitere Informationen finden Sie unter Verwenden eines Geheimnisses in einer Spark-Konfigurationseigenschaft oder -Umgebungsvariable.