Neustarten des Python-Prozesses in Azure Databricks
Sie können den Python-Prozess in Azure Databricks programmgesteuert neu starten, um sicherzustellen, dass lokal installierte oder aktualisierte Bibliotheken im Python-Kernel für Ihre aktuelle SparkSession ordnungsgemäß funktionieren.
Wenn Sie den Python-Prozess neu starten, gehen Python-Statusinformationen verloren. Databricks empfiehlt, alle sitzungsbezogenen Bibliotheken am Anfang eines Notebooks zu installieren und dbutils.library.restartPython()
auszuführen, um den Python-Prozess zu bereinigen, bevor Sie fortfahren.
Sie können diesen Prozess in interaktiven Notebooks oder für Python-Aufgaben verwenden, die mit Aufträgen geplant sind.
Was ist dbutils.library.restartPython
?
Die Hilfsfunktion dbutils.library.restartPython()
ist die empfohlene Methode zum Neustarten des Python-Prozesses in einem Databricks-Notebook.
Hinweis
Die meisten Funktionen im dbutils.library
-Untermodul sind veraltet. Databricks empfiehlt dringend die Verwendung von %pip
, um alle Installationen von Bibliotheken im Notebook-Bereich zu verwalten. Informationen finden Sie unter Python-Bibliotheken im Notebook-Bereich.
Wann sollten Sie Ihren Python-Prozess neu starten?
Es empfiehlt sich, den Python-Prozess jedes Mal neu zu starten, wenn Sie eine lokale Installation durchführen, die Folgendes beinhaltet:
- Angeben einer Version eines Pakets, das in Databricks Runtime enthalten ist
- Installieren einer benutzerdefinierten Version eines Pakets, das in Databricks Runtime enthalten ist
- Explizites Aktualisieren einer Bibliothek auf die neueste Version mithilfe von
%pip install <library-name> --upgrade
- Konfigurieren einer benutzerdefinierten Umgebung über eine lokale
requirements.txt
-Datei - Installieren einer Bibliothek, die das Ändern der Versionen abhängiger Bibliotheken erfordert, die in Databricks Runtime enthalten sind