Bekanntes Problem - PySpark-Importanweisungen schlagen bei über die Umgebung installierten .jar-Dateien Fehler
Sie können eine benutzerdefinierte Bibliotheksdatei mit einem .jar-Format in eine Fabric-Umgebung hochladen. Obwohl das Hochladen und Veröffentlichen der Umgebung erfolgreich ist, schlägt der Importbefehl in der PySpark-Sitzung fehl.
Status: Behoben: 7. November 2024
Produktbereich: Datentechnik
Problembeschreibung
In einer PySpark-Sitzung schlägt die Importbibliotheksanweisung mit einem Fehler Class not found fehl. Die benutzerdefinierte Bibliothek mit einem .jar-Format wurde über eine Umgebung installiert.
Lösungen und Problemumgehungen
Um dieses Problem zu umgehen, können Sie den folgenden Befehl verwenden, um die Bibliothek in der Notebooksitzung zu installieren: %%configure -f { "conf": { "spark.jars": <>", } } Alternativ können Sie bei Bedarf von einem PySpark zu einer Scala-Sitzung wechseln.