Znany problem — instrukcje importowania PySpark kończą się niepowodzeniem dla plików .jar zainstalowanych za pośrednictwem środowiska
Plik biblioteki niestandardowej można przekazać z formatem .jar do środowiska sieci szkieletowej. Mimo że przekazywanie i publikowanie środowiska zakończy się powodzeniem, polecenie importu kończy się niepowodzeniem w sesji PySpark.
Stan: Naprawiono: 7 listopada 2024 r.
Środowisko produktu: inżynierowie danych
Objawy
W sesji PySpark instrukcja importowania biblioteki kończy się niepowodzeniem z powodu błędu Nie znaleziono klasy. Biblioteka niestandardowa z formatem .jar została zainstalowana za pośrednictwem środowiska.
Rozwiązania i obejścia
Aby obejść ten problem, możesz użyć następującego polecenia, aby zainstalować bibliotekę w sesji notesu: %%configure -f { "conf": { "spark.jars": <>", } } alternatywnie możesz przełączyć się z PySpark na sesję Scala, jeśli ma to zastosowanie.