Bekend probleem: PySpark-importinstructies mislukken voor .jar bestanden die zijn geïnstalleerd via de omgeving
U kunt een aangepast bibliotheekbestand met een .jar-indeling uploaden naar een Infrastructuuromgeving. Hoewel het uploaden en publiceren van de omgeving slaagt, mislukt de importopdracht in de PySpark-sessie.
Status: Opgelost: 7 november 2024
Productervaring: Data-engineer ing
Symptomen
In een PySpark-sessie mislukt de importbibliotheekinstructie met de fout Klasse niet gevonden . De aangepaste bibliotheek met een .jar-indeling is geïnstalleerd via een omgeving.
Oplossingen en tijdelijke oplossingen
U kunt dit probleem omzeilen door de volgende opdracht te gebruiken om de bibliotheek in notebooksessie te installeren: %%configure -f { "conf": { "spark.jars": <>", } } U kunt desgewenst overschakelen van een PySpark naar een Scala-sessie.