Dela via

Begränsningar med Databricks Connect för Python

  • Artikel

Kommentar

Den här artikeln beskriver Databricks Connect för Databricks Runtime 13.3 LTS och senare.

Den här artikeln innehåller begränsningar med Databricks Connect för Python. Med Databricks Connect kan du ansluta populära IDE:er, notebook-servrar och anpassade program till Azure Databricks-kluster. Se Vad är Databricks Connect?. Scala-versionen av den här artikeln finns i Begränsningar med Databricks Connect för Scala.

Viktig

Beroende på vilken version av Python, Databricks Runtime och Databricks Connect du använder kan det finnas versionskrav för vissa funktioner. Se Krav.

Funktionstillgänglighet

Inte tillgängligt på Databricks Connect för Databricks Runtime 13.3 LTS och nedan:

  • Direktuppspelning foreachBatch
  • Skapa dataramar som är större än 128 MB
  • Långa frågor över 3 600 sekunder

Inte tillgängligt:

  • dataframe.display() API
  • Databricks Utilities: credentials, library, notebook workflow, widgets
  • Spark-kontext
  • RDD:er
  • Bibliotek som använder RDD:er, Spark-kontext eller åtkomst till underliggande Spark JVM, till exempel Mosaic geospatial, GraphFrames eller GreatExpectations
  • CREATE TABLE <table-name> AS SELECT (använd spark.sql("SELECT ...").write.saveAsTable("table")i stället )
  • ApplyinPandas() och Cogroup() med delade kluster
  • Ändra log4j-loggnivån via SparkContext
  • Distribuerad ML-träning
  • Synkronisera den lokala utvecklingsmiljön med fjärrklustret
  • Vid serverlös beräkning kan UDF:er inte innehålla anpassade bibliotek.