Delen via

Beperkingen met Databricks Connect voor Python

  • Artikel

Notitie

Dit artikel bevat informatie over Databricks Connect voor Databricks Runtime 13.3 LTS en hoger.

Dit artikel bevat beperkingen met Databricks Connect voor Python. Met Databricks Connect kunt u populaire IDE's, notebookservers en aangepaste toepassingen verbinden met Azure Databricks-clusters. Zie Wat is Databricks Connect? Zie Beperkingen voor Databricks Connect voor Scala voor de Scala-versie van dit artikel.

Belangrijk

Afhankelijk van de versie van Python, Databricks Runtime en Databricks Connect die u gebruikt, zijn er mogelijk versievereisten voor sommige functies. Zie Vereisten.

Beschikbaarheid van functies

Niet beschikbaar op Databricks Connect voor Databricks Runtime 13.3 LTS en hieronder:

  • Streaming foreachBatch
  • DataFrames maken die groter zijn dan 128 MB
  • Lange query's van meer dan 3600 seconden

Niet beschikbaar:

  • dataframe.display() API
  • Databricks Utilities: credentials, library, notebook workflowwidgets
  • Spark Context
  • RDD's
  • Bibliotheken die gebruikmaken van RDD's, Spark-context of toegang krijgen tot de onderliggende Spark JVM, zoals Mozaïek georuimtelijk, GraphFrames of GreatExpectations
  • CREATE TABLE <table-name> AS SELECT (gebruik in plaats daarvan spark.sql("SELECT ...").write.saveAsTable("table"))
  • ApplyinPandas() en Cogroup() met gedeelde clusters
  • Het log4j-logboekniveau wijzigen via SparkContext
  • Gedistribueerde ML-training
  • De lokale ontwikkelomgeving synchroniseren met het externe cluster
  • Op serverloze berekeningen kunnen UDF's geen aangepaste bibliotheken bevatten.