Delen via

Beperkingen met Databricks Connect voor Scala

  • Artikel

Notitie

Dit artikel bevat informatie over Databricks Connect voor Databricks Runtime 13.3 LTS en hoger.

Dit artikel bevat beperkingen met Databricks Connect voor Scala. Met Databricks Connect kunt u populaire IDE's, notebookservers en aangepaste toepassingen verbinden met Azure Databricks-clusters. Zie Wat is Databricks Connect?. Zie Beperkingen voor Databricks Connect voor Pythonvoor de Python-versie van dit artikel.

Belangrijk

Afhankelijk van de versie van Scala, Java, Databricks Runtime en Databricks Connect die u gebruikt, zijn er mogelijk versievereisten voor sommige functies. Zie Vereisten.

Beschikbaarheid van functies

Niet beschikbaar op Databricks Connect voor Databricks Runtime 13.3 LTS en hieronder:

  • Streaming-foreachBatch
  • DataFrames maken die groter zijn dan 128 MB
  • Lange query's van meer dan 3600 seconden
  • Scalaire UDF's op clusters die de toegangsmodus voor clusters met één gebruiker gebruiken

Niet beschikbaar:

  • Databricks Utilities: credentials, library, notebook workflow, widgets
  • Spark Context
  • RDD's
  • CREATE TABLE <table-name> AS SELECT (gebruik in plaats daarvan spark.sql("SELECT ...").write.saveAsTable("table"))
  • Het log4j-logboekniveau wijzigen via SparkContext
  • Gedistribueerde ML-training
  • De lokale ontwikkelomgeving synchroniseren met het externe cluster