Udostępnij za pośrednictwem

Ograniczenia dotyczące programu Databricks Connect dla języka Scala

  • Artykuł

Notatka

W tym artykule opisano usługę Databricks Connect dla środowiska Databricks Runtime 13.3 LTS lub nowszego.

W tym artykule wymieniono ograniczenia dotyczące programu Databricks Connect dla języka Scala. Databricks Connect umożliwia łączenie popularnych IDE, serwerów notebooków i aplikacji niestandardowych z klastrami Azure Databricks. Zobacz Co to jest usługa Databricks Connect?. Aby zapoznać się z wersją tego artykułu w języku Python, zobacz Ograniczenia dotyczące programu Databricks Connect dla języka Python.

Ważny

W zależności od używanej wersji języków Scala, Java, Databricks Runtime i Databricks Connect mogą istnieć wymagania dotyczące wersji niektórych funkcji. Zobacz wymagania .

Dostępność funkcji

Niedostępne w ramach Databricks Connect dla wersji Databricks Runtime 13.3 LTS i starszych.

  • Przesyłanie strumieniowe foreachBatch
  • Tworzenie ramek danych większych niż 128 MB
  • Długie zapytania w ciągu 3600 sekund
  • Skalarne funkcje definiowane przez użytkownika w klastrach korzystających z trybu dostępu dla pojedynczego użytkownika

Niedostępne:

  • Narzędzia usługi Databricks: credentials, library, notebook workflow, widgets
  • Kontekst platformy Spark
  • RDDs
  • CREATE TABLE <table-name> AS SELECT (zamiast tego użyj spark.sql("SELECT ...").write.saveAsTable("table"))
  • Zmienianie poziomu dziennika log4j za pomocą SparkContext
  • Trenowanie rozproszonego uczenia maszynowego
  • Synchronizowanie lokalnego środowiska deweloperskiego z klastrem zdalnym