Partilhar via

Limitações do Databricks Connect for Scala

  • Artigo

Observação

Este artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e acima.

Este artigo lista as limitações do Databricks Connect for Scala. O Databricks Connect permite conectar IDEs populares, servidores de notebook e aplicativos personalizados a clusters do Azure Databricks. Consulte O que é Databricks Connect?. Para obter a versão Python deste artigo, consulte Limitações com o Databricks Connect for Python.

Importante

Dependendo da versão do Scala, Java, Databricks Runtime e Databricks Connect que você está usando, pode haver requisitos de versão para alguns recursos. Consulte Requisitos.

Disponibilidade de funcionalidades

Não disponível no Databricks Connect for Databricks Runtime 13.3 LTS e abaixo:

  • Streaming foreachBatch
  • Criação de DataFrames maiores que 128 MB
  • Consultas longas com mais de 3600 segundos
  • UDFs escalares em clusters que usam o modo de acesso a cluster de usuário único

Não disponível:

  • Utilitários Databricks: credentials, library, notebook workflow, widgets
  • Contexto Spark
  • RDDs (Conjuntos de Dados Distribuídos Resilientes)
  • CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))
  • Alterando o nível de log do log4j através do SparkContext
  • Treinamento distribuído de ML
  • Sincronizando o ambiente de desenvolvimento local com o cluster remoto