Partilhar via

Limitações com o Databricks Connect for Python

  • Artigo

Nota

Este artigo aborda o Databricks Connect para o Databricks Runtime 13.3 LTS ou posterior.

Este artigo lista as limitações do Databricks Connect for Python. O Databricks Connect permite conectar IDEs populares, servidores de notebook e aplicativos personalizados a clusters do Azure Databricks. Consulte O que é Databricks Connect?. Para a versão Scala deste artigo, consulte Limitações com o Databricks Connect for Scala.

Importante

Dependendo da versão do Python, Databricks Runtime e Databricks Connect que você está usando, pode haver requisitos de versão para alguns recursos. Consulte Requisitos.

Disponibilidade de funcionalidades

Não disponível no Databricks Connect for Databricks Runtime 13.3 LTS e abaixo:

  • Transmissão foreachBatch
  • Criação de DataFrames maiores que 128 MB
  • Consultas com mais de 3600 segundos de duração

Não disponível:

  • dataframe.display() API
  • Utilitários Databricks: credentials, library, notebook workflow, widgets
  • Spark Context
  • Conjuntos de Dados Distribuídos Resilientes (RDDs)
  • Bibliotecas que usam RDDs, Spark Context ou acessam a JVM subjacente do Spark, como Mosaic geospatial, GraphFrames ou GreatExpectations
  • CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))
  • ApplyinPandas() e Cogroup() com clusters partilhados
  • Alterar o log level do log4j através de SparkContext
  • Treinamento distribuído de ML
  • Sincronizando o ambiente de desenvolvimento local com o cluster remoto
  • Na computação sem servidor, as UDFs não podem incluir bibliotecas personalizadas.