Partilhar via

Atualizações de manutenção para Databricks Runtime (arquivado)

  • Artigo

Esta página arquivada lista as atualizações de manutenção emitidas para versões do Databricks Runtime que não são mais suportadas. Para adicionar uma atualização de manutenção a um cluster existente, reinicie o cluster.

Importante

Esta documentação foi desativada e pode não ser atualizada. Os produtos, serviços ou tecnologias mencionados neste conteúdo chegaram ao fim do suporte. Consulte Notas de versão, versões e compatibilidade do Databricks Runtime.

Nota

Este artigo contém referências ao termo whitelist, um termo que o Azure Databricks não usa. Quando o termo for removido do software, iremos removê-lo deste artigo.

Versões do Databricks Runtime

Atualizações de manutenção por versão:

Para obter as atualizações de manutenção em versões suportadas do Databricks Runtime, consulte Atualizações de manutenção do Databricks Runtime.

Tempo de execução do Databricks 15.1

Consulte Databricks Runtime 15.1 (EoS).

  • Outubro 22, 2024
    • [FAÍSCA-49863][SQL] Corrigir NormalizeFloatingNumbers para preservar a anulabilidade de estruturas aninhadas
    • [FAÍSCA-46632][SQL] Corrigir a eliminação de subexpressões quando expressões ternárias equivalentes têm filhos diferentes
    • [FAÍSCA-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [FAÍSCA-49905] Use ShuffleOrigin dedicado para operador stateful para evitar que o shuffle seja modificado a partir do AQE
    • [FAÍSCA-49829] Revisar a otimização na adição de entrada ao armazenamento de estado na junção de fluxo de fluxo (correção de correção)
    • Atualizações de segurança do sistema operacional.
  • 10 de outubro de 2024
    • [FAÍSCA-49688][CONECTAR] Corrigir uma corrida de dados entre o plano de interrupção e execução
    • [FAÍSCA-49743][SQL] OptimizeCsvJsonExpr não deve alterar campos de esquema ao remover GetArrayStructFields
    • [BACKPORT][[FAÍSCA-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Classify Error class for FlatMapGroupsWithState user function error
    • Atualizações de segurança do sistema operacional.
  • 25 de setembro de 2024
    • [FAÍSCA-49628][SQL] ConstantFolding deve copiar a expressão com estado antes de avaliar
    • [FAÍSCA-48719][SQL] Corrigir o bug de cálculo de RegrSlope & RegrIntercept quando o primeiro parâmetro é nulo
    • [FAÍSCA-49492][CONECTAR] Reanexar tentativa em ExecutionHolder inativo
    • [FAÍSCA-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • [FAÍSCA-49458][CONECTAR][PYTHON] Forneça a ID da sessão do lado do servidor via ReattachExecute
    • Atualizações de segurança do sistema operacional.
  • 17 de setembro de 2024
    • [FAÍSCA-49336][CONECTAR] Limitar o nível de aninhamento ao truncar uma mensagem protobuf
    • [FAÍSCA-49526][CONECTAR] Suporte a caminhos no estilo do Windows no ArtifactManager
    • [FAÍSCA-49409][CONECTAR] Ajuste o valor padrão de CONNECT_SESSION_PLAN_CACHE_SIZE
    • [FAÍSCA-43242][CORE] Corrigir lançamento 'Tipo inesperado de BlockId' no diagnóstico de corrupção aleatória
    • [FAÍSCA-49366][CONECTAR] Tratar o nó União como folha na resolução da coluna do quadro de dados
  • 29 de agosto de 2024
    • [FAÍSCA-49263][CONECTAR] Cliente python do Spark Connect: manipule consistentemente as opções do leitor de Dataframe booleano
    • [FAÍSCA-49056][SQL] ErrorClassesJsonReader não pode manipular null corretamente
    • [FAÍSCA-48862][PYTHON][CONECTAR] Evite ligar _proto_to_string quando o nível INFO não estiver ativado
    • [FAÍSCA-49146][SS] Mover erros de asserção relacionados à marca d'água ausente nas consultas de streaming do modo de acréscimo para a estrutura de erros
  • 14 de agosto de 2024
    • [FAÍSCA-48941][FAÍSCA-48970] Correções de gravador/leitor de backport ML
    • [FAÍSCA-48050][SS] Registrar o plano lógico no início da consulta
    • [FAÍSCA-48706][PYTHON] Python UDF em funções de ordem superior não deve lançar erro interno
    • [FAÍSCA-48597][SQL] Introduzir um marcador para a propriedade isStreaming na representação de texto do plano lógico
    • [FAÍSCA-49065][SQL] A rebase em formatters/analisadores herdados deve suportar fusos horários não padrão da JVM
    • [FAÍSCA-49047][PYTHON][CONECTAR] Truncar a mensagem para registro em log
    • [FAÍSCA-48740][SQL] Detetar erro de especificação de janela ausente antecipadamente
  • 1 de agosto de 2024
    • Na computação sem servidor para blocos de anotações e trabalhos, o modo ANSI SQL é habilitado por padrão. Consulte Parâmetros de configuração do Spark suportados.
    • Na computação configurada com o modo de acesso compartilhado, as leituras e gravações em lote Kafka agora têm as mesmas limitações impostas que as documentadas para o Structured Streaming. Consulte Limitações e requisitos de streaming para o modo de acesso compartilhado do Unity Catalog.
    • A saída de uma SHOW CREATE TABLE instrução agora inclui quaisquer filtros de linha ou máscaras de coluna definidos em uma exibição materializada ou tabela de streaming. Consulte SHOW CREATE TABLE. Para saber mais sobre filtros de linha e máscaras de coluna, consulte Filtrar dados de tabela confidenciais usando filtros de linha e máscaras de coluna.
    • [FAÍSCA-48544][SQL] Reduza a pressão de memória de BitSets TreeNode vazios
    • [FAÍSCA-46957][CORE] Descomissionar arquivos shuffle migrados deve ser capaz de limpar do executor
    • [FAÍSCA-47202][PYTHON] Corrigir erros de digitação quebrando datetimes com tzinfo
    • [FAÍSCA-48713][SQL] Adicionar verificação de intervalo de índice para UnsafeRow.pointTo quando baseObject é matriz de bytes
    • [FAÍSCA-48896][FAÍSCA-48909][FAÍSCA-48883] Correções do gravador de ML de faísca de backport
    • [FAÍSCA-48810][CONECTAR] A API Session stop() deve ser idempotente e não falhar se a sessão já estiver fechada pelo servidor
    • [FAÍSCA-48873][SQL] Use UnsafeRow no analisador JSON.
    • [FAÍSCA-48934][SS] Tipos de datetime Python convertidos incorretamente para definir o tempo limite em applyInPandasWithState
    • [FAÍSCA-48705][PYTHON] Use explicitamente worker_main quando ele começa com pyspark
    • [FAÍSCA-48889][SS] testStream para descarregar armazenamentos de estado antes de terminar
    • [FAÍSCA-48047][SQL] Reduza a pressão de memória de tags TreeNode vazias
    • [FAÍSCA-48463] Tornar o StringIndexer compatível com colunas de entrada aninhadas
    • Atualizações de segurança do sistema operacional.
  • Julho 11, 2024
    • (Alteração de comportamento) DataFrames armazenados em cache em fontes de tabela Delta agora são invalidados se a tabela de origem for substituída. Essa alteração significa que todas as alterações de estado nas tabelas Delta agora invalidam os resultados armazenados em cache. Use .checkpoint() para persistir um estado de tabela durante todo o tempo de vida de um DataFrame.
    • O Snowflake JDBC Driver é atualizado para a versão 3.16.1.
    • Esta versão inclui uma correção para um problema que impedia que a guia Ambiente da Interface do Usuário do Spark fosse exibida corretamente ao ser executada nos Serviços de Contêiner do Databricks.
    • Na computação sem servidor para blocos de anotações e trabalhos, o modo ANSI SQL é habilitado por padrão. Consulte Parâmetros de configuração do Spark suportados.
    • Para ignorar partições inválidas ao ler dados, as fontes de dados baseadas em arquivo, como Parquet, ORC, CSV ou JSON, podem definir a opção de fonte de dados ignoreInvalidPartitionPaths como true. Por exemplo: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Você também pode usar a configuração SQL spark.sql.files.ignoreInvalidPartitionPaths. No entanto, a opção de fonte de dados tem precedência sobre a configuração SQL. Essa configuração é falsa por padrão.
    • [FAÍSCA-48383][SS] Lançar melhor erro para partições incompatíveis na opção startOffset em Kafka
    • [FAÍSCA-48481][SQL][SS] Não aplique OptimizeOneRowPlan contra streaming Dataset
    • [FAÍSCA-48100][SQL] Corrigir problemas ao ignorar campos de estrutura aninhada não selecionados no esquema
    • [FAÍSCA-47463][SQL] Use V2Predicate para envolver a expressão com o tipo de retorno de booleano
    • [FAÍSCA-48445][SQL] Não inline UDFs com crianças caras
    • [FAÍSCA-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator deve abortar o estágio quando o arquivo confirmado não é consistente com o status da tarefa
    • [FAÍSCA-48566][PYTHON] Corrija o bug em que os índices de partição estão incorretos quando UDTF analyze() usa select e partitionColumns
    • [FAÍSCA-48648][PYTHON][CONECTAR] Tornar SparkConnectClient.tags corretamente threadlocal
    • [FAÍSCA-48503][SQL] Corrigir subconsultas escalares inválidas com group-by em colunas não equivalentes que foram permitidas incorretamente
    • [FAÍSCA-48252][SQL] Atualize o CommonExpressionRef quando necessário
    • [FAÍSCA-48475][PYTHON] Otimize _get_jvm_function no PySpark.
    • [FAÍSCA-48294][SQL] Manipular minúsculas em nestedTypeMissingElementTypeError
    • [FAÍSCA-48286] Corrigir análise de coluna com expressão padrão existente - Adicionar erro voltado para o usuário
    • [FAÍSCA-47309][SQL] XML: Adicionar testes de inferência de esquema para marcas de valor
    • [FAÍSCA-47309][SQL][XML] Adicionar testes de unidade de inferência de esquema
    • [FAÍSCA-48273][SQL] Corrigir a reescrita tardia de PlanWithUnresolvedIdentifier
    • Atualizações de segurança do sistema operacional.
  • 17 de junho de 2024
    • applyInPandasWithState() está disponível em clusters compartilhados.
    • Corrige um bug em que a otimização da janela de classificação usando Photon TopK manipulava incorretamente partições com structs.
    • [FAÍSCA-48310][PYTHON][CONECTAR] As propriedades armazenadas em cache devem retornar cópias
    • [FAÍSCA-48276][PYTHON][CONECTAR] Adicione o método ausente __repr__ para SQLExpression
    • [FAÍSCA-48277] Melhorar a mensagem de erro para ErrorClassesJsonReader.getErrorMessage
    • [FAÍSCA-47764][CORE][SQL] Limpeza de dependências aleatórias com base em ShuffleCleanupMode
    • Atualizações de segurança do sistema operacional.
  • 21 de maio de 2024
    • Corrigido um bug na função try_divide() em que entradas contendo decimais resultavam em exceções inesperadas.
    • [FAÍSCA-48173][SQL] CheckAnalysis deve ver todo o plano de consulta
    • [FAÍSCA-48016][SQL] Corrigir um bug na função try_divide quando com decimais
    • [FAÍSCA-48105][SS] Corrigir a condição de corrida entre o descarregamento do armazenamento de estado e o snapshot
    • [FAÍSCA-48197][SQL] Evitar erro de declaração para função lambda inválida
    • [FAÍSCA-48180][SQL] Melhorar o erro quando a chamada UDTF com TABLE arg esquece parênteses em torno de várias PARTIÇÃO/ORDEM POR exprs
    • [FAÍSCA-48014][SQL] Altere o erro makeFromJava no EvaluatePython para um erro voltado para o usuário
    • [FAÍSCA-48056][CONECTAR][PYTHON] Execute novamente o plano se um erro de SESSION_NOT_FOUND for gerado e nenhuma resposta parcial for recebida
    • [FAÍSCA-48146][SQL] Corrigir função agregada em Com expressão asserção filho
    • [FAÍSCA-47994][SQL] Corrigir bug com o filtro de coluna CASE WHEN push down no SQLServer
    • Atualizações de segurança do sistema operacional.
  • 9 de maio de 2024
    • [FAÍSCA-47543][CONECTAR][PYTHON] Inferindo dict como MapType do Pandas DataFrame para permitir a criação de DataFrame
    • [FAÍSCA-47739][SQL] Registrar tipo avro lógico
    • [FAÍSCA-48044][PYTHON][CONECTAR] Cache DataFrame.isStreaming
    • [FAÍSCA-47855][CONECTAR] Adicionar spark.sql.execution.arrow.pyspark.fallback.enabled na lista não suportada
    • [FAÍSCA-48010][SQL] Evite chamadas repetidas para conf.resolver em resolveExpression
    • [FAÍSCA-47941] [SS] [Conectar] Propagar erros de inicialização do trabalhador ForeachBatch aos usuários para o PySpark
    • [FAÍSCA-47819][CONECTAR][Cherry-pick-15.0] Usar retorno de chamada assíncrono para limpeza de execução
    • [FAÍSCA-47956][SQL] Verificação de sanidade para referência de ACV não resolvida
    • [FAÍSCA-47839][SQL] Corrigir bug agregado em RewriteWithExpression
    • [FAÍSCA-48018][SS] Corrigir groupId nulo causando erro de param ausente ao lançar KafkaException.couldNotReadOffsetRange
    • [FAÍSCA-47371] [SQL] XML: Ignorar marcas de linha encontradas no CDATA
    • [FAÍSCA-47907][SQL] Coloque bang sob uma configuração
    • [FAÍSCA-47895][SQL] grupo por todos deve ser idempotente
    • [FAÍSCA-47973][CORE] Site de chamada de log em SparkContext.stop() e posterior em SparkContext.assertNotStopped()
    • [FAÍSCA-47986][CONECTAR][PYTHON] Não é possível criar uma nova sessão quando a sessão padrão é fechada pelo servidor
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 15.0

Consulte Databricks Runtime 15.0 (EoS).

  • 30 de maio de 2024
  • 25 de abril de 2024
    • [FAÍSCA-47786] SELECT DISTINCT () não deve se tornar SELECT DISTINCT struct() (reverter para o comportamento anterior)
    • [FAÍSCA-47802][SQL] Reverter () do significado struct() de volta para o significado *
    • [FAÍSCA-47509][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
    • [FAÍSCA-47722] Aguarde até que o trabalho em segundo plano do RocksDB termine antes de fechar
    • [FAÍSCA-47081][CONECTAR][SEGUIR] Melhorando a usabilidade do manipulador de progresso
    • [FAÍSCA-47694][CONECTAR] Torne o tamanho máximo da mensagem configurável no lado do cliente
    • [FAÍSCA-47669][SQL][CONECTAR][PYTHON] Adicionar Column.try_cast
    • [FAÍSCA-47664][PYTHON][CONECTAR][Cherry-pick-15.0] Valide o nome da coluna com o esquema armazenado em cache
    • [FAÍSCA-47818][CONECTAR][Cherry-pick-15.0] Introduza o cache de planos no SparkConnectPlanner para melhorar o desempenho de solicitações de análise
    • [FAÍSCA-47704][SQL] A análise JSON falha com "java.lang.ClassCastException" quando spark.sql.json.enablePartialResults está ativado
    • [FAÍSCA-47755][CONECTAR] O pivô deve falhar quando o número de valores distintos é muito grande
    • [FAÍSCA-47713][SQL][CONECTAR] Corrigir uma falha de auto-junção
    • [FAÍSCA-47812][CONECTAR] Suporte à serialização de SparkSession para o trabalhador ForEachBatch
    • [FAÍSCA-47828][CONECTAR][PYTHON] DataFrameWriterV2.overwrite falha com plano inválido
    • [FAÍSCA-47862][PYTHON][CONECTAR]Corrigir a geração de arquivos proto
    • [FAÍSCA-47800][SQL] Criar novo método para conversão de identificador para tableIdentifier
    • Atualizações de segurança do sistema operacional.
  • 3 de abril de 2024
    • (Mudança de comportamento) Para garantir um comportamento consistente entre os tipos de computação, as UDFs do PySpark em clusters compartilhados agora correspondem ao comportamento das UDFs em clusters sem isolamento e atribuídos. Esta atualização inclui as seguintes alterações que podem quebrar o código existente:
      • UDFs com um tipo de string retorno não convertem mais implicitamente não-valoresstring em string valores. Anteriormente, UDFs com um tipo de retorno de encapsulavam o valor de retorno com uma str função, independentemente do tipo de dados real do valor retornadostr().
      • UDFs com timestamp tipos de retorno não aplicam mais implicitamente uma conversão para timestamp com timezone.
      • As configurações de spark.databricks.sql.externalUDF.* cluster do Spark não se aplicam mais às UDFs do PySpark em clusters compartilhados.
      • A configuração spark.databricks.safespark.externalUDF.plan.limit do cluster Spark não afeta mais UDFs do PySpark, removendo a limitação de visualização pública de 5 UDFs por consulta para UDFs do PySpark.
      • A configuração spark.databricks.safespark.sandbox.size.default.mib de cluster do Spark não se aplica mais a UDFs do PySpark em clusters compartilhados. Em vez disso, a memória disponível no sistema é usada. Para limitar a memória de UDFs do PySpark, use spark.databricks.pyspark.udf.isolation.memoryLimit com um valor mínimo de 100m.
    • O TimestampNTZ tipo de dados agora é suportado como uma coluna de clustering com clustering líquido. Veja Utilizar clustering líquido para tabelas Delta.
    • [FAÍSCA-47218][SQL] XML: Ignorar marcas de linha comentadas no tokenizador XML
    • [FAÍSCA-46990][SQL] Corrigir o carregamento de arquivos Avro vazios emitidos por hubs de eventos
    • [FAÍSCA-47033][SQL] Corrigir EXECUTE IMMEDIATE USING não reconhece nomes de variáveis de sessão
    • [FAÍSCA-47368][SQL] Remover inferTimestampNTZ config check in ParquetRowConverter
    • [FAÍSCA-47561][SQL] Corrigir problemas de ordem de regra do analisador sobre Alias
    • [FAÍSCA-47638][PS][CONECTAR] Ignorar validação de nome de coluna no PS
    • [FAÍSCA-46906][BACKPORT][SS] Adicionar uma verificação de alteração de operador com monitoração de estado para streaming
    • [FAÍSCA-47569][SQL] Não permitir a comparação de variantes.
    • [FAÍSCA-47241][SQL] Corrigir problemas de ordem de regra para ExtractGenerator
    • [FAÍSCA-47218] [SQL] XML: SchemaOfXml alterado para falhar no modo DROPMALFORMED
    • [FAÍSCA-47300][SQL] quoteIfNeeded se o identificador da cotação começar com dígitos
    • [FAÍSCA-47009][SQL][Colação] Habilitar a criação de suporte de tabela para agrupamento
    • [FAÍSCA-47322][PYTHON][CONECTAR] Tornar withColumnsRenamed o tratamento de duplicação de nomes de colunas consistente com withColumnRenamed
    • [FAÍSCA-47544][PYTHON] O método SparkSession builder é incompatível com o visual studio code intellisense
    • [FAÍSCA-47511][SQL] Canonicalize com expressões reatribuindo IDs
    • [FAÍSCA-47385] Corrija codificadores de tupla com entradas Option.
    • [FAÍSCA-47200][SS] Classe de erro para erro de função de usuário do coletor de lote Foreach
    • [FAÍSCA-47135][SS] Implementar classes de erro para exceções de perda de dados Kafka
    • [FAÍSCA-38708][SQL] Atualize o Hive Metastore Client para a versão 3.1.3 do Hive 3.1
    • [FAÍSCA-47305][SQL] Corrija PruneFilters para marcar o sinalizador isStreaming de LocalRelation corretamente quando o plano tiver lote e streaming
    • [FAÍSCA-47380][CONECTAR] Certifique-se no lado do servidor de que o SparkSession é o mesmo
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 14.2

Consulte Databricks Runtime 14.2 (EoS).

  • Outubro 22, 2024
    • [FAÍSCA-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [FAÍSCA-49905] Use ShuffleOrigin dedicado para operador stateful para evitar que o shuffle seja modificado a partir do AQE
    • Atualizações de segurança do sistema operacional.
  • 10 de outubro de 2024
  • 25 de setembro de 2024
    • [FAÍSCA-48719][SQL] Corrigir o bug de cálculo de 'RegrS...
    • [FAÍSCA-49628][SQL] ConstantFolding deve copiar a expressão com estado antes de avaliar
    • [FAÍSCA-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • [FAÍSCA-43242][CORE] Corrigir lançamento 'Tipo inesperado de BlockId' no diagnóstico de corrupção aleatória
    • [FAÍSCA-46601] [CORE] Corrigir erro de log em handleStatusMessage
    • Atualizações de segurança do sistema operacional.
  • 17 de setembro de 2024
    • [FAÍSCA-49526][CONECTAR] Suporte a caminhos no estilo do Windows no ArtifactManager
  • 29 de agosto de 2024
    • [FAÍSCA-49263][CONECTAR] Cliente python do Spark Connect: manipule consistentemente as opções do leitor de Dataframe booleano
    • [FAÍSCA-49146][SS] Mover erros de asserção relacionados à marca d'água ausente nas consultas de streaming do modo de acréscimo para a estrutura de erros
    • [FAÍSCA-49056][SQL] ErrorClassesJsonReader não pode manipular null corretamente
  • 14 de agosto de 2024
    • [FAÍSCA-48050][SS] Registrar o plano lógico no início da consulta
    • [FAÍSCA-48597][SQL] Introduzir um marcador para a propriedade isStreaming na representação de texto do plano lógico
    • [FAÍSCA-49065][SQL] A rebase em formatters/analisadores herdados deve suportar fusos horários não padrão da JVM
    • [FAÍSCA-48706][PYTHON] Python UDF em funções de ordem superior não deve lançar erro interno
  • 1 de agosto de 2024
    • Esta versão inclui uma correção de bug para as ColumnVector classes e ColumnarArray na interface Java do Spark. Antes dessa correção, um ArrayIndexOutOfBoundsException pode ser lançado ou dados incorretos retornados quando uma instância de uma dessas classes continha null valores.
    • A saída de uma SHOW CREATE TABLE instrução agora inclui quaisquer filtros de linha ou máscaras de coluna definidos em uma exibição materializada ou tabela de streaming. Consulte SHOW CREATE TABLE. Para saber mais sobre filtros de linha e máscaras de coluna, consulte Filtrar dados de tabela confidenciais usando filtros de linha e máscaras de coluna.
    • [FAÍSCA-47202][PYTHON] Corrigir erros de digitação quebrando datetimes com tzinfo
    • [FAÍSCA-48705][PYTHON] Use explicitamente worker_main quando ele começa com pyspark
    • Atualizações de segurança do sistema operacional.
  • Julho 11, 2024
    • (Alteração de comportamento) DataFrames armazenados em cache em fontes de tabela Delta agora são invalidados se a tabela de origem for substituída. Essa alteração significa que todas as alterações de estado nas tabelas Delta agora invalidam os resultados armazenados em cache. Use .checkpoint() para persistir um estado de tabela durante todo o tempo de vida de um DataFrame.
    • O Snowflake JDBC Driver é atualizado para a versão 3.16.1
    • Esta versão inclui uma correção para um problema que impedia que a guia Ambiente da Interface do Usuário do Spark fosse exibida corretamente ao ser executada nos Serviços de Contêiner do Databricks.
    • [FAÍSCA-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator deve abortar o estágio quando o arquivo confirmado não é consistente com o status da tarefa
    • [FAÍSCA-48273][SQL] Corrigir a reescrita tardia de PlanWithUnresolvedIdentifier
    • [FAÍSCA-48503][SQL] Corrigir subconsultas escalares inválidas com group-by em colunas não equivalentes que foram permitidas incorretamente
    • [FAÍSCA-48481][SQL][SS] Não aplique OptimizeOneRowPlan contra streaming Dataset
    • [FAÍSCA-48475][PYTHON] Otimize _get_jvm_function no PySpark.
    • [FAÍSCA-48100][SQL] Corrigir problemas ao ignorar campos de estrutura aninhada não selecionados no esquema
    • [FAÍSCA-48445][SQL] Não inline UDFs com crianças caras
    • [FAÍSCA-48383][SS] Lançar melhor erro para partições incompatíveis na opção startOffset em Kafka
    • Atualizações de segurança do sistema operacional.
  • 17 de junho de 2024
    • Corrige um bug em que a otimização da janela de classificação usando Photon TopK manipulava incorretamente partições com structs.
    • [FAÍSCA-48276][PYTHON][CONECTAR] Adicione o método ausente __repr__ para SQLExpression
    • [FAÍSCA-48277] Melhorar a mensagem de erro para ErrorClassesJsonReader.getErrorMessage
    • Atualizações de segurança do sistema operacional.
  • 21 de maio de 2024
  • 9 de maio de 2024
    • [FAÍSCA-48044][PYTHON][CONECTAR] Cache DataFrame.isStreaming
    • [FAÍSCA-47956][SQL] Verificação de sanidade para referência de ACV não resolvida
    • [FAÍSCA-47371] [SQL] XML: Ignorar marcas de linha encontradas no CDATA
    • [FAÍSCA-47812][CONECTAR] Suporte à serialização de SparkSession para o trabalhador ForEachBatch
    • [FAÍSCA-47895][SQL] grupo por todos deve ser idempotente
    • [FAÍSCA-47973][CORE] Site de chamada de log em SparkContext.stop() e posterior em SparkContext.assertNotStopped()
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2024
    • [FAÍSCA-47704][SQL] A análise JSON falha com "java.lang.ClassCastException" quando spark.sql.json.enablePartialResults está ativado
    • [FAÍSCA-47828][CONECTAR][PYTHON] DataFrameWriterV2.overwrite falha com plano inválido
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2024
    • [FAÍSCA-47309][SQL][XML] Adicionar testes de unidade de inferência de esquema
    • [FAÍSCA-46990][SQL] Corrigir o carregamento de arquivos Avro vazios emitidos por hubs de eventos
    • [FAÍSCA-47638][PS][CONECTAR] Ignorar validação de nome de coluna no PS
    • [FAÍSCA-47509][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
    • [FAÍSCA-38708][SQL] Atualize o Hive Metastore Client para a versão 3.1.3 do Hive 3.1
    • Atualizações de segurança do sistema operacional.
  • 1 de abril de 2024
    • [FAÍSCA-47322][PYTHON][CONECTAR] Tornar withColumnsRenamed o tratamento de duplicação de nomes de colunas consistente com withColumnRenamed
    • [FAÍSCA-47385] Corrija codificadores de tupla com entradas Option.
    • [FAÍSCA-47070] Corrigir agregação inválida após a reescrita da subconsulta
    • [FAÍSCA-47218] [SQL] XML: SchemaOfXml alterado para falhar no modo DROPMALFORMED
    • [FAÍSCA-47305][SQL] Corrija PruneFilters para marcar o sinalizador isStreaming de LocalRelation corretamente quando o plano tiver lote e streaming
    • [FAÍSCA-47218][SQL] XML: Ignorar marcas de linha comentadas no tokenizador XML
    • Reverter "[SPARK-46861][CORE] Evitar impasse no DAGScheduler"
    • [FAÍSCA-47300][SQL] quoteIfNeeded se o identificador da cotação começar com dígitos
    • [FAÍSCA-47368][SQL] Remover inferTimestampNTZ config check in ParquetRowConverter
    • Atualizações de segurança do sistema operacional.
  • Março 14, 2024
    • [FAÍSCA-47035][SS][CONECTAR] Protocolo para ouvinte do lado do cliente
    • [FAÍSCA-47121][CORE] Evite RejectedExecutionExceptions durante o desligamento StandaloneSchedulerBackend
    • [FAÍSCA-47145][SQL] Passe o identificador da tabela para o exec de verificação da fonte de dados de linha para a estratégia V2.
    • [FAÍSCA-47176][SQL] Ter uma função auxiliar ResolveAllExpressionsUpWithPruning
    • [FAÍSCA-47167][SQL] Adicionar classe concreta para relação anônima JDBC
    • [FAÍSCA-47129][CONECTAR][SQL] Fazer ResolveRelations o plano de conexão de cache corretamente
    • [FAÍSCA-47044][SQL] Adicionar consulta executada para fontes de dados externas JDBC para explicar a saída
    • Atualizações de segurança do sistema operacional.
  • 29 de fevereiro de 2024
    • Corrigido um problema em que o uso de uma coleção local como origem em um comando MERGE poderia resultar na métrica de operação numSourceRows relatando o dobro do número correto de linhas.
    • Criar um esquema com um local definido agora requer que o usuário tenha privilégios SELECT e MODIFY em QUALQUER ARQUIVO.
    • Agora você pode ingerir arquivos XML usando Autoloader, read_files, COPY INTO, DLT e DBSQL. O suporte a arquivos XML pode inferir e evoluir automaticamente o esquema, resgatar dados com incompatibilidades de tipo, validar XML usando XSD, suportar expressões SQL como from_xml, schema_of_xml e to_xml. Consulte Suporte a arquivos XML para obter mais detalhes. Se você já estava usando o pacote spark-xml externo, consulte aqui para obter orientações sobre migração.
    • [FAÍSCA-46954][SQL] XML: Wrap InputStreamReader com BufferedReader
    • [FAÍSCA-46630][SQL] XML: Validar o nome do elemento XML na gravação
    • [FAÍSCA-46248][SQL] XML: Suporte para as opções ignoreCorruptFiles e ignoreMissingFiles
    • [FAÍSCA-46954][SQL] XML: Otimizar a pesquisa de índice de esquema
    • [FAÍSCA-47059][SQL] Anexar contexto de erro para o comando ALTER COLUMN v1
    • [FAÍSCA-46993][SQL] Corrigir dobragem constante para variáveis de sessão
  • 8 de fevereiro de 2024
    • Não há suporte para consultas de feed de dados (CDF) de alteração em exibições materializadas do Catálogo Unity, e a tentativa de executar uma consulta CDF com uma exibição materializada do Catálogo Unity retorna um erro. As tabelas do Unity Catalog Streaming suportam consultas CDF em não-tabelasAPPLY CHANGES no Databricks Runtime 14.1 e posterior. As consultas CDF não são suportadas com tabelas do Unity Catalog Streaming no Databricks Runtime 14.0 e anteriores.
    • [FAÍSCA-46930] Adicione suporte para um prefixo personalizado para campos de tipo União no Avro.
    • [FAÍSCA-46822] Respeite spark.sql.legacy.charVarcharAsString ao transmitir o tipo jdbc para o tipo catalyst no jdbc.
    • [FAÍSCA-46952] XML: Limite o tamanho do registro corrompido.
    • [FAÍSCA-46644] Altere adicionar e mesclar no SQLMetric para usar isZero.
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • [FAÍSCA-46794] Remova subconsultas de restrições LogicalRDD.
    • [FAÍSCA-46941] Não é possível inserir o nó de limite do grupo de janelas para computação top-k se contiver SizeBasedWindowFunction.
    • [FAÍSCA-46933] Adicione a métrica de tempo de execução da consulta aos conectores que usam JDBCRDD.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • [FAÍSCA-46382] XML: Documento de atualização para ignoreSurroundingSpaces.
    • [FAÍSCA-46382] XML: Captura valores intercalados entre elementos.
    • [FAÍSCA-46763] Corrija a falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
    • Reverter [SPARK-46769] Refine a inferência de esquema relacionada ao carimbo de data/hora.
    • [FAÍSCA-46677] Corrija dataframe["*"] a resolução.
    • [FAÍSCA-46382] XML: Default ignoreSurroundingSpaces como true.
    • [FAÍSCA-46633] Corrija o leitor Avro para lidar com blocos de comprimento zero.
    • [FAÍSCA-45964] Remova o acessador sql privado no pacote XML e JSON no pacote catalyst.
    • [FAÍSCA-46581] Comentário de atualização sobre isZero em AccumulatorV2.
    • [FAÍSCA-45912] Aprimoramento da API XSDToSchema: Mude para a API HDFS para acessibilidade de armazenamento em nuvem.
    • [FAÍSCA-45182] Ignore a conclusão da tarefa do estágio antigo depois de tentar novamente o estágio indeterminado pai, conforme determinado pela soma de verificação.
    • [FAÍSCA-46660] ReattachExecute solicita atualizações de vitalidade de SessionHolder.
    • [FAÍSCA-46610] Criar tabela deve lançar exceção quando nenhum valor para uma chave em opções.
    • [FAÍSCA-46383] Reduza o uso de pilha de driver reduzindo a vida útil do TaskInfo.accumulables().
    • [FAÍSCA-46769] Refine a inferência de esquema relacionada ao carimbo de data/hora.
    • [FAÍSCA-46684] Corrija CoGroup.applyInPandas/Arrow para passar argumentos corretamente.
    • [FAÍSCA-46676] dropDuplicatesWithinWatermark não deve falhar na canonicalização do plano.
    • [FAÍSCA-45962] Remova treatEmptyValuesAsNulls e use nullValue a opção em vez disso em XML.
    • [FAÍSCA-46541] Corrija a referência de coluna ambígua na associação automática.
    • [FAÍSCA-46599] XML: Use TypeCoercion.findTightestCommonType para verificação de compatibilidade.
    • Atualizações de segurança do sistema operacional.
  • 17 de janeiro de 2024
    • O shuffle nó do plano explicativo retornado por uma consulta Photon é atualizado para adicionar o causedBroadcastJoinBuildOOM=true sinalizador quando ocorre um erro de falta de memória durante um shuffle que faz parte de uma associação de transmissão.
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-46261]DataFrame.withColumnsRenamed deve manter a ordem do ditado/mapa.
    • [FAÍSCA-46538] Corrija o problema de referência de coluna ambígua no ALSModel.transform.
    • [FAÍSCA-46145] spark.catalog.listTables não lança exceção quando a tabela ou exibição não é encontrada.
    • [FAÍSCA-46484] Faça resolveOperators com que as funções auxiliares mantenham a ID do plano.
    • [FAÍSCA-46394] Corrija problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true.
    • [FAÍSCA-46609] Evite explosões exponenciais em PartitioningPreservingUnaryExecNode.
    • [FAÍSCA-46446] Desative subconsultas com OFFSET correlacionado para corrigir bugs de correção.
    • [FAÍSCA-46152] XML: Adicione suporte a DecimalType na inferência de esquema XML.
    • [FAÍSCA-46602] Propagar allowExisting na criação de modo de exibição quando o modo de exibição/tabela não existir.
    • [FAÍSCA-45814] Faça ArrowConverters.createEmptyArrowBatch call close() para evitar vazamento de memória.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
    • [FAÍSCA-46600] Mova o código compartilhado entre SqlConf e SqlApiConf para SqlApiConfHelper.
    • [FAÍSCA-46478] Reverta SPARK-43049 para usar oracle varchar(255) para string.
    • [FAÍSCA-46417] Não falhe ao chamar hive.getTable e throwException for false.
    • [FAÍSCA-46153] XML: Adicionar suporte a TimestampNTZType.
    • [FAÍSCA-46056][BACKPORT] Corrija o NPE de leitura vetorizado do Parquet com o valor padrão byteArrayDecimalType.
    • [FAÍSCA-46466] O leitor de parquet vetorizado nunca deve fazer rebase para ntz de carimbo de data/hora.
    • [FAÍSCA-46260]DataFrame.withColumnsRenamed deve respeitar a ordem do ditado.
    • [FAÍSCA-46036] Removendo a classe de erro de raise_error função.
    • [FAÍSCA-46294] Limpe a semântica do valor init vs zero.
    • [FAÍSCA-46173] Pular corteTodas as chamadas durante a análise de data.
    • [FAÍSCA-46250] Deflake test_parity_listener.
    • [FAÍSCA-46587] XML: Corrija a conversão de inteiros grandes XSD.
    • [FAÍSCA-46396] A inferência de carimbo de data/hora não deve lançar exceção.
    • [FAÍSCA-46241] Corrija a rotina de tratamento de erros para que não caia em recursão infinita.
    • [FAÍSCA-46355] XML: Feche InputStreamReader na conclusão da leitura.
    • [FAÍSCA-46370] Corrija o bug ao consultar a partir da tabela depois de alterar os padrões da coluna.
    • [FAÍSCA-46265] As asserções em AddArtifact RPC tornam o cliente de conexão incompatível com clusters mais antigos.
    • [FAÍSCA-46308] Proibir o tratamento de erros recursivos.
    • [FAÍSCA-46337] Faça CTESubstitution reter o PLAN_ID_TAG.
  • 14 de dezembro de 2023
    • [FAÍSCA-46141] Altere o padrão de spark.sql.legacy.ctePrecedencePolicy para CORRIGIDO.
    • [FAÍSCA-45730] Torne o ReloadingX509TrustManagerSuite menos descamativo.
    • [FAÍSCA-45852] Lide graciosamente com o erro de recursão durante o registro.
    • [FAÍSCA-45808] Melhor tratamento de erros para exceções SQL.
    • [FAÍSCA-45920] grupo por ordinal deve ser idempotente.
    • Reverter "[SPARK-45649] Unifique a estrutura de preparação para OffsetWindowFunctionFrame".
    • [FAÍSCA-45733] Ofereça suporte a várias políticas de repetição.
    • [FAÍSCA-45509] Corrija o comportamento de referência da coluna df para o Spark Connect.
    • [FAÍSCA-45655] Permita expressões não determinísticas dentro de AggregateFunctions em CollectMetrics.
    • [FAÍSCA-45905] O tipo menos comum entre os tipos decimais deve manter os dígitos integrais primeiro.
    • [FAÍSCA-45136] Melhore o ClosureCleaner com suporte de amonite.
    • [FAÍSCA-46255] Suporte tipo complexo -> conversão de string.
    • [FAÍSCA-45859] Torne os objetos UDF em ml.functions preguiçosos.
    • [FAÍSCA-46028] Fazer Column.__getitem__ aceitar coluna de entrada.
    • [FAÍSCA-45798] Declare a ID da sessão do lado do servidor.
    • [FAÍSCA-45892] Validação do plano do otimizador de refatoração para desacoplar validateSchemaOutput e validateExprIdUniqueness.
    • [FAÍSCA-45844] Implemente a indiferenciação de maiúsculas e minúsculas para XML.
    • [FAÍSCA-45770] Introduza o plano DataFrameDropColumns para Dataframe.drop.
    • [FAÍSCA-44790] XML: to_xml implementação e ligações para python, connect e SQL.
    • [FAÍSCA-45851] Suporte a várias políticas no cliente scala.
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • Corrigido um problema em que sublinhados escapados em getColumns operações originadas de clientes JDBC ou ODBC eram erroneamente interpretados como curingas.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-45852] O cliente Python para Spark Connect agora deteta erros de recursão durante a conversão de texto.
    • [FAÍSCA-45808] Tratamento de erros melhorado para exceções SQL.
    • [FAÍSCA-45920]GROUP BY ordinal is não substitui o ordinal.
    • Reverter [SPARK-45649].
    • [FAÍSCA-45733] Adicionado suporte para várias políticas de repetição.
    • [FAÍSCA-45509] Comportamento de referência de coluna fixo df para o Spark Connect.
    • [FAÍSCA-45655] Permitir expressões não determinísticas dentro AggregateFunctions do CollectMetrics.
    • [FAÍSCA-45905] O tipo menos comum entre os tipos decimais agora retém dígitos integrais primeiro.
    • [FAÍSCA-45136] Melhore ClosureCleaner com o suporte de amonite.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • [FAÍSCA-46028]Column.__getitem__ aceita colunas de entrada.
    • [FAÍSCA-45798] Declare a ID da sessão do lado do servidor.
    • [FAÍSCA-45892] Validação do plano do otimizador de refatoração para desacoplar validateSchemaOutput e validateExprIdUniqueness.
    • [FAÍSCA-45844] Implemente a indiferenciação de maiúsculas e minúsculas para XML.
    • [FAÍSCA-45770] Resolução de coluna fixa com DataFrameDropColumns for Dataframe.drop.
    • [FAÍSCA-44790] Adicionada to_xml implementação e ligações para Python, Spark Connect e SQL.
    • [FAÍSCA-45851] Adicionado suporte para várias políticas no cliente Scala.
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 14.0

Consulte Databricks Runtime 14.0 (EoS).

  • 8 de fevereiro de 2024
    • [FAÍSCA-46396] A inferência de carimbo de data/hora não deve lançar exceção.
    • [FAÍSCA-46794] Remova subconsultas de restrições LogicalRDD.
    • [FAÍSCA-45182] Ignore a conclusão da tarefa do estágio antigo depois de tentar novamente o estágio indeterminado pai, conforme determinado pela soma de verificação.
    • [FAÍSCA-46933] Adicione a métrica de tempo de execução da consulta aos conectores que usam JDBCRDD.
    • [FAÍSCA-45957] Evite gerar plano de execução para comandos não executáveis.
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • [FAÍSCA-46930] Adicione suporte para um prefixo personalizado para campos de tipo União no Avro.
    • [FAÍSCA-46941] Não é possível inserir o nó de limite do grupo de janelas para computação top-k se contiver SizeBasedWindowFunction.
    • [FAÍSCA-45582] Certifique-se de que a instância de armazenamento não seja usada depois de chamar a confirmação na agregação de streaming no modo de saída.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • [FAÍSCA-46541] Corrija a referência de coluna ambígua na associação automática.
    • [FAÍSCA-46676] dropDuplicatesWithinWatermark não deve falhar na canonicalização do plano.
    • [FAÍSCA-46769] Refine a inferência de esquema relacionada ao carimbo de data/hora.
    • [FAÍSCA-45498] Acompanhamento: Ignore a conclusão de tarefas de tentativas de estágio antigas.
    • Reverter [SPARK-46769] Refine a inferência de esquema relacionada ao carimbo de data/hora.
    • [FAÍSCA-46383] Reduza o uso de pilha de driver reduzindo a vida útil do TaskInfo.accumulables().
    • [FAÍSCA-46633] Corrija o leitor Avro para lidar com blocos de comprimento zero.
    • [FAÍSCA-46677] Corrija dataframe["*"] a resolução.
    • [FAÍSCA-46684] Corrija CoGroup.applyInPandas/Arrow para passar argumentos corretamente.
    • [FAÍSCA-46763] Corrija a falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
    • [FAÍSCA-46610] Criar tabela deve lançar exceção quando nenhum valor para uma chave em opções.
    • Atualizações de segurança do sistema operacional.
  • 17 de janeiro de 2024
    • O shuffle nó do plano explicativo retornado por uma consulta Photon é atualizado para adicionar o causedBroadcastJoinBuildOOM=true sinalizador quando ocorre um erro de falta de memória durante um shuffle que faz parte de uma associação de transmissão.
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-46394] Corrija problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true.
    • [FAÍSCA-46250] Deflake test_parity_listener.
    • [FAÍSCA-45814] Faça ArrowConverters.createEmptyArrowBatch call close() para evitar vazamento de memória.
    • [FAÍSCA-46173] Pular corteTodas as chamadas durante a análise de data.
    • [FAÍSCA-46484] Faça resolveOperators com que as funções auxiliares mantenham a ID do plano.
    • [FAÍSCA-46466] O leitor de parquet vetorizado nunca deve fazer rebase para ntz de carimbo de data/hora.
    • [FAÍSCA-46056] Corrija o NPE de leitura vetorizado do Parquet com o valor padrão byteArrayDecimalType.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
    • [FAÍSCA-46478] Reverta SPARK-43049 para usar oracle varchar(255) para string.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
    • [FAÍSCA-46417] Não falhe ao chamar hive.getTable e throwException for false.
    • [FAÍSCA-46261]DataFrame.withColumnsRenamed deve manter a ordem do ditado/mapa.
    • [FAÍSCA-46370] Corrija o bug ao consultar a partir da tabela depois de alterar os padrões da coluna.
    • [FAÍSCA-46609] Evite explosões exponenciais em PartitioningPreservingUnaryExecNode.
    • [FAÍSCA-46600] Mova o código compartilhado entre SqlConf e SqlApiConf para SqlApiConfHelper.
    • [FAÍSCA-46538] Corrija o problema de referência de coluna ambígua no ALSModel.transform.
    • [FAÍSCA-46337] Faça CTESubstitution reter o PLAN_ID_TAG.
    • [FAÍSCA-46602] Propagar allowExisting na criação de modo de exibição quando o modo de exibição/tabela não existir.
    • [FAÍSCA-46260]DataFrame.withColumnsRenamed deve respeitar a ordem do ditado.
    • [FAÍSCA-46145] spark.catalog.listTables não lança exceção quando a tabela ou exibição não é encontrada.
  • 14 de dezembro de 2023
    • Corrigido um problema em que sublinhados escapados em operações getColumns originadas de clientes JDBC ou ODBC eram manipulados incorretamente e interpretados como curingas.
    • [FAÍSCA-46255] Suporte tipo complexo -> conversão de string.
    • [FAÍSCA-46028] Fazer Column.__getitem__ aceitar coluna de entrada.
    • [FAÍSCA-45920] grupo por ordinal deve ser idempotente.
    • [FAÍSCA-45433] Corrija a inferência do esquema CSV/JSON quando os carimbos de data/hora não corresponderem ao timestampFormat especificado.
    • [FAÍSCA-45509] Corrija o comportamento de referência da coluna df para o Spark Connect.
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • Corrigido um problema em que sublinhados escapados em getColumns operações originadas de clientes JDBC ou ODBC eram erroneamente interpretados como curingas.
    • Ao ingerir dados CSV usando o Auto Loader ou tabelas de streaming, arquivos CSV grandes agora são dividiveis e podem ser processados em paralelo durante a inferência de esquema e o processamento de dados.
    • O conector faísca-floco de neve é atualizado para 2.12.0.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • Reverter [SPARK-45592].
    • [FAÍSCA-45892] Validação do plano do otimizador de refatoração para desacoplar validateSchemaOutput e validateExprIdUniqueness.
    • [FAÍSCA-45592] Corrigido o problema de correção no AQE com InMemoryTableScanExeco .
    • [FAÍSCA-45620] APIs relacionadas ao Python UDF agora usam camelCase.
    • [FAÍSCA-44784] Fez testes do SBT herméticos.
    • [FAÍSCA-45770] Resolução de coluna fixa com DataFrameDropColumns for Dataframe.drop.
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • Atualizações de segurança do sistema operacional.
  • 10 de novembro de 2023
    • Consultas de feed de dados alteradas em tabelas de streaming do Catálogo Unity e exibições materializadas para exibir mensagens de erro.
    • [FAÍSCA-45545]SparkTransportConf herda após a SSLOptions criação.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-45430]FramelessOffsetWindowFunction já não falha quando IGNORE NULLS e offset > rowCount.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [FAÍSCA-44219] Adicionadas validações extras por regra para regravações de otimização.
    • [FAÍSCA-45543] Corrigido um problema em que InferWindowGroupLimit se gerava um erro se as outras funções da janela não tivessem a mesma moldura de janela que as funções de classificação.
    • Atualizações de segurança do sistema operacional.
  • 23 de outubro de 2023
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • [FAÍSCA-45396] Adicionada entrada doc para PySpark.ml.connect módulo e adicionada Evaluator a __all__ em ml.connect.
    • [FAÍSCA-45256] Corrigido um problema em que DurationWriter falhava ao escrever mais valores do que a capacidade inicial.
    • [FAÍSCA-45279] Anexado plan_id a todos os planos lógicos.
    • [FAÍSCA-45250] Adicionado suporte para perfil de recurso de tarefa em nível de estágio para clusters de fios quando a alocação dinâmica está desativada.
    • [FAÍSCA-45182] Adicionado suporte para reverter o estágio do mapa aleatório para que todas as tarefas do estágio possam ser repetidas quando a saída do palco for indeterminada.
    • [FAÍSCA-45419] Evite reutilizar rocksdb sst arquivos em uma instância diferente rocksdb removendo entradas de mapa de versão de arquivo de versões maiores.
    • [FAÍSCA-45386] Corrigido um problema em que StorageLevel.NONE retornava incorretamente 0.
    • Atualizações de segurança do sistema operacional.
  • 13 de outubro de 2023
    • Dependência de flocos de neve-jdbc atualizada de 3.13.29 para 3.13.33.
    • A array_insert função é baseada em 1 para índices positivos e negativos, enquanto antes, era baseada em 0 para índices negativos. Ele agora insere um novo elemento no final das matrizes de entrada para o índice -1. Para restaurar o comportamento anterior, defina spark.sql.legacy.negativeIndexInArrayInsert como true.
    • O Azure Databricks não ignora mais arquivos corrompidos quando uma inferência de esquema CSV com o Auto Loader habilita ignoreCorruptFileso .
    • [FAÍSCA-45227] Corrigido um problema sutil de segurança de threads com CoarseGrainedExecutorBackendo .
    • [FAÍSCA-44658]ShuffleStatus.getMapStatus deve retornar None em vez de Some(null).
    • [FAÍSCA-44910]Encoders.bean não suporta superclasses com argumentos de tipo genéricos.
    • [FAÍSCA-45346] A inferência do esquema Parquet respeita sinalizadores que diferenciam maiúsculas de minúsculas ao mesclar o esquema.
    • Reverter [SPARK-42946].
    • [FAÍSCA-42205] Atualizado o protocolo JSON para remover o registro de acumulaveis em uma tarefa ou eventos de início de estágio.
    • [FAÍSCA-45360] O construtor de sessões do Spark suporta a inicialização a partir do SPARK_REMOTE.
    • [FAÍSCA-45316] Adicione novos parâmetros ignoreCorruptFiles/ignoreMissingFiles a HadoopRDD e NewHadoopRDD.
    • [FAÍSCA-44909] Ignore a execução do servidor de streaming de log do distribuidor da tocha quando ele não estiver disponível.
    • [FAÍSCA-45084]StateOperatorProgress agora usa um número de partição aleatório preciso.
    • [FAÍSCA-45371] Corrigidos problemas de sombreamento no Spark Connect Scala Client.
    • [FAÍSCA-45178] Fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o wrapper.
    • [FAÍSCA-44840] Faça array_insert() 1 base para índices negativos.
    • [FAÍSCA-44551] Comentários editados para sincronizar com o OSS.
    • [FAÍSCA-45078] A ArrayInsert função agora torna a transmissão explícita quando o tipo de elemento não é igual ao tipo de componente derivado.
    • [FAÍSCA-45339] O PySpark agora registra erros de repetição.
    • [FAÍSCA-45057] Evite adquirir bloqueio de leitura quando keepReadLock for falso.
    • [FAÍSCA-44908] Corrigida a funcionalidade de param do validador foldCol cruzado.
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 13.1

Consulte Databricks Runtime 13.1 (EoS).

  • 29 de novembro de 2023
    • Corrigido um problema em que sublinhados escapados em getColumns operações originadas de clientes JDBC ou ODBC eram erroneamente interpretados como curingas.
    • [FAÍSCA-44846] Removidas expressões de agrupamento complexo após RemoveRedundantAggregates.
    • [FAÍSCA-43802] Corrigido um problema em que o codegen para expressões unhex e unbase64 falhava.
    • [FAÍSCA-43718] Corrigida a anulabilidade para chaves em USING junções.
    • Atualizações de segurança do sistema operacional.
  • 14 de novembro de 2023
    • Os filtros de partição nas consultas de streaming Delta Lake são empurrados para baixo antes do limite de taxa para obter uma melhor utilização.
    • Consultas de feed de dados alteradas em tabelas do Unity Catalog Streaming e exibições materializadas para exibir mensagens de erro.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45430]FramelessOffsetWindowFunction já não falha quando IGNORE NULLS e offset > rowCount.
    • [FAÍSCA-45543] Corrigido um problema que InferWindowGroupLimit causava um problema se as outras funções da janela não tivessem a mesma moldura da janela que as funções de classificação.
    • Atualizações de segurança do sistema operacional.
  • 24 de outubro de 2023
    • [FAÍSCA-43799] Adicionada opção binária do descritor à API do PySpark Protobuf .
    • Reverter [SPARK-42946].
    • [FAÍSCA-45346] A inferência do esquema Parquet agora respeita o sinalizador que diferencia maiúsculas de minúsculas ao mesclar um esquema.
    • Atualizações de segurança do sistema operacional.
  • 13 de outubro de 2023
    • Dependência de flocos de neve-jdbc atualizada de 3.13.29 para 3.13.33.
    • Não ignora mais arquivos corrompidos quando ignoreCorruptFiles é ativado durante a inferência de esquema CSV com o Auto Loader.
    • [FAÍSCA-44658]ShuffleStatus.getMapStatus retorna None em vez de Some(null).
    • [FAÍSCA-45178] Fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o wrapper.
    • [FAÍSCA-42205] Atualizado o protocolo JSON para remover o registro de acumulaveis em uma tarefa ou eventos de início de estágio.
    • Atualizações de segurança do sistema operacional.
  • 12 de setembro de 2023
    • [FAÍSCA-44718] Corresponder ColumnVector o padrão de configuração do modo de memória ao OffHeapMemoryMode valor de configuração.
    • SPARK-44878 Desativado o limite estrito para RocksDB o gerenciador de gravação para evitar a exceção de inserção no cache concluído.
    • Correções diversas.
  • 30 de agosto de 2023
    • [FAÍSCA-44871] Corrigido 'percentile_disc comportamento.
    • [FAÍSCA-44714] Facilite a restrição da resolução de LCA em relação a consultas.
    • [FAÍSCA-44245]PySpark.sql.dataframe sample() Os testes DOC são agora apenas ilustrativos.
    • [FAÍSCA-44818] Corrida fixa para interrupção de tarefa pendente emitida antes taskThread de ser inicializada.
    • Atualizações de segurança do sistema operacional.
  • 15 de agosto de 2023
    • [FAÍSCA-44485] Otimizado TreeNode.generateTreeString.
    • [FAÍSCA-44643] Corrigido Row.__repr__ quando a linha está vazia.
    • [FAÍSCA-44504] A tarefa de manutenção agora limpa os provedores carregados em caso de erro de parada.
    • [FAÍSCA-44479] Conversão fixa protobuf de um tipo struct vazio.
    • [FAÍSCA-44464] Corrigido applyInPandasWithStatePythonRunner para linhas de saída que têm Null como o valor da primeira coluna.
    • Correções diversas.
  • 27 de julho de 2023
    • Corrigido um problema que dbutils.fs.ls() era retornado INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando chamado para um caminho de local de armazenamento que colidia com outro local de armazenamento externo ou gerenciado.
    • [FAÍSCA-44199]CacheManager já não refresca o fileIndex desnecessariamente.
    • [FAÍSCA-44448] Corrigido bug de resultados errados de DenseRankLimitIterator e InferWindowGroupLimit.
    • Atualizações de segurança do sistema operacional.
  • 24 de julho de 2023
    • Reverter [SPARK-42323].
    • [FAÍSCA-41848] Corrigido o problema de excesso de agendamento de tarefas com TaskResourceProfileo .
    • [FAÍSCA-44136] Corrigido um problema em que StateManager seria materializado em um executor em vez do driver em FlatMapGroupsWithStateExec.
    • [FAÍSCA-44337] Corrigido um problema em que qualquer campo definido como Any.getDefaultInstance causava erros de análise.
    • Atualizações de segurança do sistema operacional.
  • 27 de junho de 2023
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2023
    • Fotonizado approx_count_distinct.
    • O analisador JSON no failOnUnknownFields modo agora descarta o registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • O PubSubRecord campo de atributos é armazenado como JSON em vez da cadeia de caracteres de um mapa Scala para serialização e desserialização mais diretas.
    • O EXPLAIN EXTENDED comando agora retorna a elegibilidade do cache de resultados da consulta.
    • Melhore o desempenho de atualizações incrementais com SHALLOW CLONE o Iceberg e o Parquet.
    • [FAÍSCA-43032] Correção de bugs do Python SQM.
    • [FAÍSCA-43404]Ignore a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar o erro de incompatibilidade de ID.
    • [FAÍSCA-43340] Manipule o campo de rastreamento de pilha ausente em logs de eventos.
    • [FAÍSCA-43527] Corrigido catalog.listCatalogs no PySpark.
    • [FAÍSCA-43541] Propagar todas as Project tags na resolução de expressões e colunas ausentes.
    • [FAÍSCA-43300]NonFateSharingCache wrapper para Guava Cache.
    • [FAÍSCA-43378] Feche corretamente os objetos de fluxo no deserializeFromChunkedBuffer.
    • [FAÍSCA-42852] Reverter NamedLambdaVariable alterações relacionadas de EquivalentExpressions.
    • [FAÍSCA-43779]ParseToDate agora carrega EvalMode no thread principal.
    • [FAÍSCA-43413] Corrija a IN anulabilidade da subconsulta ListQuery .
    • [FAÍSCA-43889] Adicione a verificação do nome da coluna para __dir__() filtrar nomes de coluna propensos a erros.
    • [FAÍSCA-43043] Melhorou o desempenho de MapOutputTracker.updateMapOutput
    • [FAÍSCA-43522] Corrigido criando nome de coluna struct com índice de matriz.
    • [FAÍSCA-43457] Augument user agent com versões OS, Python e Spark.
    • [FAÍSCA-43286] Modo CBC atualizado aes_encrypt para gerar IVs aleatórios.
    • [FAÍSCA-42851] Guarda EquivalentExpressions.addExpr() com supportedExpression().
    • Reverter [SPARK-43183].
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 12.2 LTS

Consulte Databricks Runtime 12.2 LTS.

  • 29 de novembro de 2023
    • Corrigido um problema em que sublinhados escapados em getColumns operações originadas de clientes JDBC ou ODBC eram erroneamente interpretados como curingas.
    • [FAÍSCA-42205] Removidos os acumuláveis de registro e StageTask iniciar eventos.
    • [FAÍSCA-44846] Removidas expressões de agrupamento complexo após RemoveRedundantAggregates.
    • [FAÍSCA-43718] Corrigida a anulabilidade para chaves em USING junções.
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-43973] A interface do usuário de streaming estruturada agora exibe consultas com falha corretamente.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • Atualizações de segurança do sistema operacional.
  • 14 de novembro de 2023
    • Os filtros de partição nas consultas de streaming Delta Lake são empurrados para baixo antes do limite de taxa para obter uma melhor utilização.
    • [FAÍSCA-45545]SparkTransportConf herda após a SSLOptions criação.
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-45430]FramelessOffsetWindowFunction já não falha quando IGNORE NULLS e offset > rowCount.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • Atualizações de segurança do sistema operacional.
  • 24 de outubro de 2023
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Correções diversas.
  • 13 de outubro de 2023
    • Dependência de flocos de neve-jdbc atualizada de 3.13.29 para 3.13.33.
    • [FAÍSCA-42553] Certifique-se de pelo menos uma unidade de tempo após o intervalo.
    • [FAÍSCA-45346] A inferência do esquema Parquet respeita o sinalizador sensível a maiúsculas e minúsculas ao mesclar o esquema.
    • [FAÍSCA-45178] Fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o wrapper.
    • [FAÍSCA-45084]StateOperatorProgress para usar um número de partição aleatório preciso e adequado.
  • 12 de setembro de 2023
    • [FAÍSCA-44873] Adicionado suporte para alter view colunas aninhadas no cliente Hive.
    • [FAÍSCA-44718] Corresponder ColumnVector o padrão de configuração do modo de memória ao OffHeapMemoryMode valor de configuração.
    • [FAÍSCA-43799] Adicionada opção binária do descritor à API do PySpark Protobuf .
    • Correções diversas.
  • 30 de agosto de 2023
    • [FAÍSCA-44485] Otimizado TreeNode.generateTreeString.
    • [FAÍSCA-44818] Corrida fixa para interrupção de tarefa pendente emitida antes taskThread de ser inicializada.
    • [FAÍSCA-44871][11.3-13.0] Comportamento fixo percentile_disc .
    • [FAÍSCA-44714] Flexibilização da restrição da resolução de ACV em relação a consultas.
    • Atualizações de segurança do sistema operacional.
  • 15 de agosto de 2023
    • [FAÍSCA-44504] A tarefa de manutenção limpa os fornecedores carregados em caso de erro de paragem.
    • [FAÍSCA-44464] Corrigido applyInPandasWithStatePythonRunner para linhas de saída que têm Null como o valor da primeira coluna.
    • Atualizações de segurança do sistema operacional.
  • 29 de julho de 2023
    • Corrigido um problema que dbutils.fs.ls() era retornado INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando chamado para um caminho de local de armazenamento que colidia com outro local de armazenamento externo ou gerenciado.
    • [FAÍSCA-44199]CacheManager já não refresca o fileIndex desnecessariamente.
    • Atualizações de segurança do sistema operacional.
  • 24 de julho de 2023
    • [FAÍSCA-44337] Corrigido um problema em que qualquer campo definido como Any.getDefaultInstance causava erros de análise.
    • [FAÍSCA-44136] Corrigido um problema em que StateManager seria materializado em um executor em vez do driver em FlatMapGroupsWithStateExec.
    • Atualizações de segurança do sistema operacional.
  • 23 de junho de 2023
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2023
    • Fotonizado approx_count_distinct.
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • [FAÍSCA-43779]ParseToDate agora carrega EvalMode no thread principal.
    • [FAÍSCA-43156][FAÍSCA-43098] Teste de erro de contagem de subconsulta escalar estendida com decorrelateInnerQuery desativado.
    • Atualizações de segurança do sistema operacional.
  • 2 de junho de 2023
    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Melhore o desempenho de atualizações incrementais com SHALLOW CLONE o Iceberg e o Parquet.
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-43404] Ignore a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar o erro de incompatibilidade de ID.
    • [FAÍSCA-43413][11.3-13.0] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • [FAÍSCA-43522] Corrigido criando nome de coluna struct com índice de matriz.
    • [FAÍSCA-43541] Propagar todas as Project tags na resolução de expressões e colunas ausentes.
    • [FAÍSCA-43527] Corrigido catalog.listCatalogs no PySpark.
    • [FAÍSCA-43123] Os metadados de campo interno não vazam mais para catálogos.
    • [FAÍSCA-43340] Corrigido o campo de rastreamento de pilha ausente nos logs de eventos.
    • [FAÍSCA-42444]DataFrame.drop agora lida com colunas duplicadas corretamente.
    • [FAÍSCA-42937]PlanSubqueries agora define InSubqueryExec#shouldBroadcast como true.
    • [FAÍSCA-43286] Modo CBC atualizado aes_encrypt para gerar IVs aleatórios.
    • [FAÍSCA-43378] Feche corretamente os objetos de fluxo no deserializeFromChunkedBuffer.
  • 17 de maio de 2023
    • As varreduras de parquet agora são robustas contra OOMs ao examinar arquivos excepcionalmente estruturados, ajustando dinamicamente o tamanho do lote. Os metadados do arquivo são analisados para reduzir preventivamente o tamanho do lote e são reduzidos novamente em novas tentativas de tarefas como uma rede de segurança final.
    • Se um arquivo Avro fosse lido apenas com a failOnUnknownFields opção ou com o Auto Loader no modo de evolução do esquema, as failOnNewColumns colunas que têm tipos de dados diferentes seriam lidas como null em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a rescuedDataColumn opção.
    • Auto Loader agora faz o seguinte.
      • Lê corretamente e não resgata mais , Integere Short digita Bytese um desses tipos de dados for fornecido, mas o arquivo Avro sugere um dos outros dois tipos.
      • Impede a leitura de tipos de intervalo como tipos de carimbo de data ou hora para evitar datas corrompidas.
      • Evita a leitura Decimal de tipos com menor precisão.
    • [FAÍSCA-43172] Expõe host e token do cliente Spark connect.
    • [FAÍSCA-43293]__qualified_access_only é ignorado em colunas normais.
    • [FAÍSCA-43098] Corrigido o erro de correção COUNT quando a subconsulta escalar é agrupada por cláusula.
    • [FAÍSCA-43085] Suporte para atribuição de colunas DEFAULT para nomes de tabelas com várias partes.
    • [FAÍSCA-43190]ListQuery.childOutput é agora consistente com a produção secundária.
    • [FAÍSCA-43192] Removida a validação do conjunto de caracteres do agente do usuário.
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2023
    • Se um arquivo Parquet fosse lido apenas com a failOnUnknownFields opção ou com o Auto Loader no modo de evolução do esquema, as failOnNewColumns colunas que tivessem diferentes tipos de dados seriam lidas como null em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a rescuedDataColumn opção.
    • O Auto Loader agora lê corretamente e não resgata mais , Integere Short digita Bytese um desses tipos de dados for fornecido. O arquivo Parquet sugere um dos outros dois tipos. Quando a coluna de dados resgatada estava habilitada anteriormente, a incompatibilidade de tipo de dados fazia com que as colunas fossem salvas mesmo que fossem legíveis.
    • [FAÍSCA-43009] Parametrizado sql() com Any constantes
    • [FAÍSCA-42406] Encerrar campos recursivos do Protobuf soltando o campo
    • [FAÍSCA-43038] Apoie o modo CBC por aes_encrypt()/aes_decrypt()
    • [FAÍSCA-42971] Alterar para imprimir workdir se appDirs for nulo quando o trabalhador manipular WorkDirCleanup evento
    • [FAÍSCA-43018] Corrigir bug para comandos INSERT com literais de carimbo de data/hora
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2023
    • Ofereça suporte a formatos de fonte de dados herdados no SYNC comando.
    • Corrige um problema no comportamento %autoreload em blocos de anotações fora de um repositório.
    • Corrigido um problema em que a evolução do esquema do Auto Loader podia entrar em um loop de falha infinito quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [FAÍSCA-42928] Faz resolvePersistentFunction sincronizado.
    • [FAÍSCA-42936] Corrige o problema de LCan quando a cláusula pode ser resolvida diretamente por sua agregação filha.
    • [FAÍSCA-42967] Corrige SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada após o cancelamento do estágio.
    • Atualizações de segurança do sistema operacional.
  • 29 de março de 2023

    • O Databricks SQL agora oferece suporte à especificação de valores padrão para colunas de tabelas Delta Lake, no momento da criação da tabela ou depois. Os comandos subsequentes INSERT, UPDATE, DELETEe MERGE podem referir-se ao valor padrão de qualquer coluna usando a palavra-chave explícita DEFAULT . Além disso, se qualquer INSERT atribuição tiver uma lista explícita de menos colunas do que a tabela de destino, os valores padrão da coluna correspondente serão substituídos pelas colunas restantes (ou NULL se nenhum padrão for especificado).

      Por exemplo:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • O Auto Loader agora inicia pelo menos uma limpeza de log síncrona do RocksDB para Trigger.AvailableNow fluxos para verificar se o ponto de verificação pode ser limpo regularmente para fluxos do Auto Loader de execução rápida. Isso pode fazer com que alguns fluxos demorem mais tempo antes de serem desligados, mas economizará custos de armazenamento e melhorará a experiência do Auto Loader em execuções futuras.

    • Agora você pode modificar uma tabela Delta para adicionar suporte aos recursos da tabela usando DeltaTable.addFeatureSupport(feature_name)o .

    • [FAÍSCA-42794] Aumente o lockAcquireTimeoutMs para 2 minutos para adquirir o armazenamento de estado RocksDB no Structure Streaming

    • [FAÍSCA-42521] Adicionar NULLs para INSERTs com listas especificadas pelo usuário de menos colunas do que a tabela de destino

    • [FAÍSCA-42702][FAÍSCA-42623] Suporte a consulta parametrizada em subconsulta e CTE

    • [FAÍSCA-42668] Exceção de captura ao tentar fechar o fluxo compactado em HDFSStateStoreProvider stop

    • [FAÍSCA-42403] JsonProtocol deve manipular cadeias de caracteres JSON nulas

  • 8 de março de 2023
    • A mensagem de erro "Falha ao inicializar a configuração" foi melhorada para fornecer mais contexto para o cliente.
    • Há uma alteração de terminologia para adicionar recursos a uma tabela Delta usando a propriedade table. A sintaxe preferida é agora 'delta.feature.featureName'='supported' em vez de 'delta.feature.featureName'='enabled'. Para compatibilidade com versões anteriores, o uso 'delta.feature.featureName'='enabled' ainda funciona e continuará a funcionar.
    • A partir desta versão, é possível criar/substituir uma tabela por uma propriedade delta.ignoreProtocolDefaults de tabela adicional para ignorar as configurações do Spark relacionadas ao protocolo, que incluem versões padrão de leitor e gravador e recursos de tabela suportados por padrão.
    • [FAÍSCA-42070] Altere o valor padrão do argumento da função Mask de -1 para NULL
    • [FAÍSCA-41793] Resultado incorreto para quadros de janela definidos por uma cláusula de intervalo em decimais significativos
    • [FAÍSCA-42484] UnsafeRowUtils melhor mensagem de erro
    • [FAÍSCA-42516] Sempre capture a configuração de fuso horário da sessão ao criar exibições
    • [FAÍSCA-42635] Corrija a expressão TimestampAdd.
    • [FAÍSCA-42622] Substituição desativada em valores
    • [FAÍSCA-42534] Corrigir cláusula DB2Dialect Limit
    • [FAÍSCA-42121] Adicione funções internas com valor de tabela posexplode, posexplode_outer, json_tuple e stack
    • [FAÍSCA-42045] Modo ANSI SQL: Round/Bround deve retornar um erro em estouro inteiro minúsculo/pequeno/significativo
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 11.3 LTS

Consulte Databricks Runtime 11.3 LTS.

  • 29 de novembro de 2023
    • Corrigido um problema em que sublinhados escapados em getColumns operações originadas de clientes JDBC ou ODBC eram erroneamente interpretados como curingas.
    • [FAÍSCA-43973] A interface do usuário de streaming estruturada agora exibe consultas com falha corretamente.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • [FAÍSCA-43718] Corrigida a anulabilidade para chaves em USING junções.
    • [FAÍSCA-44846] Removidas expressões de agrupamento complexo após RemoveRedundantAggregates.
    • Atualizações de segurança do sistema operacional.
  • 14 de novembro de 2023
    • Os filtros de partição nas consultas de streaming Delta Lake são empurrados para baixo antes do limite de taxa para obter uma melhor utilização.
    • [FAÍSCA-42205] Removidos os acumuláveis de log nos eventos de início de Estágio e Tarefa.
    • [FAÍSCA-45545]SparkTransportConf herda após a SSLOptions criação.
    • Reverter [SPARK-33861].
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45430]FramelessOffsetWindowFunction já não falha quando IGNORE NULLS e offset > rowCount.
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • Atualizações de segurança do sistema operacional.
  • 24 de outubro de 2023
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Correções diversas.
  • 13 de outubro de 2023
    • Dependência de flocos de neve-jdbc atualizada de 3.13.29 para 3.13.33.
    • [FAÍSCA-45178] Fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o wrapper.
    • [FAÍSCA-45084]StateOperatorProgress para usar um número de partição aleatório preciso e adequado.
    • [FAÍSCA-45346] A inferência do esquema Parquet agora respeita o sinalizador que diferencia maiúsculas de minúsculas ao mesclar um esquema.
    • Atualizações de segurança do sistema operacional.
  • 10 de setembro de 2023
    • Correções diversas.
  • 30 de agosto de 2023
    • [FAÍSCA-44818] Corrida fixa para interrupção de tarefa pendente emitida antes taskThread de ser inicializada.
    • [FAÍSCA-44871][11.3-13.0] Comportamento fixo percentile_disc .
    • Atualizações de segurança do sistema operacional.
  • 15 de agosto de 2023
    • [FAÍSCA-44485] Otimizado TreeNode.generateTreeString.
    • [FAÍSCA-44504] A tarefa de manutenção limpa os fornecedores carregados em caso de erro de paragem.
    • [FAÍSCA-44464] Corrigido applyInPandasWithStatePythonRunner para linhas de saída que têm Null como o valor da primeira coluna.
    • Atualizações de segurança do sistema operacional.
  • 27 de julho de 2023
    • Corrigido um problema que dbutils.fs.ls() era retornado INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando chamado para um caminho de local de armazenamento que colidia com outro local de armazenamento externo ou gerenciado.
    • [FAÍSCA-44199]CacheManager já não refresca o fileIndex desnecessariamente.
    • Atualizações de segurança do sistema operacional.
  • 24 de julho de 2023
    • [FAÍSCA-44136] Corrigido um problema que o StateManager pode obter materializado no executor em vez do driver em FlatMapGroupsWithStateExec.
    • Atualizações de segurança do sistema operacional.
  • 23 de junho de 2023
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2023
    • Fotonizado approx_count_distinct.
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • [FAÍSCA-43779]ParseToDate agora carrega EvalMode no thread principal.
    • [FAÍSCA-40862] Suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery
    • [FAÍSCA-43156][FAÍSCA-43098] Teste de bug de contagem de subconsulta escalar estendida com decorrelateInnerQuery desativado.
    • [FAÍSCA-43098] Corrigir o bug COUNT de correção quando a subconsulta escalar tem um grupo por cláusula
    • Atualizações de segurança do sistema operacional.
  • 2 de junho de 2023
    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Melhore o desempenho de atualizações incrementais com SHALLOW CLONE o Iceberg e o Parquet.
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-43404]Ignore a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar o erro de incompatibilidade de ID.
    • [FAÍSCA-43527] Corrigido catalog.listCatalogs no PySpark.
    • [FAÍSCA-43413][11.3-13.0] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • [FAÍSCA-43340] Corrigido o campo de rastreamento de pilha ausente nos logs de eventos.

Tempo de execução do Databricks 10.4 LTS

Consulte Databricks Runtime 10.4 LTS.

  • 29 de novembro de 2023
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • [FAÍSCA-43718] Corrigida a anulabilidade para chaves em USING junções.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-42205] Removidos os acumuláveis de log nos eventos de início de Estágio e Tarefa.
    • [FAÍSCA-44846] Removidas expressões de agrupamento complexo após RemoveRedundantAggregates.
    • Atualizações de segurança do sistema operacional.
  • 14 de novembro de 2023
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-45545]SparkTransportConf herda após a SSLOptions criação.
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • Reverter [SPARK-33861].
    • Atualizações de segurança do sistema operacional.
  • 24 de outubro de 2023
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Atualizações de segurança do sistema operacional.
  • 13 de outubro de 2023
    • [FAÍSCA-45084]StateOperatorProgress para usar um número de partição aleatório preciso e adequado.
    • [FAÍSCA-45178] Fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o wrapper.
    • Atualizações de segurança do sistema operacional.
  • 10 de setembro de 2023
    • Correções diversas.
  • 30 de agosto de 2023
    • [FAÍSCA-44818] Corrida fixa para interrupção de tarefa pendente emitida antes taskThread de ser inicializada.
    • Atualizações de segurança do sistema operacional.
  • 15 de agosto de 2023
    • [FAÍSCA-44504] A tarefa de manutenção limpa os fornecedores carregados em caso de erro de paragem.
    • [FAÍSCA-43973] A interface do usuário de streaming estruturada agora aparece com falhas nas consultas corretamente.
    • Atualizações de segurança do sistema operacional.
  • 23 de junho de 2023
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2023
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • [FAÍSCA-43098] Corrigir o bug COUNT de correção quando a subconsulta escalar tem um grupo por cláusula
    • [FAÍSCA-40862] Suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery
    • [FAÍSCA-43156][FAÍSCA-43098] Teste de contagem de subconsulta escalar estendida com decorrelateInnerQuery desativado.
    • Atualizações de segurança do sistema operacional.
  • 2 de junho de 2023
    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Corrigido um problema na análise de dados resgatados pelo JSON para evitar UnknownFieldExceptiono .
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-43404] Ignore a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar o erro de incompatibilidade de ID.
    • [FAÍSCA-43413] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • Atualizações de segurança do sistema operacional.
  • 17 de maio de 2023
    • As varreduras de parquet agora são robustas contra OOMs ao examinar arquivos excepcionalmente estruturados, ajustando dinamicamente o tamanho do lote. Os metadados do arquivo são analisados para reduzir preventivamente o tamanho do lote e são reduzidos novamente em novas tentativas de tarefas como uma rede de segurança final.
    • [FAÍSCA-41520] Dividir AND_OR padrão de árvore para separar AND e OR.
    • [FAÍSCA-43190]ListQuery.childOutput é agora consistente com a produção secundária.
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2023
    • [FAÍSCA-42928] Faça resolvePersistentFunction sincronizado.
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2023
    • Corrigido um problema em que a evolução do esquema do Auto Loader podia entrar em um loop de falha infinito quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [FAÍSCA-42937]PlanSubqueries agora define InSubqueryExec#shouldBroadcast como true.
    • [FAÍSCA-42967] Corrija SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada depois que o estágio é cancelado.
  • 29 de março de 2023
    • [FAÍSCA-42668] Exceção de captura ao tentar fechar o fluxo compactado em HDFSStateStoreProvider stop
    • [FAÍSCA-42635] Corrigir o ...
    • Atualizações de segurança do sistema operacional.
  • 14 de março de 2023
    • [FAÍSCA-41162] Corrigir anti e semi-join para auto-junção com agregações
    • [FAÍSCA-33206] Corrigir cálculo de peso de cache de índice aleatório para arquivos de índice pequenos
    • [FAÍSCA-42484] Melhorada a mensagem de UnsafeRowUtils erro
    • Correções diversas.
  • 28 de fevereiro de 2023
    • Suporte gerado coluna para aaaa-MM-dd date_format. Essa alteração oferece suporte à remoção de partição para aaaa-MM-dd como um date_format nas colunas geradas.
    • Os usuários agora podem ler e escrever tabelas Delta específicas que exigem o Reader versão 3 e o Writer versão 7, usando o Databricks Runtime 9.1 LTS ou posterior. Para serem bem-sucedidos, os recursos de tabela listados no protocolo das tabelas devem ser suportados pela versão atual do Databricks Runtime.
    • Suporte gerado coluna para aaaa-MM-dd date_format. Essa alteração oferece suporte à remoção de partição para aaaa-MM-dd como um date_format nas colunas geradas.
    • Atualizações de segurança do sistema operacional.
  • 16 de fevereiro de 2023
    • [FAÍSCA-30220] Habilitar o uso de subconsultas Exists/In fora do nó Filtro
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2023
    • Os tipos de tabela de tabelas JDBC agora são EXTERNOS por padrão.
  • 18 de janeiro de 2023
    • O conector Sinapse do Azure retorna uma mensagem de erro mais descritiva quando um nome de coluna contém caracteres não válidos, como espaços em branco ou ponto-e-vírgula. Nesses casos, a seguinte mensagem será retornada: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [FAÍSCA-38277] Limpar lote de gravação após a confirmação do armazenamento de estado do RocksDB
    • [FAÍSCA-41199] Corrigir problema de métricas quando a fonte de streaming DSv1 e a fonte de streaming DSv2 são cousadas
    • [FAÍSCA-41198] Corrigir métricas em consultas de streaming com origem de streaming CTE e DSv1
    • [FAÍSCA-41339] Feche e recrie o lote de gravação do RocksDB em vez de apenas limpar
    • [FAÍSCA-41732] Aplicar poda baseada em padrão de árvore para a regra SessionWindowing
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2022
    • Os usuários podem configurar o comportamento dos espaços em branco à esquerda e à direita ao gravar dados usando o conector Redshift. As seguintes opções foram adicionadas para controlar o manuseio de espaços em branco:
      • csvignoreleadingwhitespace, quando definido como true, remove o espaço em branco à esquerda dos valores durante as gravações quando tempformat está definido como CSV ou CSV GZIP. Os espaços em branco são mantidos quando a configuração é definida como false. Por predefinição, o valor é true.
      • csvignoretrailingwhitespace, quando definido como true, remove o espaço em branco à direita dos valores durante as gravações quando tempformat está definido como CSV ou CSV GZIP. Os espaços em branco são mantidos quando a configuração é definida como false. Por predefinição, o valor é true.
    • Corrigido um problema com a análise JSON no Auto Loader quando todas as colunas eram deixadas como strings (cloudFiles.inferColumnTypes não estava definido ou definido como false) e o JSON continha objetos aninhados.
    • Atualizações de segurança do sistema operacional.
  • 15 de novembro de 2022
    • Apache commons-text atualizado para 1.10.0.
    • [FAÍSCA-40646] A análise JSON para structs, maps e arrays foi corrigida, portanto, quando uma parte de um registro não corresponde ao esquema, o restante do registro ainda pode ser analisado corretamente em vez de retornar nulos. Para optar pelo comportamento melhorado, defina spark.sql.json.enablePartialResults como true. O sinalizador é desativado por padrão para preservar o comportamento original.
    • [FAÍSCA-40292] Corrigir nomes de colunas em arrays_zip função quando matrizes são referenciadas a partir de estruturas aninhadas
    • Atualizações de segurança do sistema operacional.
  • 1 de novembro de 2022
    • Corrigido um problema em que, se uma tabela Delta tivesse uma coluna definida pelo usuário chamada _change_type, mas o feed de dados Change estivesse desativado nessa tabela, os dados nessa coluna seriam preenchidos incorretamente com valores NULL durante a execução MERGE.
    • Corrigido um problema com o Auto Loader em que um ficheiro podia ser duplicado no mesmo microlote quando allowOverwrites estava ativado
    • [FAÍSCA-40697] Adicionar preenchimento de caracteres do lado de leitura para cobrir arquivos de dados externos
    • [FAÍSCA-40596] Preencher ExecutorDecommission com mensagens em ExecutorDecommissionInfo
    • Atualizações de segurança do sistema operacional.
  • 18 de outubro de 2022
    • Atualizações de segurança do sistema operacional.
  • 5 de outubro de 2022
    • [FAÍSCA-40468] Corrija a remoção de coluna no CSV quando _corrupt_record estiver selecionado.
    • Atualizações de segurança do sistema operacional.
  • 22 de setembro de 2022
    • Os usuários podem definir spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) para reativar a listagem interna do Auto Loader no ADLS Gen2. A listagem integrada foi desativada anteriormente devido a problemas de desempenho, mas pode ter levado ao aumento dos custos de armazenamento para os clientes.
    • [FAÍSCA-40315] Adicionar hashCode() para Literal de ArrayBasedMapData
    • [FAÍSCA-40213] Suporta conversão de valor ASCII para caracteres latino-1
    • [FAÍSCA-40380] Corrija a dobragem constante de InvokeLike para evitar literais não serializáveis incorporados no plano
    • [FAÍSCA-38404] Melhorar a resolução de CTE quando uma CTE aninhada faz referência a uma CTE externa
    • [FAÍSCA-40089] Corrigir a classificação para alguns tipos decimais
    • [FAÍSCA-39887] RemoveRedundantAliases deve manter aliases que tornam a saída dos nós de projeção exclusiva
  • 6 de setembro de 2022
    • [FAÍSCA-40235] Use o bloqueio interruptível em vez de sincronizado em Executor.updateDependencies()
    • [FAÍSCA-40218] OS CONJUNTOS DE AGRUPAMENTO devem preservar as colunas de agrupamento
    • [FAÍSCA-39976] ArrayIntersect deve manipular null na expressão esquerda corretamente
    • [FAÍSCA-40053] Adicionar assume a casos de cancelamento dinâmico que exigem ambiente de tempo de execução Python
    • [FAÍSCA-35542] Correção: Bucketizer criado para várias colunas com parâmetros splitsArray, inputCols e outputCols não podem ser carregados depois de salvá-lo
    • [FAÍSCA-40079] Adicionar validação de inputCols do Imputer para caso de entrada vazio
  • 24 de agosto de 2022
    • [FAÍSCA-39983] Não armazenar em cache relações de difusão não serializadas no driver
    • [FAÍSCA-39775] Desabilitar a validação de valores padrão ao analisar esquemas Avro
    • [FAÍSCA-39962] Aplicar projeção quando os atributos de grupo estiverem vazios
    • [FAÍSCA-37643] quando charVarcharAsString é true, para consulta de predicado de tipo de dados char deve ignorar a regra rpadding
    • Atualizações de segurança do sistema operacional.
  • 9 de agosto de 2022
    • [FAÍSCA-39847] Corrija a condição de corrida em RocksDBLoader.loadLibrary() se o thread do chamador for interrompido
    • [FAÍSCA-39731] Corrigir problema em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com a política do analisador de tempo CORRIGIDO
    • Atualizações de segurança do sistema operacional.
  • 27 de julho de 2022
    • [FAÍSCA-39625] Adicionar Dataset.as(StructType)
    • [FAÍSCA-39689]Suporte a 2 caracteres na fonte de lineSep dados CSV
    • [FAÍSCA-39104] InMemoryRelation#isCachedColumnBuffersLoaded deve ser thread-safe
    • [FAÍSCA-39570] A tabela embutida deve permitir expressões com alias
    • [FAÍSCA-39702] Reduza a sobrecarga de memória de TransportCipher$EncryptedMessage usando um byteRawChannel compartilhado
    • [FAÍSCA-39575] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [FAÍSCA-39476] Desative a otimização do Unwrap cast ao transmitir de Long para Float/Double ou de Integer para Float
    • [FAÍSCA-38868] Não propague exceções do predicado do filtro ao otimizar junções externas
    • Atualizações de segurança do sistema operacional.
  • 20 de julho de 2022
    • Torne os resultados da operação Delta MERGE consistentes quando a origem não for determinística.
    • [FAÍSCA-39355] Uma única coluna usa aspas para construir UnresolvedAttribute
    • [FAÍSCA-39548] Comando CreateView com uma consulta de cláusula de janela pressione uma definição de janela errada não encontrado problema
    • [FAÍSCA-39419] Corrija ArraySort para lançar uma exceção quando o comparador retornar null
    • Desativou o uso de APIs de nuvem internas do Auto Loader para listagem de diretórios no Azure.
    • Atualizações de segurança do sistema operacional.
  • 5 de julho de 2022
    • [FAÍSCA-39376] Ocultar colunas duplicadas na expansão em estrela do alias de subconsulta de NATURAL/USING JOIN
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2022
    • [FAÍSCA-39283] Corrigir impasse entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator
    • [FAÍSCA-39285] O Spark não deve verificar nomes de campos ao ler arquivos
    • [FAÍSCA-34096] Melhorar o desempenho para nth_value ignorar nulos na janela de deslocamento
    • [FAÍSCA-36718] Corrigir o isExtractOnly check-in CollapseProject
  • 2 de junho de 2022
    • [FAÍSCA-39093] Evite erros de compilação de codegen ao dividir intervalos de ano e mês ou intervalos de tempo de dia por uma integral
    • [FAÍSCA-38990] Evite NullPointerException ao avaliar o formato date_trunc/trunc como uma referência acoplada
    • Atualizações de segurança do sistema operacional.
  • 18 de maio de 2022
    • Corrige uma possível fuga de memória incorporada no Auto Loader.
    • [FAÍSCA-38918] A remoção de coluna aninhada deve filtrar atributos que não pertencem à relação atual
    • [FAÍSCA-37593] Reduza o tamanho da página padrão em LONG_ARRAY_OFFSET se G1GC e ON_HEAP forem usados
    • [FAÍSCA-39084] Corrija df.rdd.isEmpty() usando TaskContext para parar o iterador na conclusão da tarefa
    • [FAÍSCA-32268] Adicionar ColumnPruning em injectBloomFilter
    • [FAÍSCA-38974] Filtrar funções registradas com um determinado nome de banco de dados em funções de lista
    • [FAÍSCA-38931] Crie o diretório dfs raiz para RocksDBFileManager com um número desconhecido de chaves no 1º ponto de verificação
    • Atualizações de segurança do sistema operacional.
  • 19 de abril de 2022
    • Java AWS SDK atualizado da versão 1.11.655 para 1.12.1899.
    • Corrigido um problema com bibliotecas com escopo de bloco de anotações que não funcionavam em trabalhos de streaming em lote.
    • [FAÍSCA-38616] Acompanhe o texto da consulta SQL no Catalyst TreeNode
    • Atualizações de segurança do sistema operacional.
  • 6 de abril de 2022
    • As seguintes funções do Spark SQL estão agora disponíveis com esta versão:
      • timestampadd() e dateadd(): Adicione uma duração de tempo em uma unidade especificada a uma expressão de carimbo de data/hora.
      • timestampdiff() e : Calcule datediff()a diferença de tempo entre expressões de carimbo de data/hora em uma unidade especificada.
    • Parquet-MR foi atualizado para 1.12.2
    • Suporte melhorado para esquemas abrangentes em arquivos parquet
    • [FAÍSCA-38631] Usa implementação baseada em Java para un-tarring em Utils.unpack
    • [FAÍSCA-38509][FAÍSCA-38481] Escolha a dedo três timestmapadd/diff mudanças.
    • [FAÍSCA-38523] Correção referente à coluna de registro corrompido do CSV
    • [FAÍSCA-38237] Permitir ClusteredDistribution exigir chaves de cluster completas
    • [FAÍSCA-38437] Serialização leniente de datetime a partir da fonte de dados
    • [FAÍSCA-38180] Permitir expressões upcast seguras em predicados de igualdade correlacionados
    • [FAÍSCA-38155] Não permitir agregados distintos em subconsultas laterais com predicados sem suporte
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 9.1 LTS

Consulte Databricks Runtime 9.1 LTS.

  • 29 de novembro de 2023
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • Atualizações de segurança do sistema operacional.
  • 14 de novembro de 2023
    • [FAÍSCA-45545]SparkTransportConf herda após a SSLOptions criação.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-42205] Removidos os acumuláveis de log nos eventos de início de Estágio e Tarefa.
    • Atualizações de segurança do sistema operacional.
  • 24 de outubro de 2023
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Atualizações de segurança do sistema operacional.
  • 13 de outubro de 2023
    • Atualizações de segurança do sistema operacional.
  • 10 de setembro de 2023
    • Correções diversas.
  • 30 de agosto de 2023
    • Atualizações de segurança do sistema operacional.
  • 15 de agosto de 2023
    • Atualizações de segurança do sistema operacional.
  • 23 de junho de 2023
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2023
    • [FAÍSCA-43098] Corrigir o bug COUNT de correção quando a subconsulta escalar tem um grupo por cláusula
    • [FAÍSCA-43156][FAÍSCA-43098] Estenda o teste de bug da contagem de subconsultas escalares com decorrelateInnerQuery desativado.
    • [FAÍSCA-40862] Suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery
    • Atualizações de segurança do sistema operacional.
  • 2 de junho de 2023
    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Corrigido um problema na análise de dados resgatados pelo JSON para evitar UnknownFieldExceptiono .
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-37520] Adicionar as startswith() funções e endswith() string
    • [FAÍSCA-43413] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • Atualizações de segurança do sistema operacional.
  • 17 de maio de 2023
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2023
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2023
    • Corrigido um problema em que a evolução do esquema do Auto Loader podia entrar em um loop de falha infinito quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [FAÍSCA-42967] Corrija SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada depois que o estágio é cancelado.
  • 29 de março de 2023
    • Atualizações de segurança do sistema operacional.
  • 14 de março de 2023
    • [FAÍSCA-42484] Mensagem de erro melhorada para UnsafeRowUtils.
    • Correções diversas.
  • 28 de fevereiro de 2023
    • Os usuários agora podem ler e escrever tabelas Delta específicas que exigem o Reader versão 3 e o Writer versão 7, usando o Databricks Runtime 9.1 LTS ou posterior. Para serem bem-sucedidos, os recursos de tabela listados no protocolo das tabelas devem ser suportados pela versão atual do Databricks Runtime.
    • Atualizações de segurança do sistema operacional.
  • 16 de fevereiro de 2023
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2023
    • Os tipos de tabela de tabelas JDBC agora são EXTERNOS por padrão.
  • 18 de janeiro de 2023
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2022
    • Corrigido um problema com a análise JSON no Auto Loader quando todas as colunas eram deixadas como strings (cloudFiles.inferColumnTypes não estava definido ou definido como false) e o JSON continha objetos aninhados.
    • Atualizações de segurança do sistema operacional.
  • 15 de novembro de 2022
    • Apache commons-text atualizado para 1.10.0.
    • Atualizações de segurança do sistema operacional.
    • Correções diversas.
  • 1 de novembro de 2022
    • Corrigido um problema em que, se uma tabela Delta tivesse uma coluna definida pelo usuário chamada _change_type, mas o feed de dados Change estivesse desativado nessa tabela, os dados nessa coluna seriam preenchidos incorretamente com valores NULL durante a execução MERGE.
    • Corrigido um problema com o Auto Loader em que um ficheiro podia ser duplicado no mesmo microlote quando allowOverwrites estava ativado
    • [FAÍSCA-40596] Preencher ExecutorDecommission com mensagens em ExecutorDecommissionInfo
    • Atualizações de segurança do sistema operacional.
  • 18 de outubro de 2022
    • Atualizações de segurança do sistema operacional.
  • 5 de outubro de 2022
    • Correções diversas.
    • Atualizações de segurança do sistema operacional.
  • 22 de setembro de 2022
    • Os usuários podem definir spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") para reativar a listagem interna do Auto Loader no ADLS Gen2. A listagem integrada foi desativada anteriormente devido a problemas de desempenho, mas pode ter levado ao aumento dos custos de armazenamento para os clientes.
    • [FAÍSCA-40315] Adicionar hashCode() para Literal de ArrayBasedMapData
    • [FAÍSCA-40089] Corrigir a classificação para alguns tipos decimais
    • [FAÍSCA-39887] RemoveRedundantAliases deve manter aliases que tornam a saída dos nós de projeção exclusiva
  • 6 de setembro de 2022
    • [FAÍSCA-40235] Use o bloqueio interruptível em vez de sincronizado em Executor.updateDependencies()
    • [FAÍSCA-35542] Correção: Bucketizer criado para várias colunas com parâmetros splitsArray, inputCols e outputCols não podem ser carregados depois de salvá-lo
    • [FAÍSCA-40079] Adicionar validação de inputCols do Imputer para caso de entrada vazio
  • 24 de agosto de 2022
    • [FAÍSCA-39666] Use UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode em ExpressionEncoder
    • [FAÍSCA-39962] Aplicar projeção quando os atributos de grupo estiverem vazios
    • Atualizações de segurança do sistema operacional.
  • 9 de agosto de 2022
    • Atualizações de segurança do sistema operacional.
  • 27 de julho de 2022
    • Torne os resultados da operação Delta MERGE consistentes quando a origem não for determinística.
    • [FAÍSCA-39689] Suporte para 2 caracteres na fonte de lineSep dados CSV
    • [FAÍSCA-39575] Adicionado ByteBuffer#rewind depois ByteBuffer#get em AvroDeserializer.
    • [FAÍSCA-37392] Corrigido o erro de desempenho do otimizador de catalisador.
    • Atualizações de segurança do sistema operacional.
  • 13 de julho de 2022
    • [FAÍSCA-39419]ArraySort lança uma exceção quando o comparador retorna null.
    • Desativou o uso de APIs de nuvem internas do Auto Loader para listagem de diretórios no Azure.
    • Atualizações de segurança do sistema operacional.
  • 5 de julho de 2022
    • Atualizações de segurança do sistema operacional.
    • Correções diversas.
  • 15 de junho de 2022
    • [FAÍSCA-39283] Corrigir o impasse entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator.
  • 2 de junho de 2022
    • [FAÍSCA-34554] Implemente o copy() método em ColumnarMap.
    • Atualizações de segurança do sistema operacional.
  • 18 de maio de 2022
    • Corrigido um potencial vazamento de memória embutido no Auto Loader.
    • Atualize a versão do AWS SDK de 1.11.655 para 1.11.678.
    • [FAÍSCA-38918] A remoção de coluna aninhada deve filtrar atributos que não pertencem à relação atual
    • [FAÍSCA-39084] Corrigir df.rdd.isEmpty() usando TaskContext para parar o iterador na conclusão da tarefa
    • Atualizações de segurança do sistema operacional.
  • 19 de abril de 2022
    • Atualizações de segurança do sistema operacional.
    • Correções diversas.
  • 6 de abril de 2022
    • [FAÍSCA-38631] Usa implementação baseada em Java para un-tarring em Utils.unpack
    • Atualizações de segurança do sistema operacional.
  • 22 de março de 2022
    • Alterado o diretório de trabalho atual de blocos de anotações em clusters de alta simultaneidade com controle de acesso à tabela ou passagem de credenciais habilitado para o diretório base do usuário. Anteriormente, o diretório ativo era /databricks/driver.
    • [FAÍSCA-38437] Serialização leniente de datetime a partir da fonte de dados
    • [FAÍSCA-38180] Permitir expressões upcast seguras em predicados de igualdade correlacionados
    • [FAÍSCA-38155] Não permitir agregados distintos em subconsultas laterais com predicados sem suporte
    • [FAÍSCA-27442] Removido um campo de verificação ao ler ou gravar dados em um parquet.
  • 14 de março de 2022
    • [FAÍSCA-38236] Os caminhos de arquivo absolutos especificados na tabela create/alter são tratados como relativos
    • [FAÍSCA-34069] Interrompa o thread de tarefas se a propriedade SPARK_JOB_INTERRUPT_ON_CANCEL local estiver definida como true.
  • 23 de fevereiro de 2022
    • [FAÍSCA-37859] As tabelas SQL criadas com JDBC com Spark 3.1 não são legíveis com o Spark 3.2.
  • 8 de fevereiro de 2022
    • [FAÍSCA-27442] Removido um campo de verificação ao ler ou gravar dados em um parquet.
    • Atualizações de segurança do sistema operacional.
  • 1 de fevereiro de 2022
    • Atualizações de segurança do sistema operacional.
  • 26 de janeiro de 2022
    • Corrigido um problema em que transações simultâneas em tabelas Delta podiam ser confirmadas em uma ordem não serializável sob certas condições raras.
    • Corrigido um problema em que o OPTIMIZE comando podia falhar quando o dialeto ANSI SQL estava habilitado.
  • 19 de janeiro de 2022
    • Pequenas correções e melhorias de segurança.
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2021
    • Corrigido um problema que podia fazer com que os fluxos de Streaming Estruturado falhassem com um ArrayIndexOutOfBoundsExceptionarquivo .
    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: No FileSystem for scheme ou que poderia fazer com que as modificações sparkContext.hadoopConfiguration não tivessem efeito nas consultas.
    • O Apache Spark Connector for Delta Sharing foi atualizado para 0.2.0.
  • 20 de outubro de 2021
    • Conector BigQuery atualizado de 0.18.1 para 0.22.2. Isso adiciona suporte para o tipo BigNumeric.

Tempo de execução do Databricks 13.0 (EoS)

Consulte Databricks Runtime 13.0 (EoS).

  • 13 de outubro de 2023

    • Dependência de flocos de neve-jdbc atualizada de 3.13.29 para 3.13.33.
    • [FAÍSCA-42553][SQL] Certifique-se de pelo menos uma unidade de tempo após o intervalo.
    • [FAÍSCA-45178] Fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar wrapper.
    • [FAÍSCA-44658][CORE] ShuffleStatus.getMapStatus retorna None em vez de Some(null).
    • [FAÍSCA-42205][CORE] Remova o registro de Acumuláveis nos eventos de início de Tarefa/Estágio em JsonProtocol.
    • Atualizações de segurança do sistema operacional.

  • 12 de setembro de 2023

    • [FAÍSCA-44485][SQL] Otimize TreeNode.generateTreeString.
    • [FAÍSCA-44718][SQL] Corresponder ColumnVector o padrão de configuração do modo de memória ao OffHeapMemoryMode valor de configuração.
    • Correções de bugs diversos.

  • 30 de agosto de 2023

    • [FAÍSCA-44818][Backport] Corrida fixa para interrupção de tarefa pendente emitida antes taskThread de ser inicializada.
    • [FAÍSCA-44714] Facilite a restrição da resolução de LCA em relação a consultas.
    • [FAÍSCA-44245][PYTHON] pyspark.sql.dataframe sample() doctests agora é apenas ilustrativo.
    • [FAÍSCA-44871][11.3-13.0][SQL] Comportamento fixo percentile_disc .
    • Atualizações de segurança do sistema operacional.

  • 15 de agosto de 2023

    • [FAÍSCA-44643][SQL][PYTHON] Corrija Row.__repr__ quando a linha estiver vazia.
    • [FAÍSCA-44504][Backport] A tarefa de manutenção limpa os fornecedores carregados em caso de erro de paragem.
    • [FAÍSCA-44479][CONECTAR][PYTHON] Conversão fixa protobuf de um tipo struct vazio.
    • [FAÍSCA-44464][SS] Corrigido applyInPandasWithStatePythonRunner para linhas de saída que têm Null como valor de primeira coluna.
    • Correções de bugs diversos.

  • 29 de julho de 2023

    • Corrigido um bug que era dbutils.fs.ls() retornado INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando chamado para um caminho de local de armazenamento que colidia com outro local de armazenamento externo ou gerenciado.
    • [FAÍSCA-44199]CacheManager já não refresca o fileIndex desnecessariamente.
    • Atualizações de segurança do sistema operacional.

  • 24 de julho de 2023

    • [FAÍSCA-44337][PROTOBUF] Corrigido um problema em que qualquer campo definido como Any.getDefaultInstance causava erros de análise.
    • [FAÍSCA-44136] [SS] Corrigido um problema em que StateManager seria materializado em um executor em vez de driver em FlatMapGroupsWithStateExec.
    • Reverter [SPARK-42323][SQL] Atribua nome a _LEGACY_ERROR_TEMP_2332.
    • Atualizações de segurança do sistema operacional.

  • 23 de junho de 2023

    • Atualizações de segurança do sistema operacional.

  • 15 de junho de 2023

    • Fotonizado approx_count_distinct.
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • [FAÍSCA-43156][FAÍSCA-43098][SQL] Estender o teste de bug da contagem de subconsultas escalares com decorrelateInnerQuery desativado
    • [FAÍSCA-43779][SQL] ParseToDate agora carrega EvalMode no thread principal.
    • [FAÍSCA-42937][SQL] PlanSubqueries deve ser definido InSubqueryExec#shouldBroadcast como true
    • Atualizações de segurança do sistema operacional.

  • 2 de junho de 2023

    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Melhore o desempenho da atualização incremental com SHALLOW CLONE o Iceberg e o Parquet.
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-43404][Backport] Ignore a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar erro de incompatibilidade de ID.
    • [FAÍSCA-43340][CORE] Corrigido o campo de rastreamento de pilha ausente nos logs de eventos.
    • [FAÍSCA-43300][CORE] NonFateSharingCache wrapper para Guava Cache.
    • [FAÍSCA-43378][CORE] Feche corretamente os objetos de fluxo no deserializeFromChunkedBuffer.
    • [FAÍSCA-16484][SQL] Use registradores de 8 bits para representar DataSketches.
    • [FAÍSCA-43522][SQL] Corrigido criando nome de coluna struct com índice de matriz.
    • [FAÍSCA-43413][11.3-13.0][SQL] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • [FAÍSCA-43043][CORE] Desempenho melhorado MapOutputTracker.updateMapOutput .
    • [FAÍSCA-16484][SQL] Adicionado suporte para DataSketches HllSketch.
    • [FAÍSCA-43123][SQL] Os metadados de campo interno não vazam mais para catálogos.
    • [FAÍSCA-42851][SQL] Guarda EquivalentExpressions.addExpr() com supportedExpression().
    • [FAÍSCA-43336][SQL] A transmissão entre Timestamp e TimestampNTZ requer fuso horário.
    • [FAÍSCA-43286][SQL] Modo CBC atualizado aes_encrypt para gerar IVs aleatórios.
    • [FAÍSCA-42852][SQL] Alterações relacionadas revertidas NamedLambdaVariable de EquivalentExpressions.
    • [FAÍSCA-43541][SQL] Propagar todas as Project tags na resolução de expressões e colunas ausentes..
    • [FAÍSCA-43527][PYTHON] Corrigido catalog.listCatalogs no PySpark.
    • Atualizações de segurança do sistema operacional.

  • 31 de maio de 2023

    • O suporte de gravação otimizado padrão para tabelas Delta registradas no Unity Catalog foi expandido para incluir CTAS instruções e INSERT operações para tabelas particionadas. Esse comportamento se alinha aos padrões em armazéns SQL. Consulte Gravações otimizadas para Delta Lake no Azure Databricks.

  • 17 de maio de 2023

    • Corrigida uma regressão onde _metadata.file_path e _metadata.file_name retornaria cadeias de caracteres formatadas incorretamente. Por exemplo, agora um caminho com espaços é representado como s3://test-bucket/some%20directory/some%20data.csv em vez de s3://test-bucket/some directory/some data.csv.
    • As varreduras de parquet agora são robustas contra OOMs ao examinar arquivos excepcionalmente estruturados, ajustando dinamicamente o tamanho do lote. Os metadados do arquivo são analisados para reduzir preventivamente o tamanho do lote e são reduzidos novamente em novas tentativas de tarefas como uma rede de segurança final.
      • Se um arquivo Avro fosse lido apenas com a failOnUnknownFields opção ou com o Auto Loader no modo de evolução do esquema, as failOnNewColumns colunas que têm tipos de dados diferentes seriam lidas como null em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a rescuedDataColumn opção.
    • Auto Loader agora faz o seguinte.
      • Lê corretamente e não resgata mais Integer, Short, Byte tipos se um desses tipos de dados for fornecido, mas o arquivo Avro sugere um dos outros dois tipos.
      • Impede a leitura de tipos de intervalo como tipos de carimbo de data ou hora para evitar a obtenção de datas corrompidas.
      • Evita a leitura Decimal de tipos com menor precisão.
    • [FAÍSCA-43172] [CONECTAR] Expõe host e token do cliente Spark connect.
    • [FAÍSCA-43293][SQL] __qualified_access_only é ignorado em colunas normais.
    • [FAÍSCA-43098][SQL] Corrigido o erro de correção COUNT quando a subconsulta escalar é agrupada por cláusula.
    • [FAÍSCA-43085][SQL] Suporte para atribuição de colunas DEFAULT para nomes de tabelas com várias partes.
    • [FAÍSCA-43190][SQL] ListQuery.childOutput é agora consistente com a produção secundária.
    • [FAÍSCA-43192] [CONECTAR] Removida a validação do conjunto de caracteres do agente do usuário.

  • 25 de abril de 2023

    • Você pode modificar uma tabela Delta para adicionar suporte a um recurso de tabela Delta usando DeltaTable.addFeatureSupport(feature_name)o .
    • O SYNC comando agora suporta formatos de fonte de dados herdados.
    • Corrigido um bug em que usar o formatador Python antes de executar quaisquer outros comandos em um bloco de anotações Python poderia fazer com que o caminho do bloco de anotações estivesse ausente sys.path.
    • O Azure Databricks agora dá suporte à especificação de valores padrão para colunas de tabelas Delta. INSERT, UPDATE, DELETE, e MERGE os comandos podem se referir ao valor padrão de uma coluna usando a palavra-chave explícita DEFAULT . Para INSERT comandos com uma lista explícita de menos colunas do que a tabela de destino, os valores padrão de coluna correspondentes são substituídos pelas colunas restantes (ou NULL se nenhum padrão for especificado).

  • Corrige um bug em que o terminal web não podia ser usado para acessar arquivos para /Workspace alguns usuários.

    • Se um arquivo Parquet fosse lido apenas com a failOnUnknownFields opção ou com o Auto Loader no modo de evolução do esquema, as failOnNewColumns colunas que tivessem diferentes tipos de dados seriam lidas como null em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a rescuedDataColumn opção.
    • Auto Loader agora lê corretamente e não resgata mais Integer, Short, Byte tipos se um desses tipos de dados são fornecidos. O arquivo Parquet sugere um dos outros dois tipos. Quando a coluna de dados resgatados estava habilitada anteriormente, a incompatibilidade de tipo de dados fazia com que as colunas fossem resgatadas mesmo que fossem legíveis.
    • Corrigido um bug em que a evolução do esquema do Auto Loader pode entrar em um loop de falha infinito, quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [FAÍSCA-42794][SS] Aumente o lockAcquireTimeoutMs para 2 minutos para adquirir o armazenamento de estado RocksDB no Structure Streaming.
    • [FAÍSCA-39221][SQL] Faça com que as informações confidenciais sejam editadas corretamente para a guia trabalho/estágio do servidor de poupança.
    • [FAÍSCA-42971][CORE] Altere para imprimir workdir se appDirs for null quando o trabalhador manipular WorkDirCleanup o evento.
    • [FAÍSCA-42936][SQL] Corrija o bug da LCA quando a cláusula having puder ser resolvida diretamente por sua agregação filha.
    • [FAÍSCA-43018][SQL] Corrija bugs para INSERT comandos com literais de carimbo de data/hora.
    • Revert [SPARK-42754][SQL][UI] Corrija o problema de compatibilidade com versões anteriores na execução do SQL aninhado.
    • Reverter [SPARK-41498] Propagar metadados através da União.
    • [FAÍSCA-43038][SQL] Apoie o modo CBC por aes_encrypt()/aes_decrypt().
    • [FAÍSCA-42928][SQL] Faça resolvePersistentFunction sincronizado.
    • [FAÍSCA-42521][SQL] Adicione NULL valores para INSERT com listas especificadas pelo usuário de menos colunas do que a tabela de destino.
    • [FAÍSCA-41391][SQL] O nome da coluna de saída de groupBy.agg(count_distinct) estava incorreto.
    • [FAÍSCA-42548][SQL] Adicionar ReferenceAllColumns para ignorar atributos de reescrita.
    • [FAÍSCA-42423][SQL] Adicione o início e o comprimento do bloco de arquivo de coluna de metadados.
    • [FAÍSCA-42796][SQL] Suporte ao acesso a TimestampNTZ colunas no CachedBatch.
    • [FAÍSCA-42266][PYTHON] Remova o diretório pai em shell.py executar quando IPython é usado.
    • [FAÍSCA-43011][SQL] array_insert deve falhar com o índice 0.
    • [FAÍSCA-41874][CONECTAR][PYTHON] Suporte SameSemantics no Spark Connect.
    • [FAÍSCA-42702][FAÍSCA-42623][SQL] Suporte a consulta parametrizada em subconsulta e CTE.
    • [FAÍSCA-42967][CORE] Corrija SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada depois que o estágio é cancelado.
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 12.1 (EoS)

Consulte Databricks Runtime 12.1 (EoS).

  • 23 de junho de 2023

    • Atualizações de segurança do sistema operacional.

  • 15 de junho de 2023

    • Fotonizado approx_count_distinct.
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • [FAÍSCA-43779][SQL] ParseToDate agora carrega EvalMode no thread principal.
    • [FAÍSCA-43156][FAÍSCA-43098][SQL] Estender o teste de bug da contagem de subconsultas escalares com decorrelateInnerQuery desativado
    • Atualizações de segurança do sistema operacional.

  • 2 de junho de 2023

    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Melhore o desempenho da atualização incremental com SHALLOW CLONE o Iceberg e o Parquet.
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-43404][Backport] Ignore a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar erro de incompatibilidade de ID.
    • [FAÍSCA-43413][11.3-13.0][SQL] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • [FAÍSCA-43522][SQL] Corrigido criando nome de coluna struct com índice de matriz.
    • [FAÍSCA-42444][PYTHON] DataFrame.drop agora lida com colunas duplicadas corretamente.
    • [FAÍSCA-43541][SQL] Propagar todas as Project tags na resolução de expressões e colunas ausentes..
    • [FAÍSCA-43340][CORE] Corrigido o campo de rastreamento de pilha ausente nos logs de eventos.
    • [FAÍSCA-42937][SQL] PlanSubqueries agora define InSubqueryExec#shouldBroadcast como true.
    • [FAÍSCA-43527][PYTHON] Corrigido catalog.listCatalogs no PySpark.
    • [FAÍSCA-43378][CORE] Feche corretamente os objetos de fluxo no deserializeFromChunkedBuffer.

  • 17 de maio de 2023

    • As varreduras de parquet agora são robustas contra OOMs ao examinar arquivos excepcionalmente estruturados, ajustando dinamicamente o tamanho do lote. Os metadados do arquivo são analisados para reduzir preventivamente o tamanho do lote e são reduzidos novamente em novas tentativas de tarefas como uma rede de segurança final.
    • Se um arquivo Avro fosse lido apenas com a failOnUnknownFields opção ou com o Auto Loader no modo de evolução do esquema, as failOnNewColumns colunas que têm tipos de dados diferentes seriam lidas como null em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a rescuedDataColumn opção.
    • Auto Loader agora faz o seguinte.
      • Lê corretamente e não resgata mais Integer, Short, Byte tipos se um desses tipos de dados for fornecido, mas o arquivo Avro sugere um dos outros dois tipos.
      • Impede a leitura de tipos de intervalo como tipos de carimbo de data ou hora para evitar a obtenção de datas corrompidas.
      • Evita a leitura Decimal de tipos com menor precisão.
    • [FAÍSCA-43098][SQL] Corrigido o erro de correção COUNT quando a subconsulta escalar é agrupada por cláusula.
    • [FAÍSCA-43190][SQL] ListQuery.childOutput é agora consistente com a produção secundária.
    • Atualizações de segurança do sistema operacional.

  • 25 de abril de 2023

    • Se um arquivo Parquet fosse lido apenas com a failOnUnknownFields opção ou com o Auto Loader no modo de evolução do esquema, as failOnNewColumns colunas que tivessem diferentes tipos de dados seriam lidas como null em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a rescuedDataColumn opção.
    • Auto Loader agora lê corretamente e não resgata mais Integer, Short, Byte tipos se um desses tipos de dados são fornecidos. O arquivo Parquet sugere um dos outros dois tipos. Quando a coluna de dados resgatados estava habilitada anteriormente, a incompatibilidade de tipo de dados fazia com que as colunas fossem resgatadas mesmo que fossem legíveis.
    • [FAÍSCA-43009][SQL] Parametrizado sql() com Any constantes.
    • [FAÍSCA-42971][CORE] Altere para imprimir workdir se appDirs for null quando o trabalhador manipular WorkDirCleanup o evento.
    • Atualizações de segurança do sistema operacional.

  • 11 de abril de 2023

    • Ofereça suporte a formatos de fonte de dados herdados no comando SYNC.
    • Corrige um bug no comportamento %autoreload em blocos de anotações que estão fora de um repositório.
    • Corrigido um bug em que a evolução do esquema do Auto Loader pode entrar em um loop de falha infinito, quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [FAÍSCA-42928][SQL] Faz resolvePersistentFunction sincronizado.
    • [FAÍSCA-42967][CORE] Corrige SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada após o cancelamento do estágio.
    • Atualizações de segurança do sistema operacional.

  • 29 de março de 2023

    • O Auto Loader agora aciona pelo menos uma limpeza síncrona de log RocksDB para Trigger.AvailableNow fluxos para garantir que o ponto de verificação possa ser limpo regularmente para fluxos do Auto Loader de execução rápida. Isso pode fazer com que alguns fluxos demorem mais tempo antes de serem desligados, mas economizará custos de armazenamento e melhorará a experiência do Auto Loader em execuções futuras.
    • Agora você pode modificar uma tabela Delta para adicionar suporte aos recursos da tabela usando DeltaTable.addFeatureSupport(feature_name)o .
    • [FAÍSCA-42702][FAÍSCA-42623][SQL] Suporte a consulta parametrizada em subconsulta e CTE
    • [FAÍSCA-41162][SQL] Corrigir anti e semi-join para auto-junção com agregações
    • [FAÍSCA-42403][CORE] JsonProtocol deve manipular cadeias de caracteres JSON nulas
    • [FAÍSCA-42668][SS] Exceção de captura ao tentar fechar o fluxo compactado no HDFSStateStoreProvider abortar
    • [FAÍSCA-42794][SS] Aumente o lockAcquireTimeoutMs para 2 minutos para adquirir o armazenamento de estado RocksDB no Structure Streaming

  • 14 de Março de 2023

    • Há uma alteração de terminologia para adicionar recursos a uma tabela Delta usando a propriedade table. A sintaxe preferida é agora 'delta.feature.featureName'='supported' em vez de 'delta.feature.featureName'='enabled'. Para compatibilidade com versões anteriores, o uso 'delta.feature.featureName'='enabled' ainda funciona e continuará a funcionar.
    • [FAÍSCA-42622][CORE] Desativar substituição em valores
    • [FAÍSCA-42534][SQL] Corrigir cláusula DB2Dialect Limit
    • [FAÍSCA-42635][SQL] Corrija a expressão TimestampAdd.
    • [FAÍSCA-42516][SQL] Sempre capture a configuração de fuso horário da sessão ao criar exibições
    • [FAÍSCA-42484] [SQL] UnsafeRowUtils melhor mensagem de erro
    • [FAÍSCA-41793][SQL] Resultado incorreto para quadros de janela definidos por uma cláusula de intervalo em decimais grandes
    • Atualizações de segurança do sistema operacional.

  • 24 de fevereiro de 2023

    • Agora você pode usar um conjunto unificado de opções (host, port, database, user, password) para se conectar às fontes de dados suportadas na Federação de Consultas (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Observe que port é opcional e usa o número de porta padrão para cada fonte de dados, se não for fornecido.

    Exemplo de configuração de conexão PostgreSQL

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    Exemplo de configuração de conexão Snowflake

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [FAÍSCA-41989][PYTHON] Evite quebrar a configuração de registro de pyspark.pandas
    • [FAÍSCA-42346][SQL] Reescrever agregações distintas após a mesclagem de subconsulta
    • [FAÍSCA-41990][SQL] Use FieldReference.column em vez de na conversão de filtro V1 apply para V2
    • Reverter [SPARK-41848][CORE] Corrigindo tarefa agendada em excesso com TaskResourceProfile
    • [FAÍSCA-42162] Introduza a expressão MultiCommutativeOp como uma otimização de memória para canonicalizar grandes árvores de expressões comutativas
    • Atualizações de segurança do sistema operacional.

  • 16 de fevereiro de 2023

    • O comando SYNC suporta a sincronização de tabelas recriadas do Hive Metastore. Se uma tabela HMS tiver sido SINCRONIZADA anteriormente com o Unity Catalog, mas depois descartada e recriada, uma ressincronização subsequente funcionará em vez de lançar TABLE_ALREADY_EXISTS código de status.
    • [FAÍSCA-41219][SQL] IntegralDivide usa decimal(1, 0) para representar 0
    • [FAÍSCA-36173][CORE] Suporte para obter o número da CPU no TaskContext
    • [FAÍSCA-41848][CORE] Corrigindo tarefas agendadas em excesso com TaskResourceProfile
    • [FAÍSCA-42286][SQL] Fallback para o caminho de código codegen anterior para expr complexo com CAST

  • 31 de janeiro de 2023

    • Criar um esquema com um local definido agora requer que o usuário tenha privilégios SELECT e MODIFY em QUALQUER ARQUIVO.
    • [FAÍSCA-41581][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1230
    • [FAÍSCA-41996][SQL][SS] Corrigir teste de kafka para verificar partições perdidas para contabilizar operações Kafka lentas
    • [FAÍSCA-41580][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2137
    • [FAÍSCA-41666][PYTHON] Suporte parametrizado SQL por sql()
    • [FAÍSCA-41579][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1249
    • [FAÍSCA-41573][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2136
    • [FAÍSCA-41574][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2009
    • [FAÍSCA-41049][Seguimento] Corrigir uma regressão de sincronização de código para ConvertToLocalRelation
    • [FAÍSCA-41576][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2051
    • [FAÍSCA-41572][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2149
    • [FAÍSCA-41575][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2054
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 12.0 (EoS)

Consulte Databricks Runtime 12.0 (EoS).

  • 15 de junho de 2023

    • Fotonizado approx_count_distinct.
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • [FAÍSCA-43156][FAÍSCA-43098][SQL] Estender o teste de bug da contagem de subconsultas escalares com decorrelateInnerQuery desativado
    • [FAÍSCA-43779][SQL] ParseToDate agora carrega EvalMode no thread principal.
    • Atualizações de segurança do sistema operacional.

  • 2 de junho de 2023

    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Melhore o desempenho da atualização incremental com SHALLOW CLONE o Iceberg e o Parquet.
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-42444][PYTHON] DataFrame.drop agora lida com colunas duplicadas corretamente.
    • [FAÍSCA-43404][Backport] Ignore a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar erro de incompatibilidade de ID.
    • [FAÍSCA-43413][11.3-13.0][SQL] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • [FAÍSCA-43527][PYTHON] Corrigido catalog.listCatalogs no PySpark.
    • [FAÍSCA-43522][SQL] Corrigido criando nome de coluna struct com índice de matriz.
    • [FAÍSCA-43541][SQL] Propagar todas as Project tags na resolução de expressões e colunas ausentes..
    • [FAÍSCA-43340][CORE] Corrigido o campo de rastreamento de pilha ausente nos logs de eventos.
    • [FAÍSCA-42937][SQL] PlanSubqueries definido InSubqueryExec#shouldBroadcast como true.

  • 17 de maio de 2023

    • As varreduras de parquet agora são robustas contra OOMs ao examinar arquivos excepcionalmente estruturados, ajustando dinamicamente o tamanho do lote. Os metadados do arquivo são analisados para reduzir preventivamente o tamanho do lote e são reduzidos novamente em novas tentativas de tarefas como uma rede de segurança final.
    • Se um arquivo Avro fosse lido apenas com a failOnUnknownFields opção ou com o Auto Loader no modo de evolução do esquema, as failOnNewColumns colunas que têm tipos de dados diferentes seriam lidas como null em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a rescuedDataColumn opção.
    • Auto Loader agora faz o seguinte.
      • Lê corretamente e não resgata mais Integer, Short, Byte tipos se um desses tipos de dados for fornecido, mas o arquivo Avro sugere um dos outros dois tipos.
      • Impede a leitura de tipos de intervalo como tipos de carimbo de data ou hora para evitar a obtenção de datas corrompidas.
      • Evita a leitura Decimal de tipos com menor precisão.
    • [FAÍSCA-43172] [CONECTAR] Expõe host e token do cliente Spark connect.
    • [FAÍSCA-41520][SQL] Dividir AND_OR padrão de árvore para separar AND e OR.
    • [FAÍSCA-43098][SQL] Corrigido o erro de correção COUNT quando a subconsulta escalar é agrupada por cláusula.
    • [FAÍSCA-43190][SQL] ListQuery.childOutput é agora consistente com a produção secundária.
    • Atualizações de segurança do sistema operacional.

  • 25 de abril de 2023

    • Se um arquivo Parquet fosse lido apenas com a failOnUnknownFields opção ou com o Auto Loader no modo de evolução do esquema, as failOnNewColumns colunas que tivessem diferentes tipos de dados seriam lidas como null em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a rescuedDataColumn opção.
    • Auto Loader agora lê corretamente e não resgata mais Integer, Short, Byte tipos se um desses tipos de dados são fornecidos. O arquivo Parquet sugere um dos outros dois tipos. Quando a coluna de dados resgatados estava habilitada anteriormente, a incompatibilidade de tipo de dados fazia com que as colunas fossem resgatadas mesmo que fossem legíveis.
    • [FAÍSCA-42971][CORE] Alterar para imprimir workdir se appDirs for nulo quando o trabalhador manipular WorkDirCleanup evento
    • Atualizações de segurança do sistema operacional.

  • 11 de abril de 2023

    • Suporte a formatos de fonte de dados herdados no SYNC comando.
    • Corrige um bug no comportamento %autoreload em blocos de anotações que estão fora de um repositório.
    • Corrigido um bug em que a evolução do esquema do Auto Loader pode entrar em um loop de falha infinito, quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [FAÍSCA-42928][SQL] Faz resolvePersistentFunction sincronizado.
    • [FAÍSCA-42967][CORE] Corrige SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada após o cancelamento do estágio.
    • Atualizações de segurança do sistema operacional.

  • 29 de março de 2023

    • [FAÍSCA-42794][SS] Aumente o lockAcquireTimeoutMs para 2 minutos para adquirir o armazenamento de estado RocksDB no Structure Streaming
    • [FAÍSCA-41162][SQL] Corrigir anti e semi-join para auto-junção com agregações
    • [FAÍSCA-42403][CORE] JsonProtocol deve manipular cadeias de caracteres JSON nulas
    • [FAÍSCA-42668][SS] Exceção de captura ao tentar fechar o fluxo compactado no HDFSStateStoreProvider abortar
    • Correções de bugs diversos.

  • 14 de Março de 2023

    • [FAÍSCA-42534][SQL] Corrigir cláusula DB2Dialect Limit
    • [FAÍSCA-42622][CORE] Desativar substituição em valores
    • [FAÍSCA-41793][SQL] Resultado incorreto para quadros de janela definidos por uma cláusula de intervalo em decimais grandes
    • [FAÍSCA-42484] [SQL] UnsafeRowUtils melhor mensagem de erro
    • [FAÍSCA-42635][SQL] Corrija a expressão TimestampAdd.
    • [FAÍSCA-42516][SQL] Sempre capture a configuração de fuso horário da sessão ao criar exibições
    • Atualizações de segurança do sistema operacional.

  • 24 de fevereiro de 2023

    • Opções de conexão padronizadas para federação de consultas

      Agora você pode usar um conjunto unificado de opções (host, port, database, user, password) para se conectar às fontes de dados suportadas na Federação de Consultas (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Observe que port é opcional e usará o número de porta padrão para cada fonte de dados, se não for fornecido.

      Exemplo de configuração de conexão PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Exemplo de configuração de conexão Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • Reverter [SPARK-41848][CORE] Corrigindo tarefa agendada em excesso com TaskResourceProfile

    • [FAÍSCA-42162] Introduza a expressão MultiCommutativeOp como uma otimização de memória para canonicalizar grandes árvores de expressões comutativas

    • [FAÍSCA-41990][SQL] Use FieldReference.column em vez de na conversão de filtro V1 apply para V2

    • [FAÍSCA-42346][SQL] Reescrever agregações distintas após a mesclagem de subconsulta

    • Atualizações de segurança do sistema operacional.

  • 16 de fevereiro de 2023

    • Os usuários agora podem ler e gravar determinadas tabelas Delta que exigem o Reader versão 3 e o Writer versão 7, usando o Databricks Runtime 9.1 ou posterior. Para serem bem-sucedidos, os recursos de tabela listados no protocolo das tabelas devem ser suportados pela versão atual do Databricks Runtime.
    • O comando SYNC suporta a sincronização de tabelas recriadas do Hive Metastore. Se uma tabela HMS tiver sido SINCRONIZADA anteriormente com o Unity Catalog, mas depois descartada e recriada, uma ressincronização subsequente funcionará em vez de lançar TABLE_ALREADY_EXISTS código de status.
    • [FAÍSCA-36173][CORE] Suporte para obter o número da CPU no TaskContext
    • [FAÍSCA-42286][SQL] Fallback para o caminho de código codegen anterior para expr complexo com CAST
    • [FAÍSCA-41848][CORE] Corrigindo tarefas agendadas em excesso com TaskResourceProfile
    • [FAÍSCA-41219][SQL] IntegralDivide usa decimal(1, 0) para representar 0

  • 25 de janeiro de 2023

    • [FAÍSCA-41660][SQL] Propagar colunas de metadados somente se elas forem usadas
    • [FAÍSCA-41379][SS][PYTHON] Fornecer sessão de faísca clonada no DataFrame na função de usuário para o coletor foreachBatch no PySpark
    • [FAÍSCA-41669][SQL] Poda antecipada em canCollapseExpressions
    • Atualizações de segurança do sistema operacional.

  • 18 de janeiro de 2023

    • REFRESH FUNCTION O comando SQL agora suporta funções SQL e funções de tabela SQL. Por exemplo, o comando pode ser usado para atualizar uma função SQL persistente que foi atualizada em outra sessão SQL.
    • A fonte de dados Java Database Connectivity (JDBC) v1 agora suporta pushdown de cláusula LIMIT para melhorar o desempenho em consultas. Este recurso é ativado por padrão e pode ser desativado com spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled definido como false.
    • Em clusters de ACLs de tabela herdada, a criação de funções que fazem referência a classes JVM agora requer o MODIFY_CLASSPATH privilégio.
    • A fonte de dados Java Database Connectivity (JDBC) v1 agora suporta pushdown de cláusula LIMIT para melhorar o desempenho em consultas. Esse recurso é habilitado por padrão e pode ser desativado com spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled definido como false.
    • O conector Sinapse do Azure agora retorna uma mensagem de erro mais descritiva quando um nome de coluna contém caracteres inválidos, como espaços em branco ou ponto-e-vírgula. Nesses casos, a seguinte mensagem será retornada: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • O streaming estruturado do Spark agora funciona com format("deltasharing") em uma tabela de compartilhamento delta como fonte.
    • [FAÍSCA-38277][SS] Limpar lote de gravação após a confirmação do armazenamento de estado do RocksDB
    • [FAÍSCA-41733][SQL][SS] Aplicar poda baseada em padrão de árvore para a regra ResolveWindowTime
    • [FAÍSCA-39591][SS] Acompanhamento assíncrono do progresso
    • [FAÍSCA-41339][SQL] Feche e recrie o lote de gravação do RocksDB em vez de apenas limpar
    • [FAÍSCA-41198][SS] Corrigir métricas em consultas de streaming com origem de streaming CTE e DSv1
    • [FAÍSCA-41539][SQL] Remapear estatísticas e restrições em relação à saída no plano lógico para LogicalRDD
    • [FAÍSCA-41732][SQL][SS] Aplicar poda baseada em padrão de árvore para a regra SessionWindowing
    • [FAÍSCA-41862][SQL] Corrigir bug de correção relacionado aos valores DEFAULT no leitor Orc
    • [FAÍSCA-41199][SS] Corrigir problema de métricas quando a fonte de streaming DSv1 e a fonte de streaming DSv2 são cousadas
    • [FAÍSCA-41261][PYTHON][SS] Corrija o problema de applyInPandasWithState quando as colunas de chaves de agrupamento não são colocadas em ordem desde o início
    • Atualizações de segurança do sistema operacional.

  • 17 de maio de 2023

    • As varreduras de parquet agora são robustas contra OOMs ao examinar arquivos excepcionalmente estruturados, ajustando dinamicamente o tamanho do lote. Os metadados do arquivo são analisados para reduzir preventivamente o tamanho do lote e são reduzidos novamente em novas tentativas de tarefas como uma rede de segurança final.
    • Corrigida uma regressão que fazia com que os trabalhos do Azure Databricks persistissem depois de não conseguirem se conectar ao metastore durante a inicialização do cluster.
    • [FAÍSCA-41520][SQL] Dividir AND_OR padrão de árvore para separar AND e OR.
    • [FAÍSCA-43190][SQL] ListQuery.childOutput é agora consistente com a produção secundária.
    • Atualizações de segurança do sistema operacional.

  • 25 de abril de 2023

    • Se um arquivo Parquet fosse lido apenas com a failOnUnknownFields opção ou com o Auto Loader no modo de evolução do esquema, as failOnNewColumns colunas que tivessem diferentes tipos de dados seriam lidas como null em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a rescuedDataColumn opção.
    • Auto Loader agora lê corretamente e não resgata mais Integer, Short, Byte tipos se um desses tipos de dados são fornecidos. O arquivo Parquet sugere um dos outros dois tipos. Quando a coluna de dados resgatados estava habilitada anteriormente, a incompatibilidade de tipo de dados fazia com que as colunas fossem resgatadas mesmo que fossem legíveis.
    • [FAÍSCA-42937][SQL] PlanSubqueries agora define InSubqueryExec#shouldBroadcast como true.
    • Atualizações de segurança do sistema operacional.

  • 11 de abril de 2023

    • Ofereça suporte a formatos de fonte de dados herdados no comando SYNC.
    • Corrige um bug no comportamento %autoreload em blocos de anotações que estão fora de um repositório.
    • Corrigido um bug em que a evolução do esquema do Auto Loader pode entrar em um loop de falha infinito, quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [FAÍSCA-42928][SQL] Faça resolvePersistentFunction sincronizado.
    • [FAÍSCA-42967][CORE] Corrija SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada depois que o estágio é cancelado.

  • 29 de março de 2023

    • [FAÍSCA-42794][SS] Aumente o lockAcquireTimeoutMs para 2 minutos para adquirir o armazenamento de estado RocksDB no Structure Streaming
    • [FAÍSCA-42403][CORE] JsonProtocol deve manipular cadeias de caracteres JSON nulas
    • [FAÍSCA-42668][SS] Exceção de captura ao tentar fechar o fluxo compactado no HDFSStateStoreProvider abortar
    • Atualizações de segurança do sistema operacional.

  • 14 de Março de 2023

    • [FAÍSCA-42635][SQL] Corrija a expressão TimestampAdd.
    • [FAÍSCA-41793][SQL] Resultado incorreto para quadros de janela definidos por uma cláusula de intervalo em decimais grandes
    • [FAÍSCA-42484] [SQL] UnsafeRowUtils melhor mensagem de erro
    • [FAÍSCA-42534][SQL] Corrigir cláusula DB2Dialect Limit
    • [FAÍSCA-41162][SQL] Corrigir anti e semi-join para auto-junção com agregações
    • [FAÍSCA-42516][SQL] Sempre capture a configuração de fuso horário da sessão ao criar exibições
    • Correções de bugs diversos.

  • 28 de fevereiro de 2023

    • Opções de conexão padronizadas para federação de consultas

      Agora você pode usar um conjunto unificado de opções (host, port, database, user, password) para se conectar às fontes de dados suportadas na Federação de Consultas (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Observe que port é opcional e usa o número de porta padrão para cada fonte de dados, se não for fornecido.

      Exemplo de configuração de conexão PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Exemplo de configuração de conexão Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [FAÍSCA-42286][SQL] Fallback para o caminho de código codegen anterior para expr complexo com CAST

    • [FAÍSCA-41989][PYTHON] Evite quebrar a configuração de registro de pyspark.pandas

    • [FAÍSCA-42346][SQL] Reescrever agregações distintas após a mesclagem de subconsulta

    • [FAÍSCA-41360][CORE] Evite o novo registro do BlockManager se o executor tiver sido perdido

    • [FAÍSCA-42162] Introduza a expressão MultiCommutativeOp como uma otimização de memória para canonicalizar grandes árvores de expressões comutativas

    • [FAÍSCA-41990][SQL] Use FieldReference.column em vez de na conversão de filtro V1 apply para V2

    • Atualizações de segurança do sistema operacional.

  • 16 de fevereiro de 2023

    • Os usuários agora podem ler e gravar determinadas tabelas Delta que exigem o Reader versão 3 e o Writer versão 7, usando o Databricks Runtime 9.1 ou posterior. Para serem bem-sucedidos, os recursos de tabela listados no protocolo das tabelas devem ser suportados pela versão atual do Databricks Runtime.
    • O comando SYNC suporta a sincronização de tabelas recriadas do Hive Metastore. Se uma tabela HMS tiver sido SINCRONIZADA anteriormente com o Unity Catalog, mas depois descartada e recriada, uma ressincronização subsequente funcionará em vez de lançar TABLE_ALREADY_EXISTS código de status.
    • [FAÍSCA-41219][SQL] IntegralDivide usa decimal(1, 0) para representar 0
    • [FAÍSCA-40382][SQL] Agrupar expressões agregadas distintas por crianças semanticamente equivalentes em RewriteDistinctAggregates
    • Atualizações de segurança do sistema operacional.

  • 25 de janeiro de 2023

    • [FAÍSCA-41379][SS][PYTHON] Fornecer sessão de faísca clonada no DataFrame na função de usuário para o coletor foreachBatch no PySpark
    • [FAÍSCA-41660][SQL] Propagar colunas de metadados somente se elas forem usadas
    • [FAÍSCA-41669][SQL] Poda antecipada em canCollapseExpressions
    • Correções de bugs diversos.

  • 18 de janeiro de 2023

    • REFRESH FUNCTION O comando SQL agora suporta funções SQL e funções de tabela SQL. Por exemplo, o comando pode ser usado para atualizar uma função SQL persistente que foi atualizada em outra sessão SQL.
    • A fonte de dados Java Database Connectivity (JDBC) v1 agora suporta pushdown de cláusula LIMIT para melhorar o desempenho em consultas. Este recurso é ativado por padrão e pode ser desativado com spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled definido como false.
    • A fonte de dados Java Database Connectivity (JDBC) v1 agora suporta pushdown de cláusula LIMIT para melhorar o desempenho em consultas. Esse recurso é habilitado por padrão e pode ser desativado com spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled definido como false.
    • O conector Sinapse do Azure agora retorna uma mensagem de erro mais descritiva quando um nome de coluna contém caracteres inválidos, como espaços em branco ou ponto-e-vírgula. Nesses casos, a seguinte mensagem será retornada: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [FAÍSCA-41198][SS] Corrigir métricas em consultas de streaming com origem de streaming CTE e DSv1
    • [FAÍSCA-41862][SQL] Corrigir bug de correção relacionado aos valores DEFAULT no leitor Orc
    • [FAÍSCA-41539][SQL] Remapear estatísticas e restrições em relação à saída no plano lógico para LogicalRDD
    • [FAÍSCA-39591][SS] Acompanhamento assíncrono do progresso
    • [FAÍSCA-41199][SS] Corrigir problema de métricas quando a fonte de streaming DSv1 e a fonte de streaming DSv2 são cousadas
    • [FAÍSCA-41261][PYTHON][SS] Corrija o problema de applyInPandasWithState quando as colunas de chaves de agrupamento não são colocadas em ordem desde o início
    • [FAÍSCA-41339][SQL] Feche e recrie o lote de gravação do RocksDB em vez de apenas limpar
    • [FAÍSCA-41732][SQL][SS] Aplicar poda baseada em padrão de árvore para a regra SessionWindowing
    • [FAÍSCA-38277][SS] Limpar lote de gravação após a confirmação do armazenamento de estado do RocksDB
    • Atualizações de segurança do sistema operacional.

  • 29 de novembro de 2022

    • Os usuários podem configurar o comportamento dos espaços em branco à esquerda e à direita ao gravar dados usando o conector Redshift. As seguintes opções foram adicionadas para controlar o manuseio de espaços em branco:
      • csvignoreleadingwhitespace, quando definido como true, remove o espaço em branco à esquerda dos valores durante as gravações quando tempformat está definido como CSV ou CSV GZIP. Os espaços em branco são mantidos quando a configuração é definida como false. Por predefinição, o valor é true.
      • csvignoretrailingwhitespace, quando definido como true, remove o espaço em branco à direita dos valores durante as gravações quando tempformat está definido como CSV ou CSV GZIP. Os espaços em branco são mantidos quando a configuração é definida como false. Por predefinição, o valor é true.
    • Corrigido um bug com a análise JSON no Auto Loader quando todas as colunas eram deixadas como strings (cloudFiles.inferColumnTypes não estava definido ou definido como false) e o JSON continha objetos aninhados.
    • Atualize snowflake-jdbc a dependência para a versão 3.13.22.
    • Os tipos de tabela de tabelas JDBC agora são EXTERNOS por padrão.
    • [FAÍSCA-40906][SQL] Mode deve copiar as teclas antes de inserir no Mapa
    • Atualizações de segurança do sistema operacional.

  • 15 de novembro de 2022

    • ACLs de tabela e clusters compartilhados de UC agora permitem o método Dataset.toJSON de python.
    • [FAÍSCA-40646] A análise JSON para structs, maps e arrays foi corrigida, portanto, quando uma parte de um registro não corresponde ao esquema, o restante do registro ainda pode ser analisado corretamente em vez de retornar nulos. Para optar pelo comportamento melhoradodefinido spark.sql.json.enablePartialResults como true. O sinalizador é desativado por padrão para preservar o comportamento original
    • [FAÍSCA-40903][SQL] Evite reordenar decimal Adicionar para canonicalização se o tipo de dados for alterado
    • [FAÍSCA-40618][SQL] Corrigir bug na regra MergeScalarSubqueries com subconsultas aninhadas usando o rastreamento de referência
    • [FAÍSCA-40697][SQL] Adicionar preenchimento de caracteres do lado de leitura para cobrir arquivos de dados externos
    • Atualizações de segurança do sistema operacional.

  • 1 de novembro de 2022

    • O Streaming estruturado no Unity Catalog agora suporta a atualização de tokens de acesso temporários. As cargas de trabalho de streaming executadas com clusters de todos os fins ou trabalhos do Unity Catalog não falham mais após a expiração inicial do token.
    • Corrigido um problema em que, se uma tabela Delta tivesse uma coluna definida pelo usuário chamada _change_type, mas o feed de dados Change estivesse desabilitado nessa tabela, os dados nessa coluna seriam preenchidos incorretamente com valores NULL durante a execução MERGE.
    • Corrigido um problema em que a execução MERGE e o uso de exatamente 99 colunas da fonte na condição podiam resultar em java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Corrigido um problema com o Auto Loader em que um ficheiro podia ser duplicado no mesmo microlote quando allowOverwrites estava ativado.
    • Apache commons-text atualizado para 1.10.0.
    • [FAÍSCA-38881][DSTREAMS][KINESIS][PYSPARK] Adicionado suporte para o CloudWatch MetricsLevel Config
    • [FAÍSCA-40596][CORE] Preencher ExecutorDecommission com mensagens em ExecutorDecommissionInfo
    • [FAÍSCA-40670][SS][PYTHON] Corrija o NPE em applyInPandasWithState quando o esquema de entrada tiver coluna(s) "não anulável"
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 11.2 (EoS)

Consulte Databricks Runtime 11.2 (EoS).

  • 28 de fevereiro de 2023
    • [FAÍSCA-42286][SQL] Fallback para o caminho de código codegen anterior para expr complexo com CAST
    • [FAÍSCA-42346][SQL] Reescrever agregações distintas após a mesclagem de subconsulta
    • Atualizações de segurança do sistema operacional.
  • 16 de fevereiro de 2023
    • Os usuários agora podem ler e gravar determinadas tabelas Delta que exigem o Reader versão 3 e o Writer versão 7, usando o Databricks Runtime 9.1 ou posterior. Para serem bem-sucedidos, os recursos de tabela listados no protocolo das tabelas devem ser suportados pela versão atual do Databricks Runtime.
    • O comando SYNC suporta a sincronização de tabelas recriadas do Hive Metastore. Se uma tabela HMS tiver sido SINCRONIZADA anteriormente com o Unity Catalog, mas depois descartada e recriada, uma ressincronização subsequente funcionará em vez de lançar TABLE_ALREADY_EXISTS código de status.
    • [FAÍSCA-41219][SQL] IntegralDivide usa decimal(1, 0) para representar 0
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2023
    • Os tipos de tabela de tabelas JDBC agora são EXTERNOS por padrão.
    • [FAÍSCA-41379][SS][PYTHON] Fornecer sessão de faísca clonada no DataFrame na função de usuário para o coletor foreachBatch no PySpark
  • 18 de janeiro de 2023
    • O conector Sinapse do Azure agora retorna uma mensagem de erro mais descritiva quando um nome de coluna contém caracteres inválidos, como espaços em branco ou ponto-e-vírgula. Nesses casos, a seguinte mensagem será retornada: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [FAÍSCA-41198][SS] Corrigir métricas em consultas de streaming com origem de streaming CTE e DSv1
    • [FAÍSCA-41862][SQL] Corrigir bug de correção relacionado aos valores DEFAULT no leitor Orc
    • [FAÍSCA-41539][SQL] Remapear estatísticas e restrições em relação à saída no plano lógico para LogicalRDD
    • [FAÍSCA-41199][SS] Corrigir problema de métricas quando a fonte de streaming DSv1 e a fonte de streaming DSv2 são cousadas
    • [FAÍSCA-41339][SQL] Feche e recrie o lote de gravação do RocksDB em vez de apenas limpar
    • [FAÍSCA-41732][SQL][SS] Aplicar poda baseada em padrão de árvore para a regra SessionWindowing
    • [FAÍSCA-38277][SS] Limpar lote de gravação após a confirmação do armazenamento de estado do RocksDB
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2022
    • Os usuários podem configurar o comportamento dos espaços em branco à esquerda e à direita ao gravar dados usando o conector Redshift. As seguintes opções foram adicionadas para controlar o manuseio de espaços em branco:
      • csvignoreleadingwhitespace, quando definido como true, remove o espaço em branco à esquerda dos valores durante as gravações quando tempformat está definido como CSV ou CSV GZIP. Os espaços em branco são mantidos quando a configuração é definida como false. Por predefinição, o valor é true.
      • csvignoretrailingwhitespace, quando definido como true, remove o espaço em branco à direita dos valores durante as gravações quando tempformat está definido como CSV ou CSV GZIP. Os espaços em branco são mantidos quando a configuração é definida como false. Por predefinição, o valor é true.
    • Corrigido um bug com a análise JSON no Auto Loader quando todas as colunas eram deixadas como strings (cloudFiles.inferColumnTypes não estava definido ou definido como false) e o JSON continha objetos aninhados.
    • [FAÍSCA-40906][SQL] Mode deve copiar as teclas antes de inserir no Mapa
    • Atualizações de segurança do sistema operacional.
  • 15 de novembro de 2022
    • [FAÍSCA-40646] A análise JSON para structs, maps e arrays foi corrigida, portanto, quando uma parte de um registro não corresponde ao esquema, o restante do registro ainda pode ser analisado corretamente em vez de retornar nulos. Para optar pelo comportamento melhorado, defina spark.sql.json.enablePartialResults como true. O sinalizador é desativado por padrão para preservar o comportamento original
    • [FAÍSCA-40618][SQL] Corrigir bug na regra MergeScalarSubqueries com subconsultas aninhadas usando o rastreamento de referência
    • [FAÍSCA-40697][SQL] Adicionar preenchimento de caracteres do lado de leitura para cobrir arquivos de dados externos
    • Atualizações de segurança do sistema operacional.
  • 1 de novembro de 2022
    • Apache commons-text atualizado para 1.10.0.
    • Corrigido um problema em que, se uma tabela Delta tivesse uma coluna definida pelo usuário chamada _change_type, mas o feed de dados Change estivesse desabilitado nessa tabela, os dados nessa coluna seriam preenchidos incorretamente com valores NULL durante a execução MERGE.
    • Corrigido um problema em que a execução MERGE e o uso de exatamente 99 colunas da fonte na condição podiam resultar em java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Corrigido um problema com o Auto Loader em que um ficheiro podia ser duplicado no mesmo microlote quando allowOverwrites estava ativado
    • [FAÍSCA-40596][CORE] Preencher ExecutorDecommission com mensagens em ExecutorDecommissionInfo
    • Atualizações de segurança do sistema operacional.
  • 19 de outubro de 2022
    • Corrigido um problema com o uso do COPY INTO com credenciais temporárias em clusters/armazéns habilitados para o Unity Catalog.
    • [FAÍSCA-40213][SQL] Suporta conversão de valor ASCII para caracteres latino-1
    • Atualizações de segurança do sistema operacional.
  • 5 de outubro de 2022
    • Os usuários podem definir spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") para reativar a listagem nativa do Auto Loader no ADLS Gen2. A listagem nativa foi desativada anteriormente devido a problemas de desempenho, mas pode ter levado a um aumento nos custos de armazenamento para os clientes. Esta alteração foi implementada para DBR 10.4 e 9.1 na atualização de manutenção anterior.
    • [FAÍSCA-40315][SQL]Suporte url encode/decode como função integrada e arrumar funções relacionadas a url
    • [FAÍSCA-40156][SQL]url_decode() se o retornar uma classe de erro
    • [FAÍSCA-40169] Não pressione filtros Parquet sem referência ao esquema de dados
    • [FAÍSCA-40460][SS] Corrigir métricas de streaming ao selecionar _metadata
    • [FAÍSCA-40468][SQL] Corrigir remoção de coluna em CSV quando _corrupt_record é selecionado
    • [FAÍSCA-40055][SQL] listCatalogs também deve retornar spark_catalog mesmo quando spark_catalog implementação é defaultSessionCatalog
    • Atualizações de segurança do sistema operacional.
  • 22 de setembro de 2022
    • [FAÍSCA-40315][SQL] Adicionar hashCode() para Literal de ArrayBasedMapData
    • [FAÍSCA-40389][SQL] As casas decimais não podem ser convertidas como tipos integrais se a transmissão puder transbordar
    • [FAÍSCA-40380][SQL] Corrija a dobragem constante de InvokeLike para evitar literais não serializáveis incorporados no plano
    • [FAÍSCA-40066][SQL][ACOMPANHAMENTO] Verifique se o ElementAt está resolvido antes de obter seu dataType
    • [FAÍSCA-40109][SQL] Nova função SQL: get()
    • [FAÍSCA-40066][SQL] Modo ANSI: sempre retornar null no acesso inválido à coluna do mapa
    • [FAÍSCA-40089][SQL] Corrigir a classificação para alguns tipos decimais
    • [FAÍSCA-39887][SQL] RemoveRedundantAliases deve manter aliases que tornam a saída dos nós de projeção exclusiva
    • [FAÍSCA-40152][SQL] Corrigir split_part problema de compilação de codegen
    • [FAÍSCA-40235][CORE] Use o bloqueio interruptível em vez de sincronizado em Executor.updateDependencies()
    • [FAÍSCA-40212][SQL] SparkSQL castPartValue não manipula corretamente byte, curto ou float
    • [FAÍSCA-40218][SQL] OS CONJUNTOS DE AGRUPAMENTO devem preservar as colunas de agrupamento
    • [FAÍSCA-35542][ML] Correção: Bucketizer criado para várias colunas com parâmetros
    • [FAÍSCA-40079] Adicionar validação de inputCols do Imputer para caso de entrada vazio
    • [FAÍSCA-39912]SPARK-39828[SQL] Refinar CatalogImpl

Tempo de execução do Databricks 11.1 (EoS)

Consulte Databricks Runtime 11.1 (EoS).

  • 31 de janeiro de 2023

    • [FAÍSCA-41379][SS][PYTHON] Fornecer sessão de faísca clonada no DataFrame na função de usuário para o coletor foreachBatch no PySpark
    • Correções de bugs diversos.

  • 18 de janeiro de 2023

    • O conector Sinapse do Azure agora retorna uma mensagem de erro mais descritiva quando um nome de coluna contém caracteres inválidos, como espaços em branco ou ponto-e-vírgula. Nesses casos, a seguinte mensagem será retornada: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [FAÍSCA-41198][SS] Corrigir métricas em consultas de streaming com origem de streaming CTE e DSv1
    • [FAÍSCA-41862][SQL] Corrigir bug de correção relacionado aos valores DEFAULT no leitor Orc
    • [FAÍSCA-41199][SS] Corrigir problema de métricas quando a fonte de streaming DSv1 e a fonte de streaming DSv2 são cousadas
    • [FAÍSCA-41339][SQL] Feche e recrie o lote de gravação do RocksDB em vez de apenas limpar
    • [FAÍSCA-41732][SQL][SS] Aplicar poda baseada em padrão de árvore para a regra SessionWindowing
    • [FAÍSCA-38277][SS] Limpar lote de gravação após a confirmação do armazenamento de estado do RocksDB
    • Atualizações de segurança do sistema operacional.

  • 29 de novembro de 2022

    • Os usuários podem configurar o comportamento dos espaços em branco à esquerda e à direita ao gravar dados usando o conector Redshift. As seguintes opções foram adicionadas para controlar o manuseio de espaços em branco:
      • csvignoreleadingwhitespace, quando definido como true, remove o espaço em branco à esquerda dos valores durante as gravações quando tempformat está definido como CSV ou CSV GZIP. Os espaços em branco são mantidos quando a configuração é definida como false. Por predefinição, o valor é true.
      • csvignoretrailingwhitespace, quando definido como true, remove o espaço em branco à direita dos valores durante as gravações quando tempformat está definido como CSV ou CSV GZIP. Os espaços em branco são mantidos quando a configuração é definida como false. Por predefinição, o valor é true.
    • Corrigido um bug com a análise JSON no Auto Loader quando todas as colunas eram deixadas como strings (cloudFiles.inferColumnTypes não estava definido ou definido como false) e o JSON continha objetos aninhados.
    • [FAÍSCA-39650][SS] Corrigir esquema de valor incorreto na desduplicação de streaming com compatibilidade com versões anteriores
    • Atualizações de segurança do sistema operacional.

  • 15 de novembro de 2022

    • [FAÍSCA-40646] A análise JSON para structs, maps e arrays foi corrigida, portanto, quando uma parte de um registro não corresponde ao esquema, o restante do registro ainda pode ser analisado corretamente em vez de retornar nulos. Para optar pelo comportamento melhorado, defina spark.sql.json.enablePartialResults como true. O sinalizador é desativado por padrão para preservar o comportamento original
    • Atualizações de segurança do sistema operacional.

  • 1 de novembro de 2022

    • Apache commons-text atualizado para 1.10.0.
    • Corrigido um problema em que, se uma tabela Delta tivesse uma coluna definida pelo usuário chamada _change_type, mas o feed de dados Change estivesse desabilitado nessa tabela, os dados nessa coluna seriam preenchidos incorretamente com valores NULL durante a execução MERGE.
    • Corrigido um problema em que a execução MERGE e o uso de exatamente 99 colunas da fonte na condição podiam resultar em java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Corrigido um problema com o Auto Loader em que um ficheiro podia ser duplicado no mesmo microlote quando allowOverwrites estava ativado
    • [FAÍSCA-40697][SQL] Adicionar preenchimento de caracteres do lado de leitura para cobrir arquivos de dados externos
    • [FAÍSCA-40596][CORE] Preencher ExecutorDecommission com mensagens em ExecutorDecommissionInfo
    • Atualizações de segurança do sistema operacional.

  • 18 de outubro de 2022

    • Corrigido um problema com o uso do COPY INTO com credenciais temporárias em clusters/armazéns habilitados para o Unity Catalog.
    • [FAÍSCA-40213][SQL] Suporta conversão de valor ASCII para caracteres latino-1
    • Atualizações de segurança do sistema operacional.

  • 5 de outubro de 2022

    • Os usuários podem definir spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") para reativar a listagem nativa do Auto Loader no ADLS Gen2. A listagem nativa foi desativada anteriormente devido a problemas de desempenho, mas pode ter levado a um aumento nos custos de armazenamento para os clientes. Esta alteração foi implementada para DBR 10.4 e 9.1 na atualização de manutenção anterior.
    • [FAÍSCA-40169] Não pressione filtros Parquet sem referência ao esquema de dados
    • [FAÍSCA-40460][SS] Corrigir métricas de streaming ao selecionar _metadata
    • [FAÍSCA-40468][SQL] Corrigir remoção de coluna em CSV quando _corrupt_record é selecionado
    • [FAÍSCA-40055][SQL] listCatalogs também deve retornar spark_catalog mesmo quando spark_catalog implementação é defaultSessionCatalog
    • Atualizações de segurança do sistema operacional.

  • 22 de setembro de 2022

    • [FAÍSCA-40315][SQL] Adicionar hashCode() para Literal de ArrayBasedMapData
    • [FAÍSCA-40380][SQL] Corrija a dobragem constante de InvokeLike para evitar literais não serializáveis incorporados no plano
    • [FAÍSCA-40089][SQL] Corrigir a classificação para alguns tipos decimais
    • [FAÍSCA-39887][SQL] RemoveRedundantAliases deve manter aliases que tornam a saída dos nós de projeção exclusiva
    • [FAÍSCA-40152][SQL] Corrigir split_part problema de compilação de codegen

  • 6 de setembro de 2022

    • Atualizamos o modelo de permissão em Controles de Acesso à Tabela (ACLs de Tabela) para que apenas as permissões MODIFY sejam necessárias para alterar o esquema ou as propriedades da tabela de uma tabela com ALTER TABLE. Anteriormente, essas operações exigiam que um usuário fosse o proprietário da tabela. A propriedade ainda é necessária para conceder permissões em uma tabela, alterar seu proprietário, alterar seu local ou renomeá-la. Essa alteração torna o modelo de permissão para ACLs de tabela mais consistente com o Catálogo Unity.
    • [FAÍSCA-40235][CORE] Use o bloqueio interruptível em vez de sincronizado em Executor.updateDependencies()
    • [FAÍSCA-40212][SQL] SparkSQL castPartValue não manipula corretamente byte, curto ou float
    • [FAÍSCA-40218][SQL] OS CONJUNTOS DE AGRUPAMENTO devem preservar as colunas de agrupamento
    • [FAÍSCA-39976][SQL] ArrayIntersect deve manipular null na expressão esquerda corretamente
    • [FAÍSCA-40053][CORE][SQL][TESTES] Adicionar assume a casos de cancelamento dinâmico que exigem ambiente de tempo de execução Python
    • [FAÍSCA-35542][CORE][ML] Correção: Bucketizer criado para várias colunas com parâmetros splitsArray, inputCols e outputCols não pode ser carregado depois de salvá-lo
    • [FAÍSCA-40079][CORE] Adicionar validação de inputCols do Imputer para caso de entrada vazio

  • 24 de agosto de 2022

    • Compartilhamentos, provedores e destinatários agora oferecem suporte a comandos SQL para alterar proprietários, comentar, renomear
    • [FAÍSCA-39983][CORE][SQL] Não armazenar em cache relações de difusão não serializadas no driver
    • [FAÍSCA-39912][FAÍSCA-39828][SQL] Refinar CatalogImpl
    • [FAÍSCA-39775][CORE][AVRO] Desabilitar a validação de valores padrão ao analisar esquemas Avro
    • [FAÍSCA-39806] Corrigido o problema em consultas que acessam METADATA struct crash em tabelas particionadas
    • [FAÍSCA-39867][SQL] O limite global não deve herdar OrderPreservingUnaryNode
    • [FAÍSCA-39962][PYTHON][SQL] Aplicar projeção quando os atributos de grupo estiverem vazios
    • [FAÍSCA-39839][SQL] Lidar com maiúsculas e minúsculas de comprimento variável nulo Decimal com deslocamento diferente de zeroAndSize na verificação de integridade estrutural UnsafeRow
    • [FAÍSCA-39713][SQL] Modo ANSI: adicionar sugestão de uso de try_element_at para erro INVALID_ARRAY_INDEX
    • [FAÍSCA-39847][SS] Corrija a condição de corrida em RocksDBLoader.loadLibrary() se o thread do chamador for interrompido
    • [FAÍSCA-39731][SQL] Corrigir problema em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com a política do analisador de tempo CORRIGIDO
    • Atualizações de segurança do sistema operacional.

  • 10 de agosto de 2022

    • Para tabelas Delta com controle de acesso a tabelas, a evolução automática do esquema por meio de instruções DML como INSERT e MERGE agora está disponível para todos os usuários que têm MODIFY permissões nessas tabelas. Além disso, as permissões necessárias para executar a evolução COPY INTO do esquema agora são reduzidas de OWNER para para MODIFY consistência com outros comandos. Essas alterações tornam o modelo de segurança da ACL da tabela mais consistente com o modelo de segurança do Unity Catalog, bem como com outras operações, como a substituição de uma tabela.
    • [FAÍSCA-39889] Melhorar a mensagem de erro de divisão por 0
    • [FAÍSCA-39795] [SQL] Nova função SQL: try_to_timestamp
    • [FAÍSCA-39749] Sempre use a representação de cadeia de caracteres simples na conversão decimal como cadeia de caracteres no modo ANSI
    • [FAÍSCA-39625] Renomear df.as para df.to
    • [FAÍSCA-39787] [SQL] Use a classe de erro no erro de análise da função to_timestamp
    • [FAÍSCA-39625] [SQL] Adicionar Dataset.as(StructType)
    • [FAÍSCA-39689] Suporte a 2 caracteres na fonte de lineSep dados CSV
    • [FAÍSCA-39579] [SQL][PYTHON][R] Tornar ListFunctions/getFunction/functionExists compatível com namespace de 3 camadas
    • [FAÍSCA-39702] [CORE] Reduza a sobrecarga de memória de TransportCipher$EncryptedMessage usando um byteRawChannel compartilhado
    • [FAÍSCA-39575] [AVRO] adicionar ByteBuffer#rewind após ByteBuffer#get em AvroDeserializer
    • [FAÍSCA-39265] [SQL] Corrigir falha de teste quando SPARK_ANSI_SQL_MODE está ativado
    • [FAÍSCA-39441] [SQL] Acelere a Desduplicação de Relações
    • [FAÍSCA-39497] [SQL] Melhorar a exceção de análise da coluna de chave de mapa ausente
    • [FAÍSCA-39476] [SQL] Desative a otimização do Unwrap cast ao transmitir de Long para Float/Double ou de Integer para Float
    • [FAÍSCA-39434] [SQL] Fornecer contexto de consulta de erro de tempo de execução quando o índice de matriz estiver fora dos limites

Databricks Runtime 11.0 (EoS)

Consulte Databricks Runtime 11.0 (EoS).

  • 29 de novembro de 2022
    • Os usuários podem configurar o comportamento dos espaços em branco à esquerda e à direita ao gravar dados usando o conector Redshift. As seguintes opções foram adicionadas para controlar o manuseio de espaços em branco:
      • csvignoreleadingwhitespace, quando definido como true, remove o espaço em branco à esquerda dos valores durante as gravações quando tempformat está definido como CSV ou CSV GZIP. Os espaços em branco são mantidos quando a configuração é definida como false. Por predefinição, o valor é true.
      • csvignoretrailingwhitespace, quando definido como true, remove o espaço em branco à direita dos valores durante as gravações quando tempformat está definido como CSV ou CSV GZIP. Os espaços em branco são mantidos quando a configuração é definida como false. Por predefinição, o valor é true.
    • Corrigido um bug com a análise JSON no Auto Loader quando todas as colunas eram deixadas como strings (cloudFiles.inferColumnTypes não estava definido ou definido como false) e o JSON continha objetos aninhados.
    • [FAÍSCA-39650][SS] Corrigir esquema de valor incorreto na desduplicação de streaming com compatibilidade com versões anteriores
    • Atualizações de segurança do sistema operacional.
  • 15 de novembro de 2022
    • [FAÍSCA-40646] A análise JSON para structs, maps e arrays foi corrigida, portanto, quando uma parte de um registro não corresponde ao esquema, o restante do registro ainda pode ser analisado corretamente em vez de retornar nulos. Para optar pelo comportamento melhorado, defina spark.sql.json.enablePartialResults como true. O sinalizador é desativado por padrão para preservar o comportamento original.
  • 1 de novembro de 2022
    • Apache commons-text atualizado para 1.10.0.
    • Corrigido um problema em que, se uma tabela Delta tivesse uma coluna definida pelo usuário chamada _change_type, mas o feed de dados Change estivesse desabilitado nessa tabela, os dados nessa coluna seriam preenchidos incorretamente com valores NULL durante a execução MERGE.
    • Corrigido um problema com o Auto Loader em que um ficheiro podia ser duplicado no mesmo microlote quando allowOverwrites estava ativado
    • [FAÍSCA-40697][SQL] Adicionar preenchimento de caracteres do lado de leitura para cobrir arquivos de dados externos
    • [FAÍSCA-40596][CORE] Preencher ExecutorDecommission com mensagens em ExecutorDecommissionInfo
    • Atualizações de segurança do sistema operacional.
  • 18 de outubro de 2022
    • [FAÍSCA-40213][SQL] Suporta conversão de valor ASCII para caracteres latino-1
    • Atualizações de segurança do sistema operacional.
  • 5 de outubro de 2022
    • Os usuários podem definir spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") para reativar a listagem nativa do Auto Loader no ADLS Gen2. A listagem nativa foi desativada anteriormente devido a problemas de desempenho, mas pode ter levado a um aumento nos custos de armazenamento para os clientes. Esta alteração foi implementada para DBR 10.4 e 9.1 na atualização de manutenção anterior.
    • [FAÍSCA-40169] Não pressione filtros Parquet sem referência ao esquema de dados
    • [FAÍSCA-40460][SS] Corrigir métricas de streaming ao selecionar _metadata
    • [FAÍSCA-40468][SQL] Corrigir remoção de coluna em CSV quando _corrupt_record é selecionado
    • Atualizações de segurança do sistema operacional.
  • 22 de setembro de 2022
    • [FAÍSCA-40315][SQL] Adicionar hashCode() para Literal de ArrayBasedMapData
    • [FAÍSCA-40380][SQL] Corrija a dobragem constante de InvokeLike para evitar literais não serializáveis incorporados no plano
    • [FAÍSCA-40089][SQL] Corrigir a classificação para alguns tipos decimais
    • [FAÍSCA-39887][SQL] RemoveRedundantAliases deve manter aliases que tornam a saída dos nós de projeção exclusiva
    • [FAÍSCA-40152][SQL] Corrigir split_part problema de compilação de codegen
  • 6 de setembro de 2022
    • [FAÍSCA-40235][CORE] Use o bloqueio interruptível em vez de sincronizado em Executor.updateDependencies()
    • [FAÍSCA-40212][SQL] SparkSQL castPartValue não manipula corretamente byte, curto ou float
    • [FAÍSCA-40218][SQL] OS CONJUNTOS DE AGRUPAMENTO devem preservar as colunas de agrupamento
    • [FAÍSCA-39976][SQL] ArrayIntersect deve manipular null na expressão esquerda corretamente
    • [FAÍSCA-40053][CORE][SQL][TESTES] Adicionar assume a casos de cancelamento dinâmico que exigem ambiente de tempo de execução Python
    • [FAÍSCA-35542][CORE][ML] Correção: Bucketizer criado para várias colunas com parâmetros splitsArray, inputCols e outputCols não pode ser carregado depois de salvá-lo
    • [FAÍSCA-40079][CORE] Adicionar validação de inputCols do Imputer para caso de entrada vazio
  • 24 de agosto de 2022
    • [FAÍSCA-39983][CORE][SQL] Não armazenar em cache relações de difusão não serializadas no driver
    • [FAÍSCA-39775][CORE][AVRO] Desabilitar a validação de valores padrão ao analisar esquemas Avro
    • [FAÍSCA-39806] Corrigido o problema em consultas que acessam METADATA struct crash em tabelas particionadas
    • [FAÍSCA-39867][SQL] O limite global não deve herdar OrderPreservingUnaryNode
    • [FAÍSCA-39962][PYTHON][SQL] Aplicar projeção quando os atributos de grupo estiverem vazios
    • Atualizações de segurança do sistema operacional.
  • 9 de agosto de 2022
    • [FAÍSCA-39713][SQL] Modo ANSI: adicionar sugestão de uso de try_element_at para erro INVALID_ARRAY_INDEX
    • [FAÍSCA-39847] Corrija a condição de corrida em RocksDBLoader.loadLibrary() se o thread do chamador for interrompido
    • [FAÍSCA-39731][SQL] Corrigir problema em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com a política do analisador de tempo CORRIGIDO
    • [FAÍSCA-39889] Melhorar a mensagem de erro de divisão por 0
    • [FAÍSCA-39795][SQL] Nova função SQL: try_to_timestamp
    • [FAÍSCA-39749] Sempre use a representação de cadeia de caracteres simples na conversão decimal como cadeia de caracteres no modo ANSI
    • [FAÍSCA-39625][SQL] Adicionar Dataset.to(StructType)
    • [FAÍSCA-39787][SQL] Use a classe de erro no erro de análise da função to_timestamp
    • Atualizações de segurança do sistema operacional.
  • 27 de julho de 2022
    • [FAÍSCA-39689]Suporte a 2 caracteres na fonte de lineSep dados CSV
    • [FAÍSCA-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded deve ser thread-safe
    • [FAÍSCA-39702][CORE] Reduza a sobrecarga de memória de TransportCipher$EncryptedMessage usando um byteRawChannel compartilhado
    • [FAÍSCA-39575][AVRO] adicionar ByteBuffer#rewind após ByteBuffer#get em AvroDeserializer
    • [FAÍSCA-39497][SQL] Melhorar a exceção de análise da coluna de chave de mapa ausente
    • [FAÍSCA-39441][SQL] Acelere a Desduplicação de Relações
    • [FAÍSCA-39476][SQL] Desative a otimização do Unwrap cast ao transmitir de Long para Float/Double ou de Integer para Float
    • [FAÍSCA-39434][SQL] Fornecer contexto de consulta de erro de tempo de execução quando o índice de matriz estiver fora dos limites
    • [FAÍSCA-39570][SQL] A tabela embutida deve permitir expressões com alias
    • Atualizações de segurança do sistema operacional.
  • 13 de julho de 2022
    • Torne os resultados da operação Delta MERGE consistentes quando a origem não for determinística.
    • Corrigido um problema para o TVF cloud_files_state quando executado em caminhos não-DBFS.
    • Desabilitado o uso do Auto Loader de APIs de nuvem nativas para listagem de diretórios no Azure.
    • [FAÍSCA-38796][SQL] Atualizar to_number e try_to_number funções para permitir RP com números positivos
    • [FAÍSCA-39272][SQL] Aumentar a posição inicial do contexto de consulta em 1
    • [FAÍSCA-39419][SQL] Corrija ArraySort para lançar uma exceção quando o comparador retornar null
    • Atualizações de segurança do sistema operacional.
  • 5 de julho de 2022
    • Melhoria nas mensagens de erro para uma variedade de classes de erro.
    • [FAÍSCA-39451][SQL] Suporte a intervalos de fundição para integrais no modo ANSI
    • [FAÍSCA-39361] Não use o padrão de conversão throwable estendido do Log4J2 nas configurações de log padrão
    • [FAÍSCA-39354][SQL] Certifique-se de mostrar Table or view not found mesmo que haja dataTypeMismatchError relacionados ao Filter mesmo tempo
    • [FAÍSCA-38675][CORE] Corrigir corrida durante o desbloqueio no BlockInfoManager
    • [FAÍSCA-39392][SQL] Refine mensagens de erro ANSI para dicas de função try_*
    • [FAÍSCA-39214][SQL][3.3] Melhorar os erros relacionados com o CAST
    • [FAÍSCA-37939][SQL] Usar classes de erro na análise de erros de propriedades
    • [FAÍSCA-39085][SQL] Mova a mensagem de erro de INCONSISTENT_BEHAVIOR_CROSS_VERSION para error-classes.json
    • [FAÍSCA-39376][SQL] Ocultar colunas duplicadas na expansão em estrela do alias de subconsulta de NATURAL/USING JOIN
    • [FAÍSCA-39283][CORE] Corrigir impasse entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator
    • [FAÍSCA-39285][SQL] O Spark não deve verificar nomes de campos ao ler arquivos
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 10.5 (EoS)

Consulte Databricks Runtime 10.5 (EoS).

  • 1 de novembro de 2022
    • Corrigido um problema em que, se uma tabela Delta tivesse uma coluna definida pelo usuário chamada _change_type, mas o feed de dados Change estivesse desabilitado nessa tabela, os dados nessa coluna seriam preenchidos incorretamente com valores NULL durante a execução MERGE.
    • [FAÍSCA-40697][SQL] Adicionar preenchimento de caracteres do lado de leitura para cobrir arquivos de dados externos
    • [FAÍSCA-40596][CORE] Preencher ExecutorDecommission com mensagens em ExecutorDecommissionInfo
    • Atualizações de segurança do sistema operacional.
  • 18 de outubro de 2022
    • Atualizações de segurança do sistema operacional.
  • 5 de outubro de 2022
    • Os usuários podem definir spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") para reativar a listagem nativa do Auto Loader no ADLS Gen2. A listagem nativa foi desativada anteriormente devido a problemas de desempenho, mas pode ter levado a um aumento nos custos de armazenamento para os clientes. Esta alteração foi implementada para DBR 10.4 e 9.1 na atualização de manutenção anterior.
    • reload4j foi atualizado para 1.2.19 para corrigir vulnerabilidades.
    • [FAÍSCA-40460][SS] Corrigir métricas de streaming ao selecionar _metadata
    • [FAÍSCA-40468][SQL] Corrigir remoção de coluna em CSV quando _corrupt_record é selecionado
    • Atualizações de segurança do sistema operacional.
  • 22 de setembro de 2022
    • [FAÍSCA-40315][SQL] Adicionar hashCode() para Literal de ArrayBasedMapData
    • [FAÍSCA-40213][SQL] Suporta conversão de valor ASCII para caracteres latino-1
    • [FAÍSCA-40380][SQL] Corrija a dobragem constante de InvokeLike para evitar literais não serializáveis incorporados no plano
    • [FAÍSCA-38404][SQL] Melhorar a resolução de CTE quando uma CTE aninhada faz referência a uma CTE externa
    • [FAÍSCA-40089][SQL] Corrigir a classificação para alguns tipos decimais
    • [FAÍSCA-39887][SQL] RemoveRedundantAliases deve manter aliases que tornam a saída dos nós de projeção exclusiva
    • Atualizações de segurança do sistema operacional.
  • 6 de setembro de 2022
    • [FAÍSCA-40235][CORE] Use o bloqueio interruptível em vez de sincronizado em Executor.updateDependencies()
    • [FAÍSCA-39976][SQL] ArrayIntersect deve manipular null na expressão esquerda corretamente
    • [FAÍSCA-40053][CORE][SQL][TESTES] Adicionar assume a casos de cancelamento dinâmico que exigem ambiente de tempo de execução Python
    • [FAÍSCA-35542][CORE][ML] Correção: Bucketizer criado para várias colunas com parâmetros splitsArray, inputCols e outputCols não pode ser carregado depois de salvá-lo
    • [FAÍSCA-40079][CORE] Adicionar validação de inputCols do Imputer para caso de entrada vazio
  • 24 de agosto de 2022
    • [FAÍSCA-39983][CORE][SQL] Não armazenar em cache relações de difusão não serializadas no driver
    • [FAÍSCA-39775][CORE][AVRO] Desabilitar a validação de valores padrão ao analisar esquemas Avro
    • [FAÍSCA-39806] Corrigido o problema em consultas que acessam METADATA struct crash em tabelas particionadas
    • [FAÍSCA-39962][PYTHON][SQL] Aplicar projeção quando os atributos de grupo estiverem vazios
    • [FAÍSCA-37643][SQL] quando charVarcharAsString é true, para consulta de predicado de tipo de dados char deve ignorar a regra rpadding
    • Atualizações de segurança do sistema operacional.
  • 9 de agosto de 2022
    • [FAÍSCA-39847] Corrija a condição de corrida em RocksDBLoader.loadLibrary() se o thread do chamador for interrompido
    • [FAÍSCA-39731][SQL] Corrigir problema em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com a política do analisador de tempo CORRIGIDO
    • Atualizações de segurança do sistema operacional.
  • 27 de julho de 2022
    • [FAÍSCA-39625][SQL] Adicionar Dataset.as(StructType)
    • [FAÍSCA-39689]Suporte a 2 caracteres na fonte de lineSep dados CSV
    • [FAÍSCA-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded deve ser thread-safe
    • [FAÍSCA-39570][SQL] A tabela embutida deve permitir expressões com alias
    • [FAÍSCA-39702][CORE] Reduza a sobrecarga de memória de TransportCipher$EncryptedMessage usando um byteRawChannel compartilhado
    • [FAÍSCA-39575][AVRO] adicionar ByteBuffer#rewind após ByteBuffer#get em AvroDeserializer
    • [FAÍSCA-39476][SQL] Desative a otimização do Unwrap cast ao transmitir de Long para Float/Double ou de Integer para Float
    • Atualizações de segurança do sistema operacional.
  • 13 de julho de 2022
    • Torne os resultados da operação Delta MERGE consistentes quando a origem não for determinística.
    • [FAÍSCA-39355][SQL] Uma única coluna usa aspas para construir UnresolvedAttribute
    • [FAÍSCA-39548][SQL] Comando CreateView com uma consulta de cláusula de janela atingiu uma definição de janela errada não encontrado problema
    • [FAÍSCA-39419][SQL] Corrija ArraySort para lançar uma exceção quando o comparador retornar null
    • Desabilitado o uso do Auto Loader de APIs de nuvem nativas para listagem de diretórios no Azure.
    • Atualizações de segurança do sistema operacional.
  • 5 de julho de 2022
    • [FAÍSCA-39376][SQL] Ocultar colunas duplicadas na expansão em estrela do alias de subconsulta de NATURAL/USING JOIN
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2022
    • [FAÍSCA-39283][CORE] Corrigir impasse entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator
    • [FAÍSCA-39285][SQL] O Spark não deve verificar nomes de campos ao ler arquivos
    • [FAÍSCA-34096][SQL] Melhorar o desempenho para nth_value ignorar nulos na janela de deslocamento
    • [FAÍSCA-36718][SQL][ACOMPANHAMENTO] Corrigir o isExtractOnly check-in CollapseProject
  • 2 de junho de 2022
    • [FAÍSCA-39166][SQL] Fornecer contexto de consulta de erro de tempo de execução para aritmética binária quando o WSCG estiver desativado
    • [FAÍSCA-39093][SQL] Evite erros de compilação de codegen ao dividir intervalos de ano e mês ou intervalos de tempo de dia por uma integral
    • [FAÍSCA-38990][SQL] Evite NullPointerException ao avaliar o formato date_trunc/trunc como uma referência acoplada
    • Atualizações de segurança do sistema operacional.
  • 18 de maio de 2022
    • Corrige uma possível fuga de memória nativa no Auto Loader.
    • [FAÍSCA-38868][SQL]Não propague exceções do predicado do filtro ao otimizar junções externas
    • [FAÍSCA-38796][SQL] Implementar as funções to_number e try_to_number SQL de acordo com uma nova especificação
    • [FAÍSCA-38918][SQL] A remoção de coluna aninhada deve filtrar atributos que não pertencem à relação atual
    • [FAÍSCA-38929][SQL] Melhorar mensagens de erro para falhas de transmissão no ANSI
    • [FAÍSCA-38926][SQL] Tipos de saída em mensagens de erro no estilo SQL
    • [FAÍSCA-39084][PYSPARK] Corrija df.rdd.isEmpty() usando TaskContext para parar o iterador na conclusão da tarefa
    • [FAÍSCA-32268][SQL] Adicionar ColumnPruning em injectBloomFilter
    • [FAÍSCA-38908][SQL] Fornecer contexto de consulta no erro de tempo de execução de Transmissão de String para Number/Date/Timestamp/Boolean
    • [FAÍSCA-39046][SQL] Retornar uma cadeia de caracteres de contexto vazia se TreeNode.origin estiver definido incorretamente
    • [FAÍSCA-38974][SQL] Filtrar funções registradas com um determinado nome de banco de dados em funções de lista
    • [FAÍSCA-38762][SQL] Fornecer contexto de consulta em erros de estouro decimal
    • [FAÍSCA-38931][SS] Crie diretório dfs raiz para RocksDBFileManager com número desconhecido de chaves no 1º ponto de verificação
    • [FAÍSCA-38992][CORE] Evite usar bash -c em ShellBasedGroupsMappingProvider
    • [FAÍSCA-38716][SQL] Fornecer contexto de consulta na chave de mapa não existe erro
    • [FAÍSCA-38889][SQL] Compilar filtros de coluna booleana para usar o tipo de bit para a fonte de dados MSSQL
    • [FAÍSCA-38698][SQL] Fornecer contexto de consulta no erro de tempo de execução de Divide/Div/Reminder/Pmod
    • [FAÍSCA-38823][SQL] Tornar NewInstance não dobrável para corrigir o problema de corrupção do buffer de agregação
    • [FAÍSCA-38809][SS] Implementar opção para ignorar valores nulos na implementação de hash simétrico de junções de fluxo de fluxo
    • [FAÍSCA-38676][SQL] Fornecer contexto de consulta SQL na mensagem de erro de tempo de execução de Adicionar/Subtrair/Multiplicar
    • [FAÍSCA-38677][PYSPARK] Python MonitorThread deve detetar deadlock devido ao bloqueio de E/S
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 10.3 (EoS)

Consulte Databricks Runtime 10.3 (EoS).

  • 27 de julho de 2022
    • [FAÍSCA-39689]Suporte a 2 caracteres na fonte de lineSep dados CSV
    • [FAÍSCA-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded deve ser thread-safe
    • [FAÍSCA-39702][CORE] Reduza a sobrecarga de memória de TransportCipher$EncryptedMessage usando um byteRawChannel compartilhado
    • Atualizações de segurança do sistema operacional.
  • 20 de julho de 2022
    • Torne os resultados da operação Delta MERGE consistentes quando a origem não for determinística.
    • [FAÍSCA-39476][SQL] Desative a otimização do Unwrap cast ao transmitir de Long para Float/Double ou de Integer para Float
    • [FAÍSCA-39548][SQL] Comando CreateView com uma consulta de cláusula de janela atingiu uma definição de janela errada não encontrado problema
    • [FAÍSCA-39419][SQL] Corrija ArraySort para lançar uma exceção quando o comparador retornar null
    • Atualizações de segurança do sistema operacional.
  • 5 de julho de 2022
    • [FAÍSCA-39376][SQL] Ocultar colunas duplicadas na expansão em estrela do alias de subconsulta de NATURAL/USING JOIN
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2022
    • [FAÍSCA-39283][CORE] Corrigir impasse entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator
    • [FAÍSCA-39285][SQL] O Spark não deve verificar nomes de campos ao ler arquivos
    • [FAÍSCA-34096][SQL] Melhorar o desempenho para nth_value ignorar nulos na janela de deslocamento
    • [FAÍSCA-36718][SQL][ACOMPANHAMENTO] Corrigir o isExtractOnly check-in CollapseProject
  • 2 de junho de 2022
    • [FAÍSCA-38990][SQL] Evite NullPointerException ao avaliar o formato date_trunc/trunc como uma referência acoplada
    • Atualizações de segurança do sistema operacional.
  • 18 de maio de 2022
    • Corrige uma possível fuga de memória nativa no Auto Loader.
    • [FAÍSCA-38918][SQL] A remoção de coluna aninhada deve filtrar atributos que não pertencem à relação atual
    • [FAÍSCA-37593][CORE] Reduza o tamanho da página padrão em LONG_ARRAY_OFFSET se G1GC e ON_HEAP forem usados
    • [FAÍSCA-39084][PYSPARK] Corrija df.rdd.isEmpty() usando TaskContext para parar o iterador na conclusão da tarefa
    • [FAÍSCA-32268][SQL] Adicionar ColumnPruning em injectBloomFilter
    • [FAÍSCA-38974][SQL] Filtrar funções registradas com um determinado nome de banco de dados em funções de lista
    • [FAÍSCA-38889][SQL] Compilar filtros de coluna booleana para usar o tipo de bit para a fonte de dados MSSQL
    • Atualizações de segurança do sistema operacional.
  • 4 de maio de 2022
    • Java AWS SDK atualizado da versão 1.11.655 para 1.12.1899.
  • 19 de abril de 2022
    • [FAÍSCA-38616][SQL] Acompanhe o texto da consulta SQL no Catalyst TreeNode
    • Atualizações de segurança do sistema operacional.
  • 6 de abril de 2022
    • [FAÍSCA-38631][CORE] Usa implementação baseada em Java para un-tarring em Utils.unpack
    • Atualizações de segurança do sistema operacional.
  • 22 de março de 2022
    • Alterado o diretório de trabalho atual de blocos de anotações em clusters de alta simultaneidade com controle de acesso à tabela ou passagem de credenciais habilitado para o diretório base do usuário. Anteriormente, o diretório de trabalho era /databricks/driver.
    • [FAÍSCA-38437][SQL] Serialização leniente de datetime a partir da fonte de dados
    • [FAÍSCA-38180][SQL] Permitir expressões upcast seguras em predicados de igualdade correlacionados
    • [FAÍSCA-38155][SQL] Não permitir agregados distintos em subconsultas laterais com predicados sem suporte
    • [FAÍSCA-38325][SQL] Modo ANSI: evite possíveis erros de tempo de execução em HashJoin.extractKeyExprAt()
  • 14 de março de 2022
    • Melhor deteção de conflitos de transações para transações vazias no Delta Lake.
    • [FAÍSCA-38185][SQL] Corrigir dados incorretos se a função agregada estiver vazia
    • [FAÍSCA-38318]Regressão [SQL] ao substituir uma exibição de conjunto de dados
    • [FAÍSCA-38236][SQL] Os caminhos de arquivo absolutos especificados na tabela create/alter são tratados como relativos
    • [FAÍSCA-35937][SQL] A extração do campo de data e hora do carimbo de data/hora deve funcionar no modo ANSI
    • [FAÍSCA-34069][SQL] Tarefas de barreira de morte devem respeitar SPARK_JOB_INTERRUPT_ON_CANCEL
    • [FAÍSCA-37707][SQL] Permitir atribuição de armazenamento entre TimestampNTZ e Data/Carimbo de Hora
  • 23 de fevereiro de 2022
    • [FAÍSCA-27442][SQL] Remover o nome do campo de verificação ao ler/gravar dados no parquet

Tempo de execução do Databricks 10.2 (EoS)

Consulte Databricks Runtime 10.2 (EoS).

  • 15 de junho de 2022
    • [FAÍSCA-39283][CORE] Corrigir impasse entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator
    • [FAÍSCA-39285][SQL] O Spark não deve verificar nomes de campos ao ler arquivos
    • [FAÍSCA-34096][SQL] Melhorar o desempenho para nth_value ignorar nulos na janela de deslocamento
  • 2 de junho de 2022
    • [FAÍSCA-38918][SQL] A remoção de coluna aninhada deve filtrar atributos que não pertencem à relação atual
    • [FAÍSCA-38990][SQL] Evite NullPointerException ao avaliar o formato date_trunc/trunc como uma referência acoplada
    • Atualizações de segurança do sistema operacional.
  • 18 de maio de 2022
    • Corrige uma possível fuga de memória nativa no Auto Loader.
    • [FAÍSCA-39084][PYSPARK] Corrija df.rdd.isEmpty() usando TaskContext para parar o iterador na conclusão da tarefa
    • [FAÍSCA-38889][SQL] Compilar filtros de coluna booleana para usar o tipo de bit para a fonte de dados MSSQL
    • [FAÍSCA-38931][SS] Crie diretório dfs raiz para RocksDBFileManager com número desconhecido de chaves no 1º ponto de verificação
    • Atualizações de segurança do sistema operacional.
  • 4 de maio de 2022
    • Java AWS SDK atualizado da versão 1.11.655 para 1.12.1899.
  • 19 de abril de 2022
    • Atualizações de segurança do sistema operacional.
    • Correções de bugs diversos.
  • 6 de abril de 2022
    • [FAÍSCA-38631][CORE] Usa implementação baseada em Java para un-tarring em Utils.unpack
    • Atualizações de segurança do sistema operacional.
  • 22 de março de 2022
    • Alterado o diretório de trabalho atual de blocos de anotações em clusters de alta simultaneidade com controle de acesso à tabela ou passagem de credenciais habilitado para o diretório base do usuário. Anteriormente, o diretório de trabalho era /databricks/driver.
    • [FAÍSCA-38437][SQL] Serialização leniente de datetime a partir da fonte de dados
    • [FAÍSCA-38180][SQL] Permitir expressões upcast seguras em predicados de igualdade correlacionados
    • [FAÍSCA-38155][SQL] Não permitir agregados distintos em subconsultas laterais com predicados sem suporte
    • [FAÍSCA-38325][SQL] Modo ANSI: evite possíveis erros de tempo de execução em HashJoin.extractKeyExprAt()
  • 14 de março de 2022
    • Melhor deteção de conflitos de transações para transações vazias no Delta Lake.
    • [FAÍSCA-38185][SQL] Corrigir dados incorretos se a função agregada estiver vazia
    • [FAÍSCA-38318]Regressão [SQL] ao substituir uma exibição de conjunto de dados
    • [FAÍSCA-38236][SQL] Os caminhos de arquivo absolutos especificados na tabela create/alter são tratados como relativos
    • [FAÍSCA-35937][SQL] A extração do campo de data e hora do carimbo de data/hora deve funcionar no modo ANSI
    • [FAÍSCA-34069][SQL] Tarefas de barreira de morte devem respeitar SPARK_JOB_INTERRUPT_ON_CANCEL
    • [FAÍSCA-37707][SQL] Permitir atribuição de armazenamento entre TimestampNTZ e Data/Carimbo de Hora
  • 23 de fevereiro de 2022
    • [FAÍSCA-37577][SQL] Fix ClassCastException: ArrayType não pode ser convertido para StructType para gerar poda
  • 8 de fevereiro de 2022
    • [FAÍSCA-27442][SQL] Remova o nome do campo de verificação ao ler/gravar dados no parquet.
    • Atualizações de segurança do sistema operacional.
  • 1 de fevereiro de 2022
    • Atualizações de segurança do sistema operacional.
  • 26 de janeiro de 2022
    • Corrigido um bug em que transações simultâneas em tabelas Delta podiam ser confirmadas em uma ordem não serializável sob certas condições raras.
    • Corrigido um bug em que o comando OTIMIZE podia falhar quando o dialeto ANSI SQL estava habilitado.
  • 19 de janeiro de 2022
    • Introduzido suporte para inserir credenciais temporárias em COPY INTO para carregar os dados de origem sem exigir permissões de ANY_FILE SQL
    • Correções de bugs e melhorias de segurança.
  • 20 de dezembro de 2021
    • Corrigido um bug raro com a filtragem baseada no índice de coluna Parquet.

Tempo de execução do Databricks 10.1 (EoS)

Consulte Databricks Runtime 10.1 (EoS).

  • 15 de junho de 2022
    • [FAÍSCA-39283][CORE] Corrigir impasse entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator
    • [FAÍSCA-39285][SQL] O Spark não deve verificar nomes de campos ao ler arquivos
    • [FAÍSCA-34096][SQL] Melhorar o desempenho para nth_value ignorar nulos na janela de deslocamento
  • 2 de junho de 2022
    • Atualizações de segurança do sistema operacional.
  • 18 de maio de 2022
    • Corrige uma possível fuga de memória nativa no Auto Loader.
    • [FAÍSCA-39084][PYSPARK] Corrija df.rdd.isEmpty() usando TaskContext para parar o iterador na conclusão da tarefa
    • [FAÍSCA-38889][SQL] Compilar filtros de coluna booleana para usar o tipo de bit para a fonte de dados MSSQL
    • Atualizações de segurança do sistema operacional.
  • 19 de abril de 2022
    • [FAÍSCA-37270][SQL] Corrigir push foldable em CaseWhen ramificações se elseValue estiver vazio
    • Atualizações de segurança do sistema operacional.
  • 6 de abril de 2022
    • [FAÍSCA-38631][CORE] Usa implementação baseada em Java para un-tarring em Utils.unpack
    • Atualizações de segurança do sistema operacional.
  • 22 de março de 2022
    • [FAÍSCA-38437][SQL] Serialização leniente de datetime a partir da fonte de dados
    • [FAÍSCA-38180][SQL] Permitir expressões upcast seguras em predicados de igualdade correlacionados
    • [FAÍSCA-38155][SQL] Não permitir agregados distintos em subconsultas laterais com predicados sem suporte
    • [FAÍSCA-38325][SQL] Modo ANSI: evite possíveis erros de tempo de execução em HashJoin.extractKeyExprAt()
  • 14 de março de 2022
    • Melhor deteção de conflitos de transações para transações vazias no Delta Lake.
    • [FAÍSCA-38185][SQL] Corrigir dados incorretos se a função agregada estiver vazia
    • [FAÍSCA-38318]Regressão [SQL] ao substituir uma exibição de conjunto de dados
    • [FAÍSCA-38236][SQL] Os caminhos de arquivo absolutos especificados na tabela create/alter são tratados como relativos
    • [FAÍSCA-35937][SQL] A extração do campo de data e hora do carimbo de data/hora deve funcionar no modo ANSI
    • [FAÍSCA-34069][SQL] Tarefas de barreira de morte devem respeitar SPARK_JOB_INTERRUPT_ON_CANCEL
    • [FAÍSCA-37707][SQL] Permitir atribuição de armazenamento entre TimestampNTZ e Data/Carimbo de Hora
  • 23 de fevereiro de 2022
    • [FAÍSCA-37577][SQL] Fix ClassCastException: ArrayType não pode ser convertido para StructType para gerar poda
  • 8 de fevereiro de 2022
    • [FAÍSCA-27442][SQL] Remova o nome do campo de verificação ao ler/gravar dados no parquet.
    • Atualizações de segurança do sistema operacional.
  • 1 de fevereiro de 2022
    • Atualizações de segurança do sistema operacional.
  • 26 de janeiro de 2022
    • Corrigido um bug em que transações simultâneas em tabelas Delta podiam ser confirmadas em uma ordem não serializável sob certas condições raras.
    • Corrigido um bug em que o comando OTIMIZE podia falhar quando o dialeto ANSI SQL estava habilitado.
  • 19 de janeiro de 2022
    • Introduzido suporte para inserir credenciais temporárias em COPY INTO para carregar os dados de origem sem exigir permissões de ANY_FILE SQL
    • Corrigido um problema de falta de memória com o cache de resultados da consulta sob determinadas condições.
    • Corrigido um problema quando USE DATABASE um usuário alterna o catálogo atual para um catálogo não padrão.
    • Correções de bugs e melhorias de segurança.
    • Atualizações de segurança do sistema operacional.
  • 20 de dezembro de 2021
    • Corrigido um bug raro com a filtragem baseada no índice de coluna Parquet.

Tempo de execução do Databricks 10.0 (EoS)

Consulte Databricks Runtime 10.0 (EoS).

  • 19 de abril de 2022
    • [FAÍSCA-37270][SQL] Corrigir push foldable em CaseWhen ramificações se elseValue estiver vazio
    • Atualizações de segurança do sistema operacional.
  • 6 de abril de 2022
    • [FAÍSCA-38631][CORE] Usa implementação baseada em Java para un-tarring em Utils.unpack
    • Atualizações de segurança do sistema operacional.
  • 22 de março de 2022
    • [FAÍSCA-38437][SQL] Serialização leniente de datetime a partir da fonte de dados
    • [FAÍSCA-38180][SQL] Permitir expressões upcast seguras em predicados de igualdade correlacionados
    • [FAÍSCA-38155][SQL] Não permitir agregados distintos em subconsultas laterais com predicados sem suporte
    • [FAÍSCA-38325][SQL] Modo ANSI: evite possíveis erros de tempo de execução em HashJoin.extractKeyExprAt()
  • 14 de março de 2022
    • Melhor deteção de conflitos de transações para transações vazias no Delta Lake.
    • [FAÍSCA-38185][SQL] Corrigir dados incorretos se a função agregada estiver vazia
    • [FAÍSCA-38318]Regressão [SQL] ao substituir uma exibição de conjunto de dados
    • [FAÍSCA-38236][SQL] Os caminhos de arquivo absolutos especificados na tabela create/alter são tratados como relativos
    • [FAÍSCA-35937][SQL] A extração do campo de data e hora do carimbo de data/hora deve funcionar no modo ANSI
    • [FAÍSCA-34069][SQL] Tarefas de barreira de morte devem respeitar SPARK_JOB_INTERRUPT_ON_CANCEL
    • [FAÍSCA-37707][SQL] Permitir atribuição de armazenamento entre TimestampNTZ e Data/Carimbo de Hora
  • 23 de fevereiro de 2022
    • [FAÍSCA-37577][SQL] Fix ClassCastException: ArrayType não pode ser convertido para StructType para gerar poda
  • 8 de fevereiro de 2022
    • [FAÍSCA-27442][SQL] Remova o nome do campo de verificação ao ler/gravar dados no parquet.
    • [FAÍSCA-36905][SQL] Corrigir a leitura de vistas da secção sem nomes de colunas explícitos
    • [FAÍSCA-37859][SQL] Corrigir problema que as tabelas SQL criadas com JDBC com Spark 3.1 não são legíveis com 3.2
    • Atualizações de segurança do sistema operacional.
  • 1 de fevereiro de 2022
    • Atualizações de segurança do sistema operacional.
  • 26 de janeiro de 2022
    • Corrigido um bug em que transações simultâneas em tabelas Delta podiam ser confirmadas em uma ordem não serializável sob certas condições raras.
    • Corrigido um bug em que o comando OTIMIZE podia falhar quando o dialeto ANSI SQL estava habilitado.
  • 19 de janeiro de 2022
    • Correções de bugs e melhorias de segurança.
    • Atualizações de segurança do sistema operacional.
  • 20 de dezembro de 2021
    • Corrigido um bug raro com a filtragem baseada no índice de coluna Parquet.
  • 9 de novembro de 2021
    • Introduziu sinalizadores de configuração adicionais para permitir o controle refinado de comportamentos ANSI.
  • 4 de novembro de 2021
    • Corrigido um bug que poderia fazer com que os fluxos de streaming estruturado falhassem com um ArrayIndexOutOfBoundsException
    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: No FileSystem for scheme ou que poderia fazer com que as modificações sparkContext.hadoopConfiguration não tivessem efeito nas consultas.
    • O Apache Spark Connector for Delta Sharing foi atualizado para 0.2.0.
  • 30 de novembro de 2021
    • Corrigido um problema com a análise de carimbo de data/hora em que uma cadeia de caracteres de fuso horário sem dois pontos era considerada inválida.
    • Corrigido um problema de falta de memória com o cache de resultados da consulta sob determinadas condições.
    • Corrigido um problema quando USE DATABASE um usuário alterna o catálogo atual para um catálogo não padrão.

Tempo de execução do Databricks 9.0 (EoS)

Consulte Databricks Runtime 9.0 (EoS).

  • 8 de fevereiro de 2022
    • Atualizações de segurança do sistema operacional.
  • 1 de fevereiro de 2022
    • Atualizações de segurança do sistema operacional.
  • 26 de janeiro de 2022
    • Corrigido um bug em que o comando OTIMIZE podia falhar quando o dialeto ANSI SQL estava habilitado.
  • 19 de janeiro de 2022
    • Correções de bugs e melhorias de segurança.
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2021
    • Corrigido um bug que poderia fazer com que os fluxos de streaming estruturado falhassem com um ArrayIndexOutOfBoundsException
    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: No FileSystem for scheme ou que poderia fazer com que as modificações sparkContext.hadoopConfiguration não tivessem efeito nas consultas.
    • O Apache Spark Connector for Delta Sharing foi atualizado para 0.2.0.
  • 22 de setembro de 2021
    • Corrigido um bug na matriz cast Spark com null to string
  • 15 de setembro de 2021
    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • 8 de setembro de 2021
    • Adicionado suporte para nome do esquema (databaseName.schemaName.tableName formato) como o nome da tabela de destino para o Azure Synapse Connector.
    • Adicionado suporte a tipos JDBC de geometria e geografia para Spark SQL.
    • [FAÍSCA-33527][SQL] Ampliou a função de decodificação para ser consistente com os bancos de dados convencionais.
    • [FAÍSCA-36532][CORE][3.1] Bloqueio CoarseGrainedExecutorBackend.onDisconnected corrigido para evitar executorsconnected o bloqueio do desligamento do executor.
  • 25 de agosto de 2021
    • A biblioteca de drivers do SQL Server foi atualizada para 9.2.1.jre8.
    • O conector Snowflake foi atualizado para 2.9.0.
    • Corrigido link quebrado para o melhor bloco de anotações de avaliação na página de experimento AutoML.

Tempo de execução do Databricks 8.4 (EoS)

Consulte Databricks Runtime 8.4 (EoS).

  • 19 de janeiro de 2022
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2021
    • Corrigido um bug que poderia fazer com que os fluxos de streaming estruturado falhassem com um ArrayIndexOutOfBoundsException
    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: No FileSystem for scheme ou que poderia fazer com que as modificações sparkContext.hadoopConfiguration não tivessem efeito nas consultas.
    • O Apache Spark Connector for Delta Sharing foi atualizado para 0.2.0.
  • 22 de setembro de 2021
    • O driver JDBC Spark foi atualizado para 2.6.19.1030
    • [FAÍSCA-36734][SQL] Atualize o ORC para 1.5.1
  • 15 de setembro de 2021
    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Atualizações de segurança do sistema operacional.
  • 8 de setembro de 2021
    • [FAÍSCA-36532][CORE][3.1] Bloqueio CoarseGrainedExecutorBackend.onDisconnected corrigido para evitar executorsconnected o bloqueio do desligamento do executor.
  • 25 de agosto de 2021
    • A biblioteca de drivers do SQL Server foi atualizada para 9.2.1.jre8.
    • O conector Snowflake foi atualizado para 2.9.0.
    • Corrige um bug na passagem de credenciais causado pela nova otimização de pré-busca do Parquet, em que a credencial de passagem do usuário pode não ser encontrada durante o acesso ao arquivo.
  • 11 de agosto de 2021
    • Corrige um problema de incompatibilidade do RocksDB que impede o Databricks Runtime 8.4 mais antigo. Isso corrige a compatibilidade direta para o Auto Loader COPY INTOe aplicativos de streaming com monitoração de estado.
    • Corrige um bug ao usar o Auto Loader para ler arquivos CSV com arquivos de cabeçalho incompatíveis. Se os nomes das colunas não corresponderem, a coluna será preenchida com nulos. Agora, se um esquema for fornecido, ele assumirá que o esquema é o mesmo e só salvará incompatibilidades de coluna se as colunas de dados resgatadas estiverem habilitadas.
    • Adiciona uma nova opção chamada externalDataSource no conector Synapse do Azure para remover o CONTROL requisito de permissão no banco de dados para leitura do PolyBase.
  • 29 de julho de 2021
    • [FAÍSCA-36034][CONSTRUIR] Rebaseie a datetime em filtros empurrados para baixo para Parquet
    • [FAÍSCA-36163][CONSTRUIR] Propagar propriedades JDBC corretas no provedor de conector JDBC e adicionar connectionProvider opção

Tempo de execução do Databricks 8.3 (EoS)

Consulte Databricks Runtime 8.3 (EoS).

  • 19 de janeiro de 2022
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2021
    • Corrigido um bug que poderia fazer com que os fluxos de streaming estruturado falhassem com um ArrayIndexOutOfBoundsException
    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: No FileSystem for scheme ou que poderia fazer com que as modificações sparkContext.hadoopConfiguration não tivessem efeito nas consultas.
  • 22 de setembro de 2021
    • O driver JDBC Spark foi atualizado para 2.6.19.1030
  • 15 de setembro de 2021
    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Atualizações de segurança do sistema operacional.
  • 8 de setembro de 2021
    • [FAÍSCA-35700][SQL][WARMFIX] Leia char/varchar orc table quando criado e escrito por sistemas externos.
    • [FAÍSCA-36532][CORE][3.1] Bloqueio CoarseGrainedExecutorBackend.onDisconnected corrigido para evitar executorsconnected o bloqueio do desligamento do executor.
  • 25 de agosto de 2021
    • A biblioteca de drivers do SQL Server foi atualizada para 9.2.1.jre8.
    • O conector Snowflake foi atualizado para 2.9.0.
    • Corrige um bug na passagem de credenciais causado pela nova otimização de pré-busca do Parquet, em que a credencial de passagem do usuário pode não ser encontrada durante o acesso ao arquivo.
  • 11 de agosto de 2021
    • Corrige um bug ao usar o Auto Loader para ler arquivos CSV com arquivos de cabeçalho incompatíveis. Se os nomes das colunas não corresponderem, a coluna será preenchida com nulos. Agora, se um esquema for fornecido, ele assumirá que o esquema é o mesmo e só salvará incompatibilidades de coluna se as colunas de dados resgatadas estiverem habilitadas.
  • 29 de julho de 2021
    • Atualize o conector Databricks Snowflake Spark para 2.9.0-spark-3.1
    • [FAÍSCA-36034][CONSTRUIR] Rebaseie a datetime em filtros empurrados para baixo para Parquet
    • [FAÍSCA-36163][CONSTRUIR] Propagar propriedades JDBC corretas no provedor de conector JDBC e adicionar connectionProvider opção
  • 14 de julho de 2021
    • Corrigido um problema ao usar nomes de coluna com pontos no conector Synapse do Azure.
    • Introduzido database.schema.table o formato para Synapse Connector.
    • Adicionado suporte para fornecer databaseName.schemaName.tableName formato como a tabela de destino em vez de apenas schemaName.tableName ou tableName.
  • 15 de junho de 2021
    • Corrigido um NoSuchElementException bug nas gravações otimizadas do Delta Lake que pode acontecer ao escrever grandes quantidades de dados e encontrar perdas do executor
    • Adiciona comandos SQL CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPS, e SHOW USERS . Para obter detalhes, consulte Instruções de segurança e Mostrar instruções.

Tempo de execução do Databricks 8.2 (EoS)

Consulte Databricks Runtime 8.2 (EoS).

  • 22 de setembro de 2021

    • Atualizações de segurança do sistema operacional.

  • 15 de setembro de 2021

    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8 de setembro de 2021

    • [FAÍSCA-35700][SQL][WARMFIX] Leia char/varchar orc table quando criado e escrito por sistemas externos.
    • [FAÍSCA-36532][CORE][3.1] Bloqueio CoarseGrainedExecutorBackend.onDisconnected corrigido para evitar executorsconnected o bloqueio do desligamento do executor.

  • 25 de agosto de 2021

    • O conector Snowflake foi atualizado para 2.9.0.

  • 11 de agosto de 2021

    • [FAÍSCA-36034][SQL] Rebaseie a datetime em filtros empurrados para baixo para parquet.

  • 29 de julho de 2021

    • Atualize o conector Databricks Snowflake Spark para 2.9.0-spark-3.1
    • [FAÍSCA-36163][CONSTRUIR] Propagar propriedades JDBC corretas no provedor de conector JDBC e adicionar connectionProvider opção

  • 14 de julho de 2021

    • Corrigido um problema ao usar nomes de coluna com pontos no conector Synapse do Azure.
    • Introduzido database.schema.table o formato para Synapse Connector.
    • Adicionado suporte para fornecer databaseName.schemaName.tableName formato como a tabela de destino em vez de apenas schemaName.tableName ou tableName.
    • Corrigido um bug que impedia os usuários de viajar no tempo para versões disponíveis mais antigas com tabelas Delta.

  • 15 de junho de 2021

    • Corrige um NoSuchElementException bug nas gravações otimizadas do Delta Lake que podem acontecer ao gravar grandes quantidades de dados e encontrar perdas do executor

  • 26 de maio de 2021

    • Python atualizado com patch de segurança para corrigir a vulnerabilidade de segurança do Python (CVE-2021-3177).

  • 30 de abril de 2021

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-35227][CONSTRUIR] Atualizar o resolvedor para spark-packages no SparkSubmit
    • [FAÍSCA-34245][CORE] Certifique-se de que o Mestre remove os executores que não conseguiram enviar o estado concluído
    • Corrigido um problema de OOM quando o Auto Loader relata métricas de progresso do Streaming Estruturado.

Tempo de execução do Databricks 8.1 (EoS)

Consulte Databricks Runtime 8.1 (EoS).

  • 22 de setembro de 2021

    • Atualizações de segurança do sistema operacional.

  • 15 de setembro de 2021

    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8 de setembro de 2021

    • [FAÍSCA-35700][SQL][WARMFIX] Leia char/varchar orc table quando criado e escrito por sistemas externos.
    • [FAÍSCA-36532][CORE][3.1] Bloqueio CoarseGrainedExecutorBackend.onDisconnected corrigido para evitar executorsconnected o bloqueio do desligamento do executor.

  • 25 de agosto de 2021

    • O conector Snowflake foi atualizado para 2.9.0.

  • 11 de agosto de 2021

    • [FAÍSCA-36034][SQL] Rebaseie a datetime em filtros empurrados para baixo para parquet.

  • 29 de julho de 2021

    • Atualize o conector Databricks Snowflake Spark para 2.9.0-spark-3.1
    • [FAÍSCA-36163][CONSTRUIR] Propagar propriedades JDBC corretas no provedor de conector JDBC e adicionar connectionProvider opção

  • 14 de julho de 2021

    • Corrigido um problema ao usar nomes de coluna com pontos no conector Synapse do Azure.
    • Corrigido um bug que impedia os usuários de viajar no tempo para versões disponíveis mais antigas com tabelas Delta.

  • 15 de junho de 2021

    • Corrige um NoSuchElementException bug nas gravações otimizadas do Delta Lake que podem acontecer ao gravar grandes quantidades de dados e encontrar perdas do executor

  • 26 de maio de 2021

    • Python atualizado com patch de segurança para corrigir a vulnerabilidade de segurança do Python (CVE-2021-3177).

  • 30 de abril de 2021

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-35227][CONSTRUIR] Atualizar o resolvedor para spark-packages no SparkSubmit
    • Corrigido um problema de OOM quando o Auto Loader relata métricas de progresso do Streaming Estruturado.

  • 27 de abril de 2021

    • [FAÍSCA-34245][CORE] Certifique-se de que o Mestre remove os executores que não conseguiram enviar o estado concluído
    • [FAÍSCA-34856][SQL] Modo ANSI: permite a transmissão de tipos complexos como tipo de cadeia de caracteres
    • [FAÍSCA-35014] Corrigir o padrão PhysicalAggregation para não reescrever expressões dobráveis
    • [FAÍSCA-34769][SQL] AnsiTypeCoercion: retorna o tipo conversível mais estreito entre TypeCollection
    • [FAÍSCA-34614][SQL] Modo ANSI: Casting String to Boolean lançará exceção no erro de análise
    • [FAÍSCA-33794][SQL] Modo ANSI: corrija a expressão NextDay para lançar o tempo de execução IllegalArgumentException ao receber entrada inválida em

Tempo de execução do Databricks 8.0 (EoS)

Consulte Databricks Runtime 8.0 (EoS).

  • 15 de setembro de 2021

    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 25 de agosto de 2021

    • O conector Snowflake foi atualizado para 2.9.0.

  • 11 de agosto de 2021

    • [FAÍSCA-36034][SQL] Rebaseie a datetime em filtros empurrados para baixo para parquet.

  • 29 de julho de 2021

    • [FAÍSCA-36163][CONSTRUIR] Propagar propriedades JDBC corretas no provedor de conector JDBC e adicionar connectionProvider opção

  • 14 de julho de 2021

    • Corrigido um problema ao usar nomes de coluna com pontos no conector Synapse do Azure.
    • Corrigido um bug que impedia os usuários de viajar no tempo para versões disponíveis mais antigas com tabelas Delta.

  • 26 de maio de 2021

    • Python atualizado com patch de segurança para corrigir a vulnerabilidade de segurança do Python (CVE-2021-3177).

  • 30 de abril de 2021

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-35227][CONSTRUIR] Atualizar o resolvedor para spark-packages no SparkSubmit
    • [FAÍSCA-34245][CORE] Certifique-se de que o Mestre remove os executores que não conseguiram enviar o estado concluído

  • 24 de março de 2021

    • [SPARK-34681][SQL] Corrigir o erro da associação externa completa de hash aleatório ao compilar o lado esquerdo com condição não igual
    • [FAÍSCA-34534] Corrigir ordem blockIds ao usar FetchShuffleBlocks para buscar blocos
    • [FAÍSCA-34613][SQL] A visualização de correção não captura a configuração de dica de desativação

  • 9 de março de 2021

    • [FAÍSCA-34543][SQL] Respeite a configuração ao resolver especificações de spark.sql.caseSensitive partição na v1 SET LOCATION
    • [FAÍSCA-34392][SQL] Suporte ZoneOffset +h:mm em DateTimeUtils. getZoneId
    • [UI] Corrigir o link href da visualização do Spark DAG
    • [FAÍSCA-34436][SQL] Suporte DPP LIKE ANY/ALL expressão

Tempo de execução do Databricks 7.6 (EoS)

Consulte Databricks Runtime 7.6 (EoS).

  • 11 de agosto de 2021
    • [FAÍSCA-36034][SQL] Rebaseie a datetime em filtros empurrados para baixo para parquet.
  • 29 de julho de 2021
    • [FAÍSCA-32998][CONSTRUIR] Adicionar capacidade de substituir repositórios remotos padrão apenas com repositórios internos
  • 14 de julho de 2021
    • Corrigido um bug que impedia os usuários de viajar no tempo para versões disponíveis mais antigas com tabelas Delta.
  • 26 de maio de 2021
    • Python atualizado com patch de segurança para corrigir a vulnerabilidade de segurança do Python (CVE-2021-3177).
  • 30 de abril de 2021
    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-35227][CONSTRUIR] Atualizar o resolvedor para spark-packages no SparkSubmit
    • [FAÍSCA-34245][CORE] Certifique-se de que o Mestre remove os executores que não conseguiram enviar o estado concluído
  • 24 de março de 2021
    • [FAÍSCA-34768][SQL] Respeite o tamanho do buffer de entrada padrão no Univocity
    • [FAÍSCA-34534] Corrigir ordem blockIds ao usar FetchShuffleBlocks para buscar blocos
  • 9 de março de 2021
    • (Apenas Azure) Corrigido um bug do Auto Loader que pode causar NullPointerException ao usar o Databricks Runtime 7.6 para executar um fluxo antigo do Auto Loader criado no Databricks Runtime 7.2
    • [UI] Corrigir o link href da visualização do Spark DAG
    • Desconhecido nó folha SparkPlan não é tratado corretamente em SizeInBytesOnlyStatsSparkPlanVisitor
    • Restaure o esquema de saída de SHOW DATABASES
    • [Delta][8.0, 7.6] Corrigido bug de cálculo na lógica de ajuste automático do tamanho do arquivo
    • Desativar a verificação de obsoletos para arquivos de tabela Delta no cache de disco
    • [SQL] Use a chave de construção de poda dinâmica correta quando a dica de junção de intervalo estiver presente
    • Desabilitar o suporte a tipos de char no caminho de código não-SQL
    • Evite NPE em DataFrameReader.schema
    • Corrigir NPE quando a resposta EventGridClient não tem entidade
    • Corrigir um bug de fluxo fechado de leitura no Azure Auto Loader
    • [SQL] Não gere conselhos de número de partição aleatório quando o AOS estiver ativado
  • 24 de fevereiro de 2021
    • Atualizado o conector Spark BigQuery para v0.18, que introduz várias correções de bugs e suporte para iteradores Arrow e Avro.
    • Corrigido um problema de correção que fazia com que o Spark retornasse resultados incorretos quando a precisão decimal e a escala do arquivo Parquet eram diferentes do esquema do Spark.
    • Corrigido o problema de falha de leitura em tabelas do Microsoft SQL Server que contêm tipos de dados espaciais, adicionando suporte a tipos JDBC de geometria e geografia para o Spark SQL.
    • Introduzida uma nova configuração spark.databricks.hive.metastore.init.reloadFunctions.enabled. Essa configuração controla a inicialização integrada do Hive. Quando definido como true, o Azure Databricks recarrega todas as funções de todos os bancos de dados que os usuários têm no FunctionRegistry. Este é o comportamento padrão no Hive Metastore. Quando definido como false, o Azure Databricks desabilita esse processo para otimização.
    • [FAÍSCA-34212] Corrigidos problemas relacionados à leitura de dados decimais de arquivos Parquet.
    • [FAÍSCA-34260][SQL] Corrija UnresolvedException ao criar o modo de exibição temporário duas vezes.

Tempo de execução do Databricks 7.5 (EoS)

Consulte Databricks Runtime 7.5 (EoS).

  • 26 de maio de 2021
    • Python atualizado com patch de segurança para corrigir a vulnerabilidade de segurança do Python (CVE-2021-3177).
  • 30 de abril de 2021
    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-35227][CONSTRUIR] Atualizar o resolvedor para spark-packages no SparkSubmit
    • [FAÍSCA-34245][CORE] Certifique-se de que o Mestre remove os executores que não conseguiram enviar o estado concluído
  • 24 de março de 2021
    • [FAÍSCA-34768][SQL] Respeite o tamanho do buffer de entrada padrão no Univocity
    • [FAÍSCA-34534] Corrigir ordem blockIds ao usar FetchShuffleBlocks para buscar blocos
  • 9 de março de 2021
    • (Apenas Azure) Corrigido um bug do Auto Loader que pode fazer com que NullPointerException ao usar o Databricks Runtime 7.5 execute um fluxo antigo do Auto Loader criado no Databricks Runtime 7.2.
    • [UI] Corrigir o link href da visualização do Spark DAG
    • Desconhecido nó folha SparkPlan não é tratado corretamente em SizeInBytesOnlyStatsSparkPlanVisitor
    • Restaure o esquema de saída de SHOW DATABASES
    • Desativar a verificação de obsoletos para arquivos de tabela Delta no cache de disco
    • [SQL] Use a chave de construção de poda dinâmica correta quando a dica de junção de intervalo estiver presente
    • Desabilitar o suporte a tipos de char no caminho de código não-SQL
    • Evite NPE em DataFrameReader.schema
    • Corrigir NPE quando a resposta EventGridClient não tem entidade
    • Corrigir um bug de fluxo fechado de leitura no Azure Auto Loader
  • 24 de fevereiro de 2021
    • Atualizado o conector Spark BigQuery para v0.18, que introduz várias correções de bugs e suporte para iteradores Arrow e Avro.
    • Corrigido um problema de correção que fazia com que o Spark retornasse resultados incorretos quando a precisão decimal e a escala do arquivo Parquet eram diferentes do esquema do Spark.
    • Corrigido o problema de falha de leitura em tabelas do Microsoft SQL Server que contêm tipos de dados espaciais, adicionando suporte a tipos JDBC de geometria e geografia para o Spark SQL.
    • Introduzida uma nova configuração spark.databricks.hive.metastore.init.reloadFunctions.enabled. Essa configuração controla a inicialização integrada do Hive. Quando definido como true, o Azure Databricks recarrega todas as funções de todos os bancos de dados que os usuários têm no FunctionRegistry. Este é o comportamento padrão no Hive Metastore. Quando definido como false, o Azure Databricks desabilita esse processo para otimização.
    • [FAÍSCA-34212] Corrigidos problemas relacionados à leitura de dados decimais de arquivos Parquet.
    • [FAÍSCA-34260][SQL] Corrija UnresolvedException ao criar o modo de exibição temporário duas vezes.
  • 4 de fevereiro de 2021
    • Corrigida uma regressão que impede a execução incremental de uma consulta que define um limite global, como SELECT * FROM table LIMIT nrows. A regressão foi experimentada por usuários que executam consultas via ODBC/JDBC com a serialização de seta habilitada.
    • Introduziu verificações de tempo de gravação no cliente Hive para evitar a corrupção de metadados no metastore do Hive para tabelas Delta.
    • Corrigida uma regressão que fazia com que o DBFS FUSE falhasse ao iniciar quando as configurações de variáveis de ambiente de cluster contivessem sintaxe bash inválida.
  • 20 de janeiro de 2021
    • Corrigida uma regressão na versão de manutenção de 12 de janeiro de 2021 que pode causar uma AnalysisException incorreta e dizer que a coluna é ambígua em uma associação automática. Essa regressão acontece quando um usuário ingressa em um DataFrame com seu DataFrame derivado (a chamada autoassociação) com as seguintes condições:
      • Esses dois DataFrames têm colunas comuns, mas a saída da junção automática não tem colunas comuns. Por exemplo, df.join(df.select($"col" as "new_col"), cond)
      • O DataFrame derivado exclui algumas colunas via select, groupBy ou window.
      • A condição de junção ou a seguinte transformação após o Dataframe unido refere-se às colunas não comuns. Por exemplo, df.join(df.drop("a"), df("a") === 1)
  • 12 de janeiro de 2021
    • Atualize o SDK de Armazenamento do Azure de 2.3.8 para 2.3.9.
    • [FAÍSCA-33593][SQL] Leitor de vetores tem dados incorretos com valor de partição binária
    • [FAÍSCA-33480][SQL] atualiza a mensagem de erro da verificação do comprimento de inserção da tabela char/varchar

Tempo de execução do Databricks 7.3 LTS (EoS)

Consulte Databricks Runtime 7.3 LTS (EoS).

  • 10 de setembro de 2023

    • Correções de bugs diversos.

  • 30 de agosto de 2023

    • Atualizações de segurança do sistema operacional.

  • 15 de agosto de 2023

    • Atualizações de segurança do sistema operacional.

  • 23 de junho de 2023

    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • Atualizações de segurança do sistema operacional.

  • 15 de junho de 2023

    • [FAÍSCA-43413][SQL] Corrija a IN anulabilidade da subconsulta ListQuery .
    • Atualizações de segurança do sistema operacional.

  • 2 de junho de 2023

    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.

  • 17 de maio de 2023

    • Atualizações de segurança do sistema operacional.

  • 25 de abril de 2023

    • Atualizações de segurança do sistema operacional.

  • 11 de abril de 2023

    • [FAÍSCA-42967][CORE] Corrija SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada depois que o estágio é cancelado.
    • Correções de bugs diversos.

  • 29 de março de 2023

    • Atualizações de segurança do sistema operacional.

  • 14 de Março de 2023

    • Correções de bugs diversos.

  • 28 de fevereiro de 2023

    • Atualizações de segurança do sistema operacional.

  • 16 de fevereiro de 2023

    • Atualizações de segurança do sistema operacional.

  • 31 de janeiro de 2023

    • Os tipos de tabela de tabelas JDBC agora são EXTERNOS por padrão.

  • 18 de janeiro de 2023

    • Atualizações de segurança do sistema operacional.

  • 29 de novembro de 2022

    • Correções de bugs diversos.

  • 15 de novembro de 2022

    • Apache commons-text atualizado para 1.10.0.
    • Atualizações de segurança do sistema operacional.
    • Correções de bugs diversos.

  • 1 de novembro de 2022

    • [FAÍSCA-38542][SQL] UnsafeHashedRelation deve serializar numKeys para fora

  • 18 de outubro de 2022

    • Atualizações de segurança do sistema operacional.

  • 5 de outubro de 2022

    • Correções de bugs diversos.
    • Atualizações de segurança do sistema operacional.

  • 22 de setembro de 2022

    • [FAÍSCA-40089][SQL] Corrigir a classificação para alguns tipos decimais

  • 6 de setembro de 2022

    • [FAÍSCA-35542][CORE][ML] Correção: Bucketizer criado para várias colunas com parâmetros splitsArray, inputCols e outputCols não pode ser carregado depois de salvá-lo
    • [FAÍSCA-40079][CORE] Adicionar validação de inputCols do Imputer para caso de entrada vazio

  • 24 de agosto de 2022

    • [FAÍSCA-39962][PYTHON][SQL] Aplicar projeção quando os atributos de grupo estiverem vazios
    • Atualizações de segurança do sistema operacional.

  • 9 de agosto de 2022

    • Atualizações de segurança do sistema operacional.

  • 27 de julho de 2022

    • Torne os resultados da operação Delta MERGE consistentes quando a origem não for determinística.
    • Atualizações de segurança do sistema operacional.
    • Correções de bugs diversos.

  • 13 de julho de 2022

    • [FAÍSCA-32680][SQL] Não pré-processe CTAS V2 com consulta não resolvida
    • Desabilitado o uso do Auto Loader de APIs de nuvem nativas para listagem de diretórios no Azure.
    • Atualizações de segurança do sistema operacional.

  • 5 de julho de 2022

    • Atualizações de segurança do sistema operacional.
    • Correções de bugs diversos.

  • 2 de junho de 2022

    • [FAÍSCA-38918][SQL] A remoção de coluna aninhada deve filtrar atributos que não pertencem à relação atual
    • Atualizações de segurança do sistema operacional.

  • 18 de maio de 2022

    • Atualize a versão do AWS SDK de 1.11.655 para 1.11.678.
    • Atualizações de segurança do sistema operacional.
    • Correções de bugs diversos.

  • 19 de abril de 2022

    • Atualizações de segurança do sistema operacional.
    • Correções de bugs diversos.

  • 6 de abril de 2022

    • Atualizações de segurança do sistema operacional.
    • Correções de bugs diversos.

  • 14 de março de 2022

    • Remover classes vulneráveis do log4j 1.2.17 jar
    • Correções de bugs diversos.

  • 23 de fevereiro de 2022

    • [FAÍSCA-37859][SQL] Não verifique se há metadados durante a comparação de esquema

  • 8 de fevereiro de 2022

    • Atualize o Ubuntu JDK para 1.8.0.312.
    • Atualizações de segurança do sistema operacional.

  • 1 de fevereiro de 2022

    • Atualizações de segurança do sistema operacional.

  • 26 de janeiro de 2022

    • Corrigido um bug em que o comando OTIMIZE podia falhar quando o dialeto ANSI SQL estava habilitado.

  • 19 de janeiro de 2022

    • O canal padrão Conda é removido do 7.3 ML LTS
    • Atualizações de segurança do sistema operacional.

  • 7 de dezembro de 2021

    • Atualizações de segurança do sistema operacional.

  • 4 de novembro de 2021

    • Corrigido um bug que poderia fazer com que os fluxos de streaming estruturado falhassem com um ArrayIndexOutOfBoundsException
    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: No FileSystem for scheme ou que poderia fazer com que as modificações sparkContext.hadoopConfiguration não tivessem efeito nas consultas.

  • 15 de setembro de 2021

    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Atualizações de segurança do sistema operacional.

  • 8 de setembro de 2021

    • [FAÍSCA-35700][SQL][WARMFIX] Leia char/varchar orc table quando criado e escrito por sistemas externos.
    • [FAÍSCA-36532][CORE][3.1] Bloqueio CoarseGrainedExecutorBackend.onDisconnected corrigido para evitar executorsconnected o bloqueio do desligamento do executor.

  • 25 de agosto de 2021

    • O conector Snowflake foi atualizado para 2.9.0.

  • 29 de julho de 2021

    • [FAÍSCA-36034][CONSTRUIR] Rebaseie a datetime em filtros empurrados para baixo para Parquet
    • [FAÍSCA-34508][CONSTRUIR] Ignorar HiveExternalCatalogVersionsSuite se a rede estiver inativa

  • 14 de julho de 2021

    • Formato introduzido database.schema.table para o conector Synapse do Azure.
    • Adicionado suporte para fornecer databaseName.schemaName.tableName formato como a tabela de destino em vez de apenas schemaName.tableName ou tableName.
    • Corrigido um bug que impedia os usuários de viajar no tempo para versões disponíveis mais antigas com tabelas Delta.

  • 15 de junho de 2021

    • Corrige um NoSuchElementException bug nas gravações otimizadas do Delta Lake que podem acontecer ao gravar grandes quantidades de dados e encontrar perdas do executor
    • Python atualizado com patch de segurança para corrigir a vulnerabilidade de segurança do Python (CVE-2021-3177).

  • 30 de abril de 2021

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-35227][CONSTRUIR] Atualizar o resolvedor para spark-packages no SparkSubmit
    • [FAÍSCA-34245][CORE] Certifique-se de que o Mestre remove os executores que não conseguiram enviar o estado concluído
    • [FAÍSCA-35045][SQL] Adicionar uma opção interna para controlar o buffer de entrada na univocity

  • 24 de março de 2021

    • [FAÍSCA-34768][SQL] Respeite o tamanho do buffer de entrada padrão no Univocity
    • [FAÍSCA-34534] Corrigir ordem blockIds ao usar FetchShuffleBlocks para buscar blocos
    • [FAÍSCA-33118][SQL]CREATE TEMPORARY TABLE falha com a localização

  • 9 de março de 2021

    • O driver atualizado do Sistema de Arquivos de Blob do Azure para o Azure Data Lake Storage Gen2 agora está habilitado por padrão. Traz várias melhorias de estabilidade.
    • Corrigir separador de caminho no Windows para databricks-connect get-jar-dir
    • [UI] Corrigir o link href da visualização do Spark DAG
    • [DBCONNECT] Adicionar suporte para FlatMapCoGroupsInPandas no Databricks Connect 7.3
    • Restaure o esquema de saída de SHOW DATABASES
    • [SQL] Use a chave de construção de poda dinâmica correta quando a dica de junção de intervalo estiver presente
    • Desativar a verificação de obsoletos para arquivos de tabela Delta no cache de disco
    • [SQL] Não gere conselhos de número de partição aleatório quando o AOS estiver ativado

  • 24 de fevereiro de 2021

    • Atualizado o conector Spark BigQuery para v0.18, que introduz várias correções de bugs e suporte para iteradores Arrow e Avro.
    • Corrigido um problema de correção que fazia com que o Spark retornasse resultados incorretos quando a precisão decimal e a escala do arquivo Parquet eram diferentes do esquema do Spark.
    • Corrigido o problema de falha de leitura em tabelas do Microsoft SQL Server que contêm tipos de dados espaciais, adicionando suporte a tipos JDBC de geometria e geografia para o Spark SQL.
    • Introduzida uma nova configuração spark.databricks.hive.metastore.init.reloadFunctions.enabled. Essa configuração controla a inicialização integrada do Hive. Quando definido como true, o Azure Databricks recarrega todas as funções de todos os bancos de dados que os usuários têm no FunctionRegistry. Este é o comportamento padrão no Hive Metastore. Quando definido como false, o Azure Databricks desabilita esse processo para otimização.
    • [FAÍSCA-34212] Corrigidos problemas relacionados à leitura de dados decimais de arquivos Parquet.
    • [FAÍSCA-33579][UI] Corrija a página em branco do executor atrás do proxy.
    • [FAÍSCA-20044][UI] Suporte Spark UI atrás de proxy reverso front-end usando um prefixo de caminho.
    • [FAÍSCA-33277][PYSPARK][SQL] Use ContextAwareIterator para parar de consumir após o término da tarefa.

  • 4 de fevereiro de 2021

    • Corrigida uma regressão que impede a execução incremental de uma consulta que define um limite global, como SELECT * FROM table LIMIT nrows. A regressão foi experimentada por usuários que executam consultas via ODBC/JDBC com a serialização de seta habilitada.
    • Corrigida uma regressão que fazia com que o DBFS FUSE falhasse ao iniciar quando as configurações de variáveis de ambiente de cluster contivessem sintaxe bash inválida.

  • 20 de janeiro de 2021

    • Corrigida uma regressão na versão de manutenção de 12 de janeiro de 2021 que pode causar uma AnalysisException incorreta e dizer que a coluna é ambígua em uma associação automática. Essa regressão acontece quando um usuário ingressa em um DataFrame com seu DataFrame derivado (a chamada autoassociação) com as seguintes condições:
      • Esses dois DataFrames têm colunas comuns, mas a saída da junção automática não tem colunas comuns. Por exemplo, df.join(df.select($"col" as "new_col"), cond)
      • O DataFrame derivado exclui algumas colunas via select, groupBy ou window.
      • A condição de junção ou a seguinte transformação após o Dataframe unido refere-se às colunas não comuns. Por exemplo, df.join(df.drop("a"), df("a") === 1)

  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-33593][SQL] Leitor de vetores tem dados incorretos com valor de partição binária
    • [FAÍSCA-33677][SQL] Ignorar regra LikeSimplification se o padrão contiver qualquer escapeChar
    • [FAÍSCA-33592][ML][PYTHON] Params do validador Pyspark ML no estimadorParamMaps podem ser perdidos após salvar e recarregar
    • [FAÍSCA-33071][FAÍSCA-33536][SQL] Evite alterar dataset_id de LogicalPlan em join() para não quebrar DetectAmbiguousSelfJoin

  • 8 de dezembro de 2020

    • [FAÍSCA-33587][CORE] Matar o executor em erros fatais aninhados
    • [FAÍSCA-27421][SQL] Corrigir filtro para coluna int e classe de valor java.lang.String ao remover coluna de partição
    • [FAÍSCA-33316][SQL] O usuário de suporte forneceu esquema Avro anulável para esquema de catalisador não anulável na gravação Avro
    • O Spark Jobs lançado usando o Databricks Connect pode travar indefinidamente com Executor$TaskRunner.$anonfun$copySessionState o rastreamento de pilha do executor
    • Atualizações de segurança do sistema operacional.

  • 1 de dezembro de 2020

    • [FAÍSCA-33404][SQL][3.0] Corrigir resultados incorretos na date_trunc expressão
    • [FAÍSCA-33339][PYTHON] O aplicativo Pyspark travará devido a um erro não Exception
    • [FAÍSCA-33183][SQL][HOTFIX] Corrigir a regra do otimizador EliminateSorts e adicionar uma regra física para remover classificações redundantes
    • [FAÍSCA-33371][PYTHON][3.0] Atualização setup.py e testes para Python 3.9
    • [FAÍSCA-33391][SQL] element_at com CreateArray não respeitam um índice baseado.
    • [FAÍSCA-33306][SQL]O fuso horário é necessário quando a data de conversão para a cadeia de caracteres
    • [FAÍSCA-33260][SQL] Corrigir resultados incorretos de SortExec quando sortOrder é Stream

  • 5 de novembro de 2020

    • Corrigir o bloqueio ABFS e WASB em relação ao UserGroupInformation.getCurrentUser().
    • Corrija um bug de loop infinito quando o leitor Avro lê os bytes MAGIC.
    • Adicione suporte para o privilégio USAGE.
    • Melhorias de desempenho para verificação de privilégios no controle de acesso à tabela.

  • 13 de outubro de 2020

    • Atualizações de segurança do sistema operacional.
    • Você pode ler e gravar a partir do DBFS usando a montagem FUSE em /dbfs/ quando estiver em um cluster habilitado para passagem de credenciais de alta simultaneidade. Montagens regulares são suportadas, mas montagens que precisam de credenciais de passagem ainda não são suportadas.
    • [FAÍSCA-32999][SQL] Use Utils.getSimpleName para evitar pressionar o nome da classe malformada em TreeNode
    • [FAÍSCA-32585][SQL] Suporte a enumeração scala em ScalaReflection
    • Diretórios de listagem fixos na montagem FUSE que contêm nomes de arquivo com caracteres XML inválidos
    • A montagem FUSE não usa mais ListMultipartUploads

  • 29 de setembro de 2020

    • [FAÍSCA-32718][SQL] Remover palavras-chave desnecessárias para unidades de intervalo
    • [FAÍSCA-32635][SQL] Corrigir propagação dobrável
    • Adicione uma nova configuração spark.shuffle.io.decoder.consolidateThreshold. Defina o valor config como Long.MAX_VALUE para ignorar a consolidação de netty FrameBuffers, o que impede java.lang.IndexOutOfBoundsException em casos de canto.

  • 25 de abril de 2023

    • Atualizações de segurança do sistema operacional.

  • 11 de abril de 2023

    • Correções de bugs diversos.

  • 29 de março de 2023

    • Correções de bugs diversos.

  • 14 de Março de 2023

    • Atualizações de segurança do sistema operacional.

  • 28 de fevereiro de 2023

    • Atualizações de segurança do sistema operacional.

  • 16 de fevereiro de 2023

    • Atualizações de segurança do sistema operacional.

  • 31 de janeiro de 2023

    • Correções de bugs diversos.

  • 18 de janeiro de 2023

    • Atualizações de segurança do sistema operacional.

  • 29 de novembro de 2022

    • Atualizações de segurança do sistema operacional.

  • 15 de novembro de 2022

    • Atualizações de segurança do sistema operacional.
    • Correções de bugs diversos.

  • 1 de novembro de 2022

    • Atualizações de segurança do sistema operacional.

  • 18 de outubro de 2022

    • Atualizações de segurança do sistema operacional.
    • 5 de outubro de 2022
      • Atualizações de segurança do sistema operacional.
    • 24 de agosto de 2022
      • Atualizações de segurança do sistema operacional.
    • 9 de agosto de 2022
      • Atualizações de segurança do sistema operacional.
    • 27 de julho de 2022
      • Atualizações de segurança do sistema operacional.
    • 5 de julho de 2022
      • Atualizações de segurança do sistema operacional.
    • 2 de junho de 2022
      • Atualizações de segurança do sistema operacional.
    • 18 de maio de 2022
      • Atualizações de segurança do sistema operacional.
    • 19 de abril de 2022
      • Atualizações de segurança do sistema operacional.
      • Correções de bugs diversos.
    • 6 de abril de 2022
      • Atualizações de segurança do sistema operacional.
      • Correções de bugs diversos.
    • 14 de março de 2022
      • Correções de bugs diversos.
    • 23 de fevereiro de 2022
      • Correções de bugs diversos.
    • 8 de fevereiro de 2022
      • Atualize o Ubuntu JDK para 1.8.0.312.
      • Atualizações de segurança do sistema operacional.
    • 1 de fevereiro de 2022
      • Atualizações de segurança do sistema operacional.
    • 19 de janeiro de 2022
      • Atualizações de segurança do sistema operacional.
    • 22 de setembro de 2021
      • Atualizações de segurança do sistema operacional.
    • 30 de abril de 2021
      • Atualizações de segurança do sistema operacional.
      • [FAÍSCA-35227][CONSTRUIR] Atualizar o resolvedor para spark-packages no SparkSubmit
    • 12 de janeiro de 2021
      • Atualizações de segurança do sistema operacional.
    • 8 de dezembro de 2020
      • [FAÍSCA-27421][SQL] Corrigir filtro para coluna int e classe de valor java.lang.String ao remover coluna de partição
      • Atualizações de segurança do sistema operacional.
    • 1 de dezembro de 2020
    • [FAÍSCA-33260][SQL] Corrigir resultados incorretos de SortExec quando sortOrder é Stream
    • 3 de novembro de 2020
      • Versão Java atualizada de 1.8.0_252 para 1.8.0_265.
      • Corrija o bloqueio ABFS e WASB em relação a UserGroupInformation.getCurrentUser()
    • 13 de outubro de 2020
      • Atualizações de segurança do sistema operacional.

Suporte estendido (EoS) do Databricks Runtime 6.4

Consulte Databricks Runtime 6.4 (EoS) e Databricks Runtime 6.4 Extended Support (EoS).

  • 5 de julho de 2022

    • Atualizações de segurança do sistema operacional.
    • Correções de bugs diversos.

  • 2 de junho de 2022

    • Atualizações de segurança do sistema operacional.

  • 18 de maio de 2022

    • Atualizações de segurança do sistema operacional.

  • 19 de abril de 2022

    • Atualizações de segurança do sistema operacional.
    • Correções de bugs diversos.

  • 6 de abril de 2022

    • Atualizações de segurança do sistema operacional.
    • Correções de bugs diversos.

  • 14 de março de 2022

    • Remover classes vulneráveis do log4j 1.2.17 jar
    • Correções de bugs diversos.

  • 23 de fevereiro de 2022

    • Correções de bugs diversos.

  • 8 de fevereiro de 2022

    • Atualize o Ubuntu JDK para 1.8.0.312.
    • Atualizações de segurança do sistema operacional.

  • 1 de fevereiro de 2022

    • Atualizações de segurança do sistema operacional.

  • 26 de janeiro de 2022

    • Corrigido um bug em que o comando OTIMIZE podia falhar quando o dialeto ANSI SQL estava habilitado.

  • 19 de janeiro de 2022

    • Atualizações de segurança do sistema operacional.

  • 8 de dezembro de 2021

    • Atualizações de segurança do sistema operacional.

  • 22 de setembro de 2021

    • Atualizações de segurança do sistema operacional.

  • 15 de junho de 2021

    • [FAÍSCA-35576][SQL] Redigir as informações confidenciais no resultado do comando Definir

  • 7 de junho de 2021

    • Adicione uma nova configuração chamada spark.sql.maven.additionalRemoteRepositories, uma configuração de cadeia de caracteres delimitada por vírgulas do espelho maven remoto adicional opcional. O valor padrão é .https://maven-central.storage-download.googleapis.com/maven2/

  • 30 de abril de 2021

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-35227][CONSTRUIR] Atualizar o resolvedor para spark-packages no SparkSubmit

  • 9 de março de 2021

    • Porta HADOOP-17215 para o driver do Sistema de Arquivos de Blob do Azure (Suporte para substituição condicional).
    • Corrigir separador de caminho no Windows para databricks-connect get-jar-dir
    • Adicionado suporte para as versões 2.3.5, 2.3.6 e 2.3.7 do Hive metastore
    • Seta "totalResultsCollected" reportada incorretamente após o derrame

  • 24 de fevereiro de 2021

    • Introduzida uma nova configuração spark.databricks.hive.metastore.init.reloadFunctions.enabled. Essa configuração controla a inicialização integrada do Hive. Quando definido como true, o Azure Databricks recarrega todas as funções de todos os bancos de dados que os usuários têm no FunctionRegistry. Este é o comportamento padrão no Hive Metastore. Quando definido como false, o Azure Databricks desabilita esse processo para otimização.

  • 4 de fevereiro de 2021

    • Corrigida uma regressão que impede a execução incremental de uma consulta que define um limite global, como SELECT * FROM table LIMIT nrows. A regressão foi experimentada por usuários que executam consultas via ODBC/JDBC com a serialização de seta habilitada.
    • Corrigida uma regressão que fazia com que o DBFS FUSE falhasse ao iniciar quando as configurações de variáveis de ambiente de cluster contivessem sintaxe bash inválida.

  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operacional.

  • 8 de dezembro de 2020

    • [FAÍSCA-27421][SQL] Corrigir filtro para coluna int e classe de valor java.lang.String ao remover coluna de partição
    • [FAÍSCA-33183][SQL] Corrigir a regra do otimizador EliminateSorts e adicionar uma regra física para remover classificações redundantes
    • [GPU de 6,4 ML em tempo de execução] Instalamos anteriormente uma versão incorreta (2.7.8-1+cuda11.1) do NCCL. Esta versão corrige-o para 2.4.8-1+cuda10.0 que é compatível com CUDA 10.0.
    • Atualizações de segurança do sistema operacional.

  • 1 de dezembro de 2020

  • 3 de novembro de 2020

    • Versão Java atualizada de 1.8.0_252 para 1.8.0_265.
    • Corrija o bloqueio ABFS e WASB em relação a UserGroupInformation.getCurrentUser()
    • Corrija um bug de loop infinito do leitor Avro ao ler os bytes MAGIC.

  • 13 de outubro de 2020

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-32999][SQL][2.4] Use Utils.getSimpleName para evitar pressionar o nome da classe malformada no TreeNode
    • Diretórios de listagem fixos na montagem FUSE que contêm nomes de arquivo com caracteres XML inválidos
    • A montagem FUSE não usa mais ListMultipartUploads

  • 24 de setembro de 2020

    • Corrigida uma limitação anterior em que a passagem no cluster padrão ainda restringia a implementação do sistema de arquivos que o usuário usa. Agora, os usuários poderiam acessar sistemas de arquivos locais sem restrições.
    • Atualizações de segurança do sistema operacional.

  • 8 de setembro de 2020

    • Um novo parâmetro foi criado para o Azure Synapse Analytics, maxbinlength. Este parâmetro é usado para controlar o comprimento da coluna de colunas BinaryType e é traduzido como VARBINARY(maxbinlength). Pode ser definido usando .option("maxbinlength", n), onde 0 < n <= 8000.
    • Atualize o SDK de Armazenamento do Azure para 8.6.4 e habilite o TCP keep alive em conexões feitas pelo driver WASB

  • 25 de agosto de 2020

    • Resolução de atributos ambíguos fixa na automesclagem

  • 18 de agosto de 2020

    • [FAÍSCA-32431][SQL] Verificar colunas aninhadas duplicadas em fontes de dados incorporadas lidas
    • Corrigida uma condição de corrida no conector AQS ao usar Trigger.Once.

  • 11 de agosto de 2020

  • 3 de agosto de 2020

    • Agora você pode usar a função de transformação LDA em um cluster habilitado para passagem.
    • Atualizações de segurança do sistema operacional.

  • 7 de julho de 2020

    • Versão Java atualizada de 1.8.0_232 para 1.8.0_252.

  • 21 de abril de 2020

    • [FAÍSCA-31312][SQL] Instância de classe de cache para a instância UDF em HiveFunctionWrapper

  • 7 de abril de 2020

    • Para resolver um problema com pandas udf não funcionando com o PyArrow 0.15.0 e superior, adicionamos uma variável de ambiente (ARROW_PRE_0_15_IPC_FORMAT=1) para habilitar o suporte para essas versões do PyArrow. Consulte as instruções em [SPARK-29367].

  • 10 de março de 2020

    • O dimensionamento automático otimizado agora é usado por padrão em clusters interativos no plano de segurança.
    • O conector Snowflake (spark-snowflake_2.11) incluído no Databricks Runtime é atualizado para a versão 2.5.9. snowflake-jdbc é atualizado para a versão 3.12.0.

Tempo de execução do Databricks 5.5 LTS (EoS)

Consulte Databricks Runtime 5.5 LTS (EoS) e Databricks Runtime 5.5 Extended Support (EoS).

  • 8 de dezembro de 2021

    • Atualizações de segurança do sistema operacional.

  • 22 de setembro de 2021

    • Atualizações de segurança do sistema operacional.

  • 25 de agosto de 2021

    • Rebaixou alguns pacotes python atualizados anteriormente na versão de suporte estendido de 5,5 ML para manter uma melhor paridade com 5,5 ML LTS (agora preterido). Consulte [_]/release-notes/runtime/5.5xml.md) para obter as diferenças atualizadas entre as duas versões.

  • 15 de junho de 2021

    • [FAÍSCA-35576][SQL] Redigir as informações confidenciais no resultado do comando Definir

  • 7 de junho de 2021

    • Adicione uma nova configuração chamada spark.sql.maven.additionalRemoteRepositories, uma configuração de cadeia de caracteres delimitada por vírgulas do espelho maven remoto adicional opcional. O valor padrão é .https://maven-central.storage-download.googleapis.com/maven2/

  • 30 de abril de 2021

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-35227][CONSTRUIR] Atualizar o resolvedor para spark-packages no SparkSubmit

  • 9 de março de 2021

    • Porta HADOOP-17215 para o driver do Sistema de Arquivos de Blob do Azure (Suporte para substituição condicional).

  • 24 de fevereiro de 2021

    • Introduzida uma nova configuração spark.databricks.hive.metastore.init.reloadFunctions.enabled. Essa configuração controla a inicialização integrada do Hive. Quando definido como true, o Azure Databricks recarrega todas as funções de todos os bancos de dados que os usuários têm no FunctionRegistry. Este é o comportamento padrão no Hive Metastore. Quando definido como false, o Azure Databricks desabilita esse processo para otimização.

  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operacional.
    • Correção para [HADOOP-17130].

  • 8 de dezembro de 2020

    • [FAÍSCA-27421][SQL] Corrigir filtro para coluna int e classe de valor java.lang.String ao remover coluna de partição
    • Atualizações de segurança do sistema operacional.

  • 1 de dezembro de 2020

  • 29 de outubro de 2020

    • Versão Java atualizada de 1.8.0_252 para 1.8.0_265.
    • Corrija o bloqueio ABFS e WASB em relação a UserGroupInformation.getCurrentUser()
    • Corrija um bug de loop infinito do leitor Avro ao ler os bytes MAGIC.

  • 13 de outubro de 2020

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-32999][SQL][2.4] Use Utils.getSimpleName para evitar pressionar o nome da classe malformada no TreeNode

  • 24 de setembro de 2020

    • Atualizações de segurança do sistema operacional.

  • 8 de setembro de 2020

    • Um novo parâmetro foi criado para o Azure Synapse Analytics, maxbinlength. Este parâmetro é usado para controlar o comprimento da coluna de colunas BinaryType e é traduzido como VARBINARY(maxbinlength). Pode ser definido usando .option("maxbinlength", n), onde 0 < n <= 8000.

  • 18 de agosto de 2020

    • [FAÍSCA-32431][SQL] Verificar colunas aninhadas duplicadas em fontes de dados incorporadas lidas
    • Corrigida uma condição de corrida no conector AQS ao usar Trigger.Once.

  • 11 de agosto de 2020

  • 3 de agosto de 2020

    • Atualizações de segurança do sistema operacional

  • 7 de julho de 2020

    • Versão Java atualizada de 1.8.0_232 para 1.8.0_252.

  • 21 de abril de 2020

    • [FAÍSCA-31312][SQL] Instância de classe de cache para a instância UDF em HiveFunctionWrapper

  • 7 de abril de 2020

    • Para resolver um problema com pandas udf não funcionando com o PyArrow 0.15.0 e superior, adicionamos uma variável de ambiente (ARROW_PRE_0_15_IPC_FORMAT=1) para habilitar o suporte para essas versões do PyArrow. Consulte as instruções em [SPARK-29367].

  • 25 de março de 2020

    • O conector Snowflake (spark-snowflake_2.11) incluído no Databricks Runtime é atualizado para a versão 2.5.9. snowflake-jdbc é atualizado para a versão 3.12.0.

  • 10 de março de 2020

    • A saída do trabalho, como a saída de log emitida para stdout, está sujeita a um limite de tamanho de 20MB. Se a saída total tiver um tamanho maior, a execução será cancelada e marcada como falha. Para evitar encontrar esse limite, você pode impedir que stdout seja retornado do driver para definindo a configuração do spark.databricks.driver.disableScalaOutput Spark como true. Por padrão, o valor do sinalizador é false. O sinalizador controla a saída da célula para trabalhos JAR Scala e notebooks Scala. Se o sinalizador estiver habilitado, o Spark não retornará os resultados da execução do trabalho para o cliente. O sinalizador não afeta os dados gravados nos arquivos de log do cluster. A definição desse sinalizador é recomendada apenas para clusters automatizados para trabalhos JAR, pois desativará os resultados do bloco de anotações.

  • 18 de fevereiro de 2020

    • [FAÍSCA-24783][SQL] spark.sql.shuffle.partitions=0 deve lançar exceção
    • A passagem de credenciais com o ADLS Gen2 tem uma degradação de desempenho devido ao tratamento local de thread incorreto quando a pré-busca do cliente ADLS está habilitada. Esta versão desativa a pré-busca do ADLS Gen2 quando a passagem de credenciais está habilitada até que tenhamos uma correção adequada.

  • 28 de janeiro de 2020

  • 14/01/2020

    • Versão Java atualizada de 1.8.0_222 para 1.8.0_232.

  • Novembro 19, 2019

    • [FAÍSCA-29743] O exemplo [SQL] deve definir needCopyResult como true se o needCopyResult de seu filho for true
    • A versão R foi involuntariamente atualizada de 3.6.0 para 3.6.1. Nós o rebaixamos de volta para 3.6.0.

  • Novembro 5, 2019

    • Versão Java atualizada de 1.8.0_212 para 1.8.0_222.

  • Outubro 23, 2019

    • [FAÍSCA-29244][CORE] Impedir página liberada em BytesToBytesMap livre novamente

  • 8 de outubro de 2019

    • Alterações do lado do servidor para permitir que o driver ODBC Simba Apache Spark se reconecte e continue após uma falha de conexão durante a busca de resultados (requer o driver ODBC Simba Apache Spark versão 2.6.10).
    • Corrigido um problema que afetava o uso do Optimize comando com clusters habilitados para ACL de tabela.
    • Corrigido um problema em que pyspark.ml as bibliotecas falhavam devido ao erro proibido do Scala UDF na ACL da tabela e nos clusters habilitados para passagem de credenciais.
    • Métodos Allowlisted SerDe e SerDeUtil para passagem de credenciais.
    • Corrigido NullPointerException ao verificar o código de erro no cliente WASB.

  • Setembro 24, 2019

    • Estabilidade melhorada do escritor Parquet.
    • Corrigido o problema de que a consulta Thrift cancelada antes de começar a ser executada pode ficar presa no estado INICIADO.

  • Setembro 10, 2019

    • Adicionar iterador seguro de thread a BytesToBytesMap
    • [FAÍSCA-27992][FAÍSCA-28881]Permitir que o Python se junte ao thread de conexão para propagar erros
    • Corrigido um bug que afetava determinadas consultas de agregação global.
    • Redação de credenciais melhorada.
    • [FAÍSCA-27330][SS] tarefa de suporte abortada no gravador foreach
    • [FAÍSCA-28642]Ocultar credenciais em SHOW CREATE TABLE
    • [FAÍSCA-28699][SQL] Desativar o uso de radix sort para ShuffleExchangeExec no caso de repartição

  • Agosto 27, 2019

    • [FAÍSCA-20906][SQL]Permitir esquema especificado pelo usuário na API to_avro com registro de esquema
    • [FAÍSCA-27838][SQL] O usuário de suporte forneceu esquema avro não anulável para esquema de catalisador anulável sem qualquer registro nulo
    • Melhoria na viagem no tempo do Lago Delta
    • Corrigido um problema que afetava determinadas transform expressões
    • Suporta variáveis de difusão quando o Isolamento de Processos está ativado

  • Agosto 13, 2019

    • A fonte de streaming Delta deve verificar o protocolo mais recente de uma tabela
    • [FAÍSCA-28260]Adicionar estado FECHADO a ExecutionState
    • [FAÍSCA-28489][SS]Corrija um bug que KafkaOffsetRangeCalculator.getRanges pode deixar offsets

  • Julho 30, 2019

    • [FAÍSCA-28015][SQL] Check stringToDate() consome entrada inteira para os formatos aaaa e aaaa-[m]m
    • [FAÍSCA-28308][CORE] A sub-segunda parte de CalendarInterval deve ser preenchida antes da análise
    • [FAÍSCA-27485]EnsureRequirements.reorder deve lidar com expressões duplicadas graciosamente
    • [FAÍSCA-28355][CORE][PYTHON] Use o Spark conf para o limite no qual o UDF é compactado por broadcast

Suporte estendido a Databricks Light 2.4

Consulte Databricks Light 2.4 (EoS) e Databricks Light 2.4 Extended Support (EoS).

Tempo de execução do Databricks 7.4 (EoS)

Consulte Databricks Runtime 7.4 (EoS).

  • 30 de abril de 2021

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-35227][CONSTRUIR] Atualizar o resolvedor para spark-packages no SparkSubmit
    • [FAÍSCA-34245][CORE] Certifique-se de que o Mestre remove os executores que não conseguiram enviar o estado concluído
    • [FAÍSCA-35045][SQL] Adicione uma opção interna para controlar o buffer de entrada na univocity e uma configuração para o tamanho do buffer de entrada CSV

  • 24 de março de 2021

    • [FAÍSCA-34768][SQL] Respeite o tamanho do buffer de entrada padrão no Univocity
    • [FAÍSCA-34534] Corrigir ordem blockIds ao usar FetchShuffleBlocks para buscar blocos

  • 9 de março de 2021

    • O driver atualizado do Sistema de Arquivos de Blob do Azure para o Azure Data Lake Storage Gen2 agora está habilitado por padrão. Traz várias melhorias de estabilidade.
    • [ES-67926][UI] Corrigir o link href da visualização do Spark DAG
    • [ES-65064] Restaure o esquema de saída de SHOW DATABASES
    • [SC-70522][SQL] Use a chave de construção de poda dinâmica correta quando a dica de junção de intervalo estiver presente
    • [SC-35081] Desativar a verificação de obsoletos para arquivos de tabela Delta no cache de disco
    • [SC-70640] Corrigir NPE quando a resposta EventGridClient não tem entidade
    • [SC-70220][SQL] Não gere conselhos de número de partição aleatório quando o AOS estiver ativado

  • 24 de fevereiro de 2021

    • Atualizado o conector Spark BigQuery para v0.18, que introduz várias correções de bugs e suporte para iteradores Arrow e Avro.
    • Corrigido um problema de correção que fazia com que o Spark retornasse resultados incorretos quando a precisão decimal e a escala do arquivo Parquet eram diferentes do esquema do Spark.
    • Corrigido o problema de falha de leitura em tabelas do Microsoft SQL Server que contêm tipos de dados espaciais, adicionando suporte a tipos JDBC de geometria e geografia para o Spark SQL.
    • Introduzida uma nova configuração spark.databricks.hive.metastore.init.reloadFunctions.enabled. Essa configuração controla a inicialização integrada do Hive. Quando definido como true, o Azure Databricks recarrega todas as funções de todos os bancos de dados que os usuários têm no FunctionRegistry. Este é o comportamento padrão no Hive Metastore. Quando definido como false, o Azure Databricks desabilita esse processo para otimização.
    • [FAÍSCA-34212] Corrigidos problemas relacionados à leitura de dados decimais de arquivos Parquet.
    • [FAÍSCA-33579][UI] Corrija a página em branco do executor atrás do proxy.
    • [FAÍSCA-20044][UI] Suporte Spark UI atrás de proxy reverso front-end usando um prefixo de caminho.
    • [FAÍSCA-33277][PYSPARK][SQL] Use ContextAwareIterator para parar de consumir após o término da tarefa.

  • 4 de fevereiro de 2021

    • Corrigida uma regressão que impede a execução incremental de uma consulta que define um limite global, como SELECT * FROM table LIMIT nrows. A regressão foi experimentada por usuários que executam consultas via ODBC/JDBC com a serialização de seta habilitada.
    • Corrigida uma regressão que fazia com que o DBFS FUSE falhasse ao iniciar quando as configurações de variáveis de ambiente de cluster contivessem sintaxe bash inválida.

  • 20 de janeiro de 2021

    • Corrigida uma regressão na versão de manutenção de 12 de janeiro de 2021 que pode causar uma AnalysisException incorreta e dizer que a coluna é ambígua em uma associação automática. Essa regressão acontece quando um usuário ingressa em um DataFrame com seu DataFrame derivado (a chamada autoassociação) com as seguintes condições:
      • Esses dois DataFrames têm colunas comuns, mas a saída da junção automática não tem colunas comuns. Por exemplo, df.join(df.select($"col" as "new_col"), cond)
      • O DataFrame derivado exclui algumas colunas via select, groupBy ou window.
      • A condição de junção ou a seguinte transformação após o Dataframe unido refere-se às colunas não comuns. Por exemplo, df.join(df.drop("a"), df("a") === 1)

  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-33593][SQL] Leitor de vetores tem dados incorretos com valor de partição binária
    • [FAÍSCA-33677][SQL] Ignorar regra LikeSimplification se o padrão contiver qualquer escapeChar
    • [FAÍSCA-33071][FAÍSCA-33536][SQL] Evite alterar dataset_id de LogicalPlan em join() para não quebrar DetectAmbiguousSelfJoin

  • 8 de dezembro de 2020

    • [FAÍSCA-33587][CORE] Matar o executor em erros fatais aninhados
    • [FAÍSCA-27421][SQL] Corrigir filtro para coluna int e classe de valor java.lang.String ao remover coluna de partição
    • [FAÍSCA-33316][SQL] O usuário de suporte forneceu esquema Avro anulável para esquema de catalisador não anulável na gravação Avro
    • Atualizações de segurança do sistema operacional.

  • 1 de dezembro de 2020

    • [FAÍSCA-33404][SQL][3.0] Corrigir resultados incorretos na date_trunc expressão
    • [FAÍSCA-33339][PYTHON] O aplicativo Pyspark travará devido a um erro não Exception
    • [FAÍSCA-33183][SQL][HOTFIX] Corrigir a regra do otimizador EliminateSorts e adicionar uma regra física para remover classificações redundantes
    • [FAÍSCA-33371][PYTHON][3.0] Atualização setup.py e testes para Python 3.9
    • [FAÍSCA-33391][SQL] element_at com CreateArray não respeitam um índice baseado.
    • [FAÍSCA-33306][SQL]O fuso horário é necessário quando a data de conversão para a cadeia de caracteres
    • [FAÍSCA-33260][SQL] Corrigir resultados incorretos de SortExec quando sortOrder é Stream
    • [FAÍSCA-33272][SQL] eliminar o mapeamento de atributos em QueryPlan.transformUpWithNewOutput

Tempo de execução do Databricks 7.2 (EoS)

Consulte Databricks Runtime 7.2 (EoS).

  • 4 de fevereiro de 2021

    • Corrigida uma regressão que impede a execução incremental de uma consulta que define um limite global, como SELECT * FROM table LIMIT nrows. A regressão foi experimentada por usuários que executam consultas via ODBC/JDBC com a serialização de seta habilitada.
    • Corrigida uma regressão que fazia com que o DBFS FUSE falhasse ao iniciar quando as configurações de variáveis de ambiente de cluster contivessem sintaxe bash inválida.

  • 20 de janeiro de 2021

    • Corrigida uma regressão na versão de manutenção de 12 de janeiro de 2021 que pode causar uma AnalysisException incorreta e dizer que a coluna é ambígua em uma associação automática. Essa regressão acontece quando um usuário ingressa em um DataFrame com seu DataFrame derivado (a chamada autoassociação) com as seguintes condições:
      • Esses dois DataFrames têm colunas comuns, mas a saída da junção automática não tem colunas comuns. Por exemplo, df.join(df.select($"col" as "new_col"), cond)
      • O DataFrame derivado exclui algumas colunas via select, groupBy ou window.
      • A condição de junção ou a seguinte transformação após o Dataframe unido refere-se às colunas não comuns. Por exemplo, df.join(df.drop("a"), df("a") === 1)

  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-33593][SQL] Leitor de vetores tem dados incorretos com valor de partição binária
    • [FAÍSCA-33677][SQL] Ignorar regra LikeSimplification se o padrão contiver qualquer escapeChar
    • [FAÍSCA-33071][FAÍSCA-33536][SQL] Evite alterar dataset_id de LogicalPlan em join() para não quebrar DetectAmbiguousSelfJoin

  • 8 de dezembro de 2020

    • [FAÍSCA-27421][SQL] Corrigir filtro para coluna int e classe de valor java.lang.String ao remover coluna de partição
    • [FAÍSCA-33404][SQL] Corrigir resultados incorretos na date_trunc expressão
    • [FAÍSCA-33339][PYTHON] O aplicativo Pyspark travará devido a um erro não Exception
    • [FAÍSCA-33183][SQL] Corrigir a regra do otimizador EliminateSorts e adicionar uma regra física para remover classificações redundantes
    • [FAÍSCA-33391][SQL] element_at com CreateArray não respeitam um índice baseado.
    • Atualizações de segurança do sistema operacional.

  • 1 de dezembro de 2020

    • [FAÍSCA-33306][SQL]O fuso horário é necessário quando a data de conversão para a cadeia de caracteres
    • [FAÍSCA-33260][SQL] Corrigir resultados incorretos de SortExec quando sortOrder é Stream

  • 3 de novembro de 2020

    • Versão Java atualizada de 1.8.0_252 para 1.8.0_265.
    • Corrija o bloqueio ABFS e WASB em relação a UserGroupInformation.getCurrentUser()
    • Corrija um bug de loop infinito do leitor Avro ao ler os bytes MAGIC.

  • 13 de outubro de 2020

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-32999][SQL] Use Utils.getSimpleName para evitar pressionar o nome da classe malformada em TreeNode
    • Diretórios de listagem fixos na montagem FUSE que contêm nomes de arquivo com caracteres XML inválidos
    • A montagem FUSE não usa mais ListMultipartUploads

  • 29 de setembro de 2020

    • [FAÍSCA-28863][SQL][WARMFIX] Introduza AlreadyOptimized para evitar a reanálise de V1FallbackWriters
    • [FAÍSCA-32635][SQL] Corrigir propagação dobrável
    • Adicione uma nova configuração spark.shuffle.io.decoder.consolidateThreshold. Defina o valor config como Long.MAX_VALUE para ignorar a consolidação de netty FrameBuffers, o que impede java.lang.IndexOutOfBoundsException em casos de canto.

  • 24 de setembro de 2020

    • [FAÍSCA-32764][SQL] -0.0 deve ser igual a 0.0
    • [FAÍSCA-32753][SQL] Copie tags somente para o nó sem tags ao transformar planos
    • [FAÍSCA-32659][SQL] Corrigir o problema de dados da Poda de Partição Dinâmica inserida em tipo não atômico
    • Atualizações de segurança do sistema operacional.

  • 8 de setembro de 2020

    • Um novo parâmetro foi criado para o Azure Synapse Analytics, maxbinlength. Este parâmetro é usado para controlar o comprimento da coluna de colunas BinaryType e é traduzido como VARBINARY(maxbinlength). Pode ser definido usando .option("maxbinlength", n), onde 0 < n <= 8000.

Tempo de execução do Databricks 7.1 (EoS)

Consulte Databricks Runtime 7.1 (EoS).

  • 4 de fevereiro de 2021

    • Corrigida uma regressão que fazia com que o DBFS FUSE falhasse ao iniciar quando as configurações de variáveis de ambiente de cluster contivessem sintaxe bash inválida.

  • 20 de janeiro de 2021

    • Corrigida uma regressão na versão de manutenção de 12 de janeiro de 2021 que pode causar uma AnalysisException incorreta e dizer que a coluna é ambígua em uma associação automática. Essa regressão acontece quando um usuário ingressa em um DataFrame com seu DataFrame derivado (a chamada autoassociação) com as seguintes condições:
      • Esses dois DataFrames têm colunas comuns, mas a saída da junção automática não tem colunas comuns. Por exemplo, df.join(df.select($"col" as "new_col"), cond)
      • O DataFrame derivado exclui algumas colunas via select, groupBy ou window.
      • A condição de junção ou a seguinte transformação após o Dataframe unido refere-se às colunas não comuns. Por exemplo, df.join(df.drop("a"), df("a") === 1)

  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-33593][SQL] Leitor de vetores tem dados incorretos com valor de partição binária
    • [FAÍSCA-33677][SQL] Ignorar regra LikeSimplification se o padrão contiver qualquer escapeChar
    • [FAÍSCA-33071][FAÍSCA-33536][SQL] Evite alterar dataset_id de LogicalPlan em join() para não quebrar DetectAmbiguousSelfJoin

  • 8 de dezembro de 2020

    • [FAÍSCA-27421][SQL] Corrigir filtro para coluna int e classe de valor java.lang.String ao remover coluna de partição
    • O Spark Jobs lançado usando o Databricks Connect pode travar indefinidamente com Executor$TaskRunner.$anonfun$copySessionState o rastreamento de pilha do executor
    • Atualizações de segurança do sistema operacional.

  • 1 de dezembro de 2020

    • [FAÍSCA-33404][SQL][3.0] Corrigir resultados incorretos na date_trunc expressão
    • [FAÍSCA-33339][PYTHON] O aplicativo Pyspark travará devido a um erro não Exception
    • [FAÍSCA-33183][SQL][HOTFIX] Corrigir a regra do otimizador EliminateSorts e adicionar uma regra física para remover classificações redundantes
    • [FAÍSCA-33371][PYTHON][3.0] Atualização setup.py e testes para Python 3.9
    • [FAÍSCA-33391][SQL] element_at com CreateArray não respeitam um índice baseado.
    • [FAÍSCA-33306][SQL]O fuso horário é necessário quando a data de conversão para a cadeia de caracteres

  • 3 de novembro de 2020

    • Versão Java atualizada de 1.8.0_252 para 1.8.0_265.
    • Corrija o bloqueio ABFS e WASB em relação a UserGroupInformation.getCurrentUser()
    • Corrija um bug de loop infinito do leitor Avro ao ler os bytes MAGIC.

  • 13 de outubro de 2020

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-32999][SQL] Use Utils.getSimpleName para evitar pressionar o nome da classe malformada em TreeNode
    • Diretórios de listagem fixos na montagem FUSE que contêm nomes de arquivo com caracteres XML inválidos
    • A montagem FUSE não usa mais ListMultipartUploads

  • 29 de setembro de 2020

    • [FAÍSCA-28863][SQL][WARMFIX] Introduza AlreadyOptimized para evitar a reanálise de V1FallbackWriters
    • [FAÍSCA-32635][SQL] Corrigir propagação dobrável
    • Adicione uma nova configuração spark.shuffle.io.decoder.consolidateThreshold. Defina o valor config como Long.MAX_VALUE para ignorar a consolidação de netty FrameBuffers, o que impede java.lang.IndexOutOfBoundsException em casos de canto.

  • 24 de setembro de 2020

    • [FAÍSCA-32764][SQL] -0.0 deve ser igual a 0.0
    • [FAÍSCA-32753][SQL] Copie tags somente para o nó sem tags ao transformar planos
    • [FAÍSCA-32659][SQL] Corrigir o problema de dados da Poda de Partição Dinâmica inserida em tipo não atômico
    • Atualizações de segurança do sistema operacional.

  • 8 de setembro de 2020

    • Um novo parâmetro foi criado para o Azure Synapse Analytics, maxbinlength. Este parâmetro é usado para controlar o comprimento da coluna de colunas BinaryType e é traduzido como VARBINARY(maxbinlength). Pode ser definido usando .option("maxbinlength", n), onde 0 < n <= 8000.

  • 25 de agosto de 2020

    • [FAÍSCA-32159][SQL] Corrigir a integração entre Aggregator[Array[_], _, _] e UnresolvedMapObjects
    • [FAÍSCA-32559][SQL] Corrigir a lógica de corte no UTF8String.toInt/toLong, que não manipulava caracteres não-ASCII corretamente
    • [FAÍSCA-32543][R] Remover arrow::as_tibble o uso no SparkR
    • [FAÍSCA-32091][CORE] Ignorar erro de tempo limite ao remover blocos no executor perdido
    • Corrigido um problema que afetava o conector Synapse do Azure com credenciais MSI
    • Resolução de atributos ambíguos fixa na automesclagem

  • 18 de agosto de 2020

    • [FAÍSCA-32594][SQL] Corrigir a serialização de datas inseridas em tabelas do Hive
    • [FAÍSCA-32237][SQL] Resolver dica no CTE
    • [FAÍSCA-32431][SQL] Verificar colunas aninhadas duplicadas em fontes de dados incorporadas lidas
    • [FAÍSCA-32467][UI] Evite codificar URL duas vezes no redirecionamento https
    • Corrigida uma condição de corrida no conector AQS ao usar Trigger.Once.

  • 11 de agosto de 2020

    • [FAÍSCA-32280][FAÍSCA-32372][SQL] ResolveReferences.dedupRight só deve reescrever atributos para nós ancestrais do plano de conflito
    • [FAÍSCA-32234][SQL] Os comandos do Spark SQL estão falhando na seleção das tabelas ORC

  • 3 de agosto de 2020

    • Agora você pode usar a função de transformação LDA em um cluster habilitado para passagem.

Tempo de execução do Databricks 7.0 (EoS)

Consulte Databricks Runtime 7.0 (EoS).

  • 4 de fevereiro de 2021

    • Corrigida uma regressão que fazia com que o DBFS FUSE falhasse ao iniciar quando as configurações de variáveis de ambiente de cluster contivessem sintaxe bash inválida.

  • 20 de janeiro de 2021

    • Corrigida uma regressão na versão de manutenção de 12 de janeiro de 2021 que pode causar uma AnalysisException incorreta e dizer que a coluna é ambígua em uma associação automática. Essa regressão acontece quando um usuário ingressa em um DataFrame com seu DataFrame derivado (a chamada autoassociação) com as seguintes condições:
      • Esses dois DataFrames têm colunas comuns, mas a saída da junção automática não tem colunas comuns. Por exemplo, df.join(df.select($"col" as "new_col"), cond)
      • O DataFrame derivado exclui algumas colunas via select, groupBy ou window.
      • A condição de junção ou a seguinte transformação após o Dataframe unido refere-se às colunas não comuns. Por exemplo, df.join(df.drop("a"), df("a") === 1)

  • 12 de janeiro de 2021

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-33593][SQL] Leitor de vetores tem dados incorretos com valor de partição binária
    • [FAÍSCA-33677][SQL] Ignorar regra LikeSimplification se o padrão contiver qualquer escapeChar
    • [FAÍSCA-33071][FAÍSCA-33536][SQL] Evite alterar dataset_id de LogicalPlan em join() para não quebrar DetectAmbiguousSelfJoin

  • 8 de dezembro de 2020

    • [FAÍSCA-27421][SQL] Corrigir filtro para coluna int e classe de valor java.lang.String ao remover coluna de partição
    • [FAÍSCA-33404][SQL] Corrigir resultados incorretos na date_trunc expressão
    • [FAÍSCA-33339][PYTHON] O aplicativo Pyspark travará devido a um erro não Exception
    • [FAÍSCA-33183][SQL] Corrigir a regra do otimizador EliminateSorts e adicionar uma regra física para remover classificações redundantes
    • [FAÍSCA-33391][SQL] element_at com CreateArray não respeitam um índice baseado.
    • Atualizações de segurança do sistema operacional.

  • 1 de dezembro de 2020

    • [FAÍSCA-33306][SQL]O fuso horário é necessário quando a data de conversão para a cadeia de caracteres

  • 3 de novembro de 2020

    • Versão Java atualizada de 1.8.0_252 para 1.8.0_265.
    • Corrija o bloqueio ABFS e WASB em relação a UserGroupInformation.getCurrentUser()
    • Corrija um bug de loop infinito do leitor Avro ao ler os bytes MAGIC.

  • 13 de outubro de 2020

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-32999][SQL] Use Utils.getSimpleName para evitar pressionar o nome da classe malformada em TreeNode
    • Diretórios de listagem fixos na montagem FUSE que contêm nomes de arquivo com caracteres XML inválidos
    • A montagem FUSE não usa mais ListMultipartUploads

  • 29 de setembro de 2020

    • [FAÍSCA-28863][SQL][WARMFIX] Introduza AlreadyOptimized para evitar a reanálise de V1FallbackWriters
    • [FAÍSCA-32635][SQL] Corrigir propagação dobrável
    • Adicione uma nova configuração spark.shuffle.io.decoder.consolidateThreshold. Defina o valor config como Long.MAX_VALUE para ignorar a consolidação de netty FrameBuffers, o que impede java.lang.IndexOutOfBoundsException em casos de canto.

  • 24 de setembro de 2020

    • [FAÍSCA-32764][SQL] -0.0 deve ser igual a 0.0
    • [FAÍSCA-32753][SQL] Copie tags somente para o nó sem tags ao transformar planos
    • [FAÍSCA-32659][SQL] Corrigir o problema de dados da Poda de Partição Dinâmica inserida em tipo não atômico
    • Atualizações de segurança do sistema operacional.

  • 8 de setembro de 2020

    • Um novo parâmetro foi criado para o Azure Synapse Analytics, maxbinlength. Este parâmetro é usado para controlar o comprimento da coluna de colunas BinaryType e é traduzido como VARBINARY(maxbinlength). Pode ser definido usando .option("maxbinlength", n), onde 0 < n <= 8000.

  • 25 de agosto de 2020

    • [FAÍSCA-32159][SQL] Corrigir a integração entre Aggregator[Array[_], _, _] e UnresolvedMapObjects
    • [FAÍSCA-32559][SQL] Corrigir a lógica de corte no UTF8String.toInt/toLong, que não manipulava caracteres não-ASCII corretamente
    • [FAÍSCA-32543][R] Remover arrow::as_tibble o uso no SparkR
    • [FAÍSCA-32091][CORE] Ignorar erro de tempo limite ao remover blocos no executor perdido
    • Corrigido um problema que afetava o conector Synapse do Azure com credenciais MSI
    • Resolução de atributos ambíguos fixa na automesclagem

  • 18 de agosto de 2020

    • [FAÍSCA-32594][SQL] Corrigir a serialização de datas inseridas em tabelas do Hive
    • [FAÍSCA-32237][SQL] Resolver dica no CTE
    • [FAÍSCA-32431][SQL] Verificar colunas aninhadas duplicadas em fontes de dados incorporadas lidas
    • [FAÍSCA-32467][UI] Evite codificar URL duas vezes no redirecionamento https
    • Corrigida uma condição de corrida no conector AQS ao usar Trigger.Once.

  • 11 de agosto de 2020

    • [FAÍSCA-32280][FAÍSCA-32372][SQL] ResolveReferences.dedupRight só deve reescrever atributos para nós ancestrais do plano de conflito
    • [FAÍSCA-32234][SQL] Os comandos do Spark SQL estão falhando na seleção das tabelas ORC
    • Agora você pode usar a função de transformação LDA em um cluster habilitado para passagem.

Tempo de execução do Databricks 6.6 (EoS)

Consulte Databricks Runtime 6.6 (EoS).

  • 1 de dezembro de 2020

  • 3 de novembro de 2020

    • Versão Java atualizada de 1.8.0_252 para 1.8.0_265.
    • Corrija o bloqueio ABFS e WASB em relação a UserGroupInformation.getCurrentUser()
    • Corrija um bug de loop infinito do leitor Avro ao ler os bytes MAGIC.

  • 13 de outubro de 2020

    • Atualizações de segurança do sistema operacional.
    • [FAÍSCA-32999][SQL][2.4] Use Utils.getSimpleName para evitar pressionar o nome da classe malformada no TreeNode
    • Diretórios de listagem fixos na montagem FUSE que contêm nomes de arquivo com caracteres XML inválidos
    • A montagem FUSE não usa mais ListMultipartUploads

  • 24 de setembro de 2020

    • Atualizações de segurança do sistema operacional.

  • 8 de setembro de 2020

    • Um novo parâmetro foi criado para o Azure Synapse Analytics, maxbinlength. Este parâmetro é usado para controlar o comprimento da coluna de colunas BinaryType e é traduzido como VARBINARY(maxbinlength). Pode ser definido usando .option("maxbinlength", n), onde 0 < n <= 8000.
    • Atualize o SDK de Armazenamento do Azure para 8.6.4 e habilite o TCP keep alive em conexões feitas pelo driver WASB

  • 25 de agosto de 2020

    • Resolução de atributos ambíguos fixa na automesclagem

  • 18 de agosto de 2020

    • [FAÍSCA-32431][SQL] Verificar colunas aninhadas duplicadas em fontes de dados incorporadas lidas
    • Corrigida uma condição de corrida no conector AQS ao usar Trigger.Once.

  • 11 de agosto de 2020

    • [FAÍSCA-28676][CORE] Evite o registro excessivo do ContextCleaner
    • [FAÍSCA-31967][UI] Downgrade para vis.js 4.21.0 para corrigir a regressão do tempo de carregamento da interface do usuário de trabalhos

  • 3 de agosto de 2020

    • Agora você pode usar a função de transformação LDA em um cluster habilitado para passagem.
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 6.5 (EoS)

Consulte Databricks Runtime 6.5 (EoS).

  • 24 de setembro de 2020
    • Corrigida uma limitação anterior em que a passagem no cluster padrão ainda restringia a implementação do sistema de arquivos que o usuário usa. Agora, os usuários poderiam acessar sistemas de arquivos locais sem restrições.
    • Atualizações de segurança do sistema operacional.
  • 8 de setembro de 2020
    • Um novo parâmetro foi criado para o Azure Synapse Analytics, maxbinlength. Este parâmetro é usado para controlar o comprimento da coluna de colunas BinaryType e é traduzido como VARBINARY(maxbinlength). Pode ser definido usando .option("maxbinlength", n), onde 0 < n <= 8000.
    • Atualize o SDK de Armazenamento do Azure para 8.6.4 e habilite o TCP keep alive em conexões feitas pelo driver WASB
  • 25 de agosto de 2020
    • Resolução de atributos ambíguos fixa na automesclagem
  • 18 de agosto de 2020
    • [FAÍSCA-32431][SQL] Verificar colunas aninhadas duplicadas em fontes de dados incorporadas lidas
    • Corrigida uma condição de corrida no conector AQS ao usar Trigger.Once.
  • 11 de agosto de 2020
  • 3 de agosto de 2020
    • Agora você pode usar a função de transformação LDA em um cluster habilitado para passagem.
    • Atualizações de segurança do sistema operacional.
  • 7 de julho de 2020
    • Versão Java atualizada de 1.8.0_242 para 1.8.0_252.
  • 21 de abril de 2020
    • [FAÍSCA-31312][SQL] Instância de classe de cache para a instância UDF em HiveFunctionWrapper

Tempo de execução do Databricks 6.3 (EoS)

Consulte Databricks Runtime 6.3 (EoS).

  • 7 de julho de 2020
    • Versão Java atualizada de 1.8.0_232 para 1.8.0_252.
  • 21 de abril de 2020
    • [FAÍSCA-31312][SQL] Instância de classe de cache para a instância UDF em HiveFunctionWrapper
  • 7 de abril de 2020
    • Para resolver um problema com pandas udf não funcionando com o PyArrow 0.15.0 e superior, adicionamos uma variável de ambiente (ARROW_PRE_0_15_IPC_FORMAT=1) para habilitar o suporte para essas versões do PyArrow. Consulte as instruções em [SPARK-29367].
  • 10 de março de 2020
    • O conector Snowflake (spark-snowflake_2.11) incluído no Databricks Runtime é atualizado para a versão 2.5.9. snowflake-jdbc é atualizado para a versão 3.12.0.
  • 18 de fevereiro de 2020
    • A passagem de credenciais com o ADLS Gen2 tem uma degradação de desempenho devido ao tratamento local de thread incorreto quando a pré-busca do cliente ADLS está habilitada. Esta versão desativa a pré-busca do ADLS Gen2 quando a passagem de credenciais está habilitada até que tenhamos uma correção adequada.
  • 11 de fevereiro de 2020
    • [FAÍSCA-24783][SQL] spark.sql.shuffle.partitions=0 deve lançar exceção
    • [FAÍSCA-30447][SQL] Problema de nulidade de propagação constante
    • [FAÍSCA-28152][SQL] Adicionar um conf herdado para mapeamento numérico MsSqlServerDialect antigo
    • Allowlisted a função overwrite para que o MLModels estende MLWriter poderia chamar a função.

Databricks Runtime 6.2 (EoS)

Consulte Databricks Runtime 6.2 (EoS).

  • 21 de abril de 2020
    • [FAÍSCA-31312][SQL] Instância de classe de cache para a instância UDF em HiveFunctionWrapper
  • 7 de abril de 2020
    • Para resolver um problema com pandas udf não funcionando com o PyArrow 0.15.0 e superior, adicionamos uma variável de ambiente (ARROW_PRE_0_15_IPC_FORMAT=1) para habilitar o suporte para essas versões do PyArrow. Consulte as instruções em [SPARK-29367].
  • 25 de março de 2020
    • A saída do trabalho, como a saída de log emitida para stdout, está sujeita a um limite de tamanho de 20MB. Se a saída total tiver um tamanho maior, a execução será cancelada e marcada como falha. Para evitar encontrar esse limite, você pode impedir que stdout seja retornado do driver para definindo a configuração do spark.databricks.driver.disableScalaOutput Spark como true. Por padrão, o valor do sinalizador é false. O sinalizador controla a saída da célula para trabalhos JAR Scala e notebooks Scala. Se o sinalizador estiver habilitado, o Spark não retornará os resultados da execução do trabalho para o cliente. O sinalizador não afeta os dados gravados nos arquivos de log do cluster. A definição desse sinalizador é recomendada apenas para clusters automatizados para trabalhos JAR, pois desativará os resultados do bloco de anotações.
  • 10 de março de 2020
    • O conector Snowflake (spark-snowflake_2.11) incluído no Databricks Runtime é atualizado para a versão 2.5.9. snowflake-jdbc é atualizado para a versão 3.12.0.
  • 18 de fevereiro de 2020
    • [FAÍSCA-24783][SQL] spark.sql.shuffle.partitions=0 deve lançar exceção
    • A passagem de credenciais com o ADLS Gen2 tem uma degradação de desempenho devido ao tratamento local de thread incorreto quando a pré-busca do cliente ADLS está habilitada. Esta versão desativa a pré-busca do ADLS Gen2 quando a passagem de credenciais está habilitada até que tenhamos uma correção adequada.
  • 28 de janeiro de 2020
    • Função de substituição dos gravadores de modelo de ML permitidos para clusters habilitados para passagem de credenciais, para que o salvamento de modelo possa usar o modo de substituição em clusters de passagem de credenciais.
    • [FAÍSCA-30447][SQL] Problema de nulidade de propagação constante.
    • [FAÍSCA-28152][SQL] Adicione um conf herdado para mapeamento numérico MsSqlServerDialect antigo.
  • 14 de janeiro de 2020
    • Versão Java atualizada de 1.8.0_222 para 1.8.0_232.
  • Dezembro 10, 2019
    • [FAÍSCA-29904][SQL] Analise carimbos de data/hora com precisão de microssegundos por fontes de dados JSON/CSV.

Tempo de execução do Databricks 6.1 (EoS)

Consulte Databricks Runtime 6.1 (EoS).

  • 7 de abril de 2020
    • Para resolver um problema com pandas udf não funcionando com o PyArrow 0.15.0 e superior, adicionamos uma variável de ambiente (ARROW_PRE_0_15_IPC_FORMAT=1) para habilitar o suporte para essas versões do PyArrow. Consulte as instruções em [SPARK-29367].
  • 25 de março de 2020
    • A saída do trabalho, como a saída de log emitida para stdout, está sujeita a um limite de tamanho de 20MB. Se a saída total tiver um tamanho maior, a execução será cancelada e marcada como falha. Para evitar encontrar esse limite, você pode impedir que stdout seja retornado do driver para definindo a configuração do spark.databricks.driver.disableScalaOutput Spark como true. Por padrão, o valor do sinalizador é false. O sinalizador controla a saída da célula para trabalhos JAR Scala e notebooks Scala. Se o sinalizador estiver habilitado, o Spark não retornará os resultados da execução do trabalho para o cliente. O sinalizador não afeta os dados gravados nos arquivos de log do cluster. A definição desse sinalizador é recomendada apenas para clusters automatizados para trabalhos JAR, pois desativará os resultados do bloco de anotações.
  • 10 de março de 2020
    • O conector Snowflake (spark-snowflake_2.11) incluído no Databricks Runtime é atualizado para a versão 2.5.9. snowflake-jdbc é atualizado para a versão 3.12.0.
  • 18 de fevereiro de 2020
    • [FAÍSCA-24783][SQL] spark.sql.shuffle.partitions=0 deve lançar exceção
    • A passagem de credenciais com o ADLS Gen2 tem uma degradação de desempenho devido ao tratamento local de thread incorreto quando a pré-busca do cliente ADLS está habilitada. Esta versão desativa a pré-busca do ADLS Gen2 quando a passagem de credenciais está habilitada até que tenhamos uma correção adequada.
  • 28 de janeiro de 2020
    • [FAÍSCA-30447][SQL] Problema de nulidade de propagação constante.
    • [FAÍSCA-28152][SQL] Adicione um conf herdado para mapeamento numérico MsSqlServerDialect antigo.
  • 14 de janeiro de 2020
    • Versão Java atualizada de 1.8.0_222 para 1.8.0_232.
  • Novembro 7, 2019
  • Novembro 5, 2019
    • Corrigido um bug no DBFS FUSE para lidar com pontos de montagem que tinham // em seu caminho.
    • [FAÍSCA-29081] Substitua chamadas para SerializationUtils.clone em propriedades por uma implementação mais rápida
    • [FAÍSCA-29244][CORE] Impedir página liberada em BytesToBytesMap livre novamente
    • (6,1 ML) Library mkl versão 2019.4 foi instalado sem intenção. Nós o rebaixamos para a versão mkl 2019.3 para corresponder ao Anaconda Distribution 2019.03.

Tempo de execução do Databricks 6.0 (EoS)

Consulte Databricks Runtime 6.0 (EoS).

  • 25 de março de 2020
    • A saída do trabalho, como a saída de log emitida para stdout, está sujeita a um limite de tamanho de 20MB. Se a saída total tiver um tamanho maior, a execução será cancelada e marcada como falha. Para evitar encontrar esse limite, você pode impedir que stdout seja retornado do driver para definindo a configuração do spark.databricks.driver.disableScalaOutput Spark como true. Por padrão, o valor do sinalizador é false. O sinalizador controla a saída da célula para trabalhos JAR Scala e notebooks Scala. Se o sinalizador estiver habilitado, o Spark não retornará os resultados da execução do trabalho para o cliente. O sinalizador não afeta os dados gravados nos arquivos de log do cluster. A definição desse sinalizador é recomendada apenas para clusters automatizados para trabalhos JAR, pois desativará os resultados do bloco de anotações.
  • 18 de fevereiro de 2020
    • A passagem de credenciais com o ADLS Gen2 tem uma degradação de desempenho devido ao tratamento local de thread incorreto quando a pré-busca do cliente ADLS está habilitada. Esta versão desativa a pré-busca do ADLS Gen2 quando a passagem de credenciais está habilitada até que tenhamos uma correção adequada.
  • 11 de fevereiro de 2020
    • [FAÍSCA-24783][SQL] spark.sql.shuffle.partitions=0 deve lançar exceção
  • 28 de janeiro de 2020
    • [FAÍSCA-30447][SQL] Problema de nulidade de propagação constante.
    • [FAÍSCA-28152][SQL] Adicione um conf herdado para mapeamento numérico MsSqlServerDialect antigo.
  • 14 de janeiro de 2020
    • Versão Java atualizada de 1.8.0_222 para 1.8.0_232.
  • Novembro 19, 2019
    • [FAÍSCA-29743] O exemplo [SQL] deve definir needCopyResult como true se o needCopyResult de seu filho for true
  • Novembro 5, 2019
    • dbutils.tensorboard.start() agora suporta TensorBoard 2.0 (se instalado manualmente).
    • Corrigido um bug no DBFS FUSE para lidar com pontos de montagem que tinham // em seu caminho.
    • [FAÍSCA-29081]Substitua chamadas para SerializationUtils.clone em propriedades por uma implementação mais rápida
  • Outubro 23, 2019
    • [FAÍSCA-29244][CORE] Impedir página liberada em BytesToBytesMap livre novamente
  • Outubro 8, 2019
    • Alterações do lado do servidor para permitir que o driver ODBC Simba Apache Spark se reconecte e continue após uma falha de conexão durante a busca de resultados (requer o driver ODBC Simba Apache Spark versão 2.6.10).
    • Corrigido um problema que afetava o uso do Optimize comando com clusters habilitados para ACL de tabela.
    • Corrigido um problema em que pyspark.ml as bibliotecas falhavam devido ao erro proibido do Scala UDF na ACL da tabela e nos clusters habilitados para passagem de credenciais.
    • Métodos Allowlisted SerDe/SerDeUtil para passagem de credenciais.
    • Corrigido NullPointerException ao verificar o código de erro no cliente WASB.
    • Corrigido o problema em que as credenciais do usuário não eram encaminhadas para trabalhos criados pelo dbutils.notebook.run().

Databricks Runtime 5,4 ML (EoS)

Consulte Databricks Runtime 5.4 para ML (EoS).

  • Junho 18, 2019
    • Tratamento aprimorado de execuções ativas do MLflow na integração do Hyperopt
    • Mensagens melhoradas no Hyperopt
    • Pacote Marchkdown atualizado de 3.1 para 3.1.1

Tempo de execução do Databricks 5.4 (EoS)

Consulte Databricks Runtime 5.4 (EoS).

  • Novembro 19, 2019
    • [FAÍSCA-29743] O exemplo [SQL] deve definir needCopyResult como true se o needCopyResult de seu filho for true
  • Outubro 8, 2019
    • Alterações no lado do servidor para permitir que o driver Simba Apache Spark ODBC se reconecte e continue após uma falha de conexão durante a busca de resultados (requer a atualização do driver Simba Apache Spark ODBC para a versão 2.6.10).
    • Corrigido NullPointerException ao verificar o código de erro no cliente WASB.
  • Setembro 10, 2019
    • Adicionar iterador seguro de thread a BytesToBytesMap
    • Corrigido um bug que afetava determinadas consultas de agregação global.
    • [FAÍSCA-27330][SS] tarefa de suporte abortada no gravador foreach
    • [FAÍSCA-28642]Ocultar credenciais em SHOW CREATE TABLE
    • [FAÍSCA-28699][SQL] Desativar o uso de radix sort para ShuffleExchangeExec no caso de repartição
    • [FAÍSCA-28699][CORE] Corrigir um caso de canto para abortar estágio indeterminado
  • Agosto 27, 2019
    • Corrigido um problema que afetava determinadas transform expressões
  • Agosto 13, 2019
    • A fonte de streaming Delta deve verificar o protocolo mais recente de uma tabela
    • [FAÍSCA-28489][SS]Corrija um bug que KafkaOffsetRangeCalculator.getRanges pode deixar offsets
  • Julho 30, 2019
    • [FAÍSCA-28015][SQL] Check stringToDate() consome entrada inteira para os formatos aaaa e aaaa-[m]m
    • [FAÍSCA-28308][CORE] A sub-segunda parte de CalendarInterval deve ser preenchida antes da análise
    • [FAÍSCA-27485]EnsureRequirements.reorder deve lidar com expressões duplicadas graciosamente
  • Julho 2, 2019
    • Atualizado snappy-java de 1.1.7.1 para 1.1.7.3.
  • Junho 18, 2019
    • Tratamento aprimorado de execuções ativas do MLflow na integração MLlib
    • Mensagem melhorada do Databricks Advisor relacionada com a utilização de cache de disco
    • Corrigido um bug que afetava o uso de funções de ordem superior
    • Corrigido um bug que afetava as consultas de metadados Delta

Tempo de execução do Databricks 5.3 (EoS)

Consulte Databricks Runtime 5.3 (EoS).

  • Novembro 7, 2019
    • [FAÍSCA-29743]O exemplo [SQL] deve definir needCopyResult como true se o needCopyResult de seu filho for true
  • Outubro 8, 2019
    • Alterações no lado do servidor para permitir que o driver Simba Apache Spark ODBC se reconecte e continue após uma falha de conexão durante a busca de resultados (requer a atualização do driver Simba Apache Spark ODBC para a versão 2.6.10).
    • Corrigido NullPointerException ao verificar o código de erro no cliente WASB.
  • Setembro 10, 2019
    • Adicionar iterador seguro de thread a BytesToBytesMap
    • Corrigido um bug que afetava determinadas consultas de agregação global.
    • [FAÍSCA-27330][SS] tarefa de suporte abortada no gravador foreach
    • [FAÍSCA-28642]Ocultar credenciais em SHOW CREATE TABLE
    • [FAÍSCA-28699][SQL] Desativar o uso de radix sort para ShuffleExchangeExec no caso de repartição
    • [FAÍSCA-28699][CORE] Corrigir um caso de canto para abortar estágio indeterminado
  • Agosto 27, 2019
    • Corrigido um problema que afetava determinadas transform expressões
  • Agosto 13, 2019
    • A fonte de streaming Delta deve verificar o protocolo mais recente de uma tabela
    • [FAÍSCA-28489][SS]Corrija um bug que KafkaOffsetRangeCalculator.getRanges pode deixar offsets
  • Julho 30, 2019
    • [FAÍSCA-28015][SQL] Check stringToDate() consome entrada inteira para os formatos aaaa e aaaa-[m]m
    • [FAÍSCA-28308][CORE] A sub-segunda parte de CalendarInterval deve ser preenchida antes da análise
    • [FAÍSCA-27485]EnsureRequirements.reorder deve lidar com expressões duplicadas graciosamente
  • Junho 18, 2019
    • Mensagem melhorada do Databricks Advisor relacionada com a utilização de cache de disco
    • Corrigido um bug que afetava o uso de funções de ordem superior
    • Corrigido um bug que afetava as consultas de metadados Delta
  • Maio 28, 2019
    • Melhoria da estabilidade da Delta
    • Tolerar IOExceptions ao ler o arquivo Delta LAST_CHECKPOINT
      • Recuperação adicionada à instalação da biblioteca com falha
  • Maio 7, 2019
    • Porta HADOOP-15778 (ABFS: corrigir a limitação do lado do cliente para leitura) para o conector do Azure Data Lake Storage Gen2
    • Porta HADOOP-16040 (ABFS: correção de bug para configuração tolerateOobAppends) para o conector Gen2 do Azure Data Lake Storage
    • Corrigido um bug que afetava as ACLs da tabela
    • Corrigida uma condição de corrida ao carregar um arquivo de soma de verificação de log Delta
    • Corrigida a lógica de deteção de conflitos Delta para não identificar "inserir + substituir" como operação "append" pura
    • Verifique se o cache de disco não está desativado quando as ACLs de tabela estão habilitadas
    • [FAÍSCA-27494][SS] Chaves/valores nulos não funcionam no Kafka source v2
    • [FAÍSCA-27446][R] Use o spark conf existente, se disponível.
    • [FAÍSCA-27454][FAÍSCA-27454][ML][SQL] A fonte de dados de imagem do Spark falha quando encontra algumas imagens ilegais
    • [FAÍSCA-27160][SQL] Corrigir DecimalType ao criar filtros orc
    • [FAÍSCA-27338][CORE] Corrigir impasse entre UnsafeExternalSorter e TaskMemoryManager

Tempo de execução do Databricks 5.2 (EoS)

Consulte Databricks Runtime 5.2 (EoS).

  • Setembro 10, 2019
    • Adicionar iterador seguro de thread a BytesToBytesMap
    • Corrigido um bug que afetava determinadas consultas de agregação global.
    • [FAÍSCA-27330][SS] tarefa de suporte abortada no gravador foreach
    • [FAÍSCA-28642]Ocultar credenciais em SHOW CREATE TABLE
    • [FAÍSCA-28699][SQL] Desativar o uso de radix sort para ShuffleExchangeExec no caso de repartição
    • [FAÍSCA-28699][CORE] Corrigir um caso de canto para abortar estágio indeterminado
  • Agosto 27, 2019
    • Corrigido um problema que afetava determinadas transform expressões
  • Agosto 13, 2019
    • A fonte de streaming Delta deve verificar o protocolo mais recente de uma tabela
    • [FAÍSCA-28489][SS]Corrija um bug que KafkaOffsetRangeCalculator.getRanges pode deixar offsets
  • Julho 30, 2019
    • [FAÍSCA-28015][SQL] Check stringToDate() consome entrada inteira para os formatos aaaa e aaaa-[m]m
    • [FAÍSCA-28308][CORE] A sub-segunda parte de CalendarInterval deve ser preenchida antes da análise
    • [FAÍSCA-27485]EnsureRequirements.reorder deve lidar com expressões duplicadas graciosamente
  • Julho 2, 2019
    • Tolerar IOExceptions ao ler o arquivo Delta LAST_CHECKPOINT
  • Junho 18, 2019
    • Mensagem melhorada do Databricks Advisor relacionada com a utilização da cache de disco
    • Corrigido um bug que afetava o uso de funções de ordem superior
    • Corrigido um bug que afetava as consultas de metadados Delta
  • Maio 28, 2019
    • Recuperação adicionada à instalação da biblioteca com falha
  • Maio 7, 2019
    • Porta HADOOP-15778 (ABFS: corrigir a limitação do lado do cliente para leitura) para o conector do Azure Data Lake Storage Gen2
    • Porta HADOOP-16040 (ABFS: correção de bug para configuração tolerateOobAppends) para o conector Gen2 do Azure Data Lake Storage
    • Corrigida uma condição de corrida ao carregar um arquivo de soma de verificação de log Delta
    • Corrigida a lógica de deteção de conflitos Delta para não identificar "inserir + substituir" como operação "append" pura
    • Verifique se o cache de disco não está desativado quando as ACLs de tabela estão habilitadas
    • [FAÍSCA-27494][SS] Chaves/valores nulos não funcionam no Kafka source v2
    • [FAÍSCA-27454][FAÍSCA-27454][ML][SQL] A fonte de dados de imagem do Spark falha quando encontra algumas imagens ilegais
    • [FAÍSCA-27160][SQL] Corrigir DecimalType ao criar filtros orc
    • [FAÍSCA-27338][CORE] Corrigir impasse entre UnsafeExternalSorter e TaskMemoryManager
  • Março 26, 2019
    • Evite incorporar deslocamentos dependentes da plataforma literalmente em código gerado em todo o estágio
    • [FAÍSCA-26665][CORE] Corrija um bug que BlockTransferService.fetchBlockSync pode travar para sempre.
    • [FAÍSCA-27134][SQL] array_distinct função não funciona corretamente com colunas contendo matriz de matriz.
    • [FAÍSCA-24669][SQL] Invalidar tabelas em caso de DROP DATABASE CASCADE.
    • [FAÍSCA-26572][SQL] corrige a avaliação agregada dos resultados do codegen.
    • Corrigido um bug que afetava determinados PythonUDFs.
  • Fevereiro 26, 2019
    • [FAÍSCA-26864][SQL] A consulta pode retornar um resultado incorreto quando python udf é usado como uma condição de junção semi-esquerda.
    • [FAÍSCA-26887][PYTHON] Crie datetime.date diretamente em vez de criar datetime64 como dados intermediários.
    • Corrigido um bug que afetava o servidor JDBC/ODBC.
    • Corrigido um bug que afetava o PySpark.
    • Exclua os arquivos ocultos ao criar o HadoopRDD.
    • Corrigido um bug no Delta que causava problemas de serialização.
  • Fevereiro 12, 2019
    • Corrigido um problema que afetava o uso do Delta com os pontos de montagem do Azure ADLS Gen2.
    • Corrigido um problema que fazia com que o protocolo de rede de baixo nível do Spark pudesse ser quebrado ao enviar mensagens de erro RPC grandes com a criptografia habilitada (quando spark.network.crypto.enabled definido como true).
  • Janeiro 30, 2019
    • Corrigido o StackOverflowError ao colocar a dica de junção inclinada na relação em cache.
    • Corrigida a inconsistência entre o RDD armazenado em cache de um cache SQL e seu plano físico, que causa resultados incorretos.
    • [FAÍSCA-26706][SQL] Correção illegalNumericPrecedence para ByteType.
    • [FAÍSCA-26709][SQL] OptimizeMetadataOnlyQuery não manipula registros vazios corretamente.
    • As fontes de dados CSV/JSON devem evitar caminhos de globbing ao inferir o esquema.
    • Inferência de restrição fixa no operador Window.
    • Corrigido um problema que afetava a instalação de bibliotecas de ovos com clusters com ACL de tabela habilitada.

Tempo de execução do Databricks 5.1 (EoS)

Consulte Databricks Runtime 5.1 (EoS).

  • Agosto 13, 2019
    • A fonte de streaming Delta deve verificar o protocolo mais recente de uma tabela
    • [FAÍSCA-28489][SS]Corrija um bug que KafkaOffsetRangeCalculator.getRanges pode deixar offsets
  • Julho 30, 2019
    • [FAÍSCA-28015][SQL] Check stringToDate() consome entrada inteira para os formatos aaaa e aaaa-[m]m
    • [FAÍSCA-28308][CORE] A sub-segunda parte de CalendarInterval deve ser preenchida antes da análise
    • [FAÍSCA-27485]EnsureRequirements.reorder deve lidar com expressões duplicadas graciosamente
  • Julho 2, 2019
    • Tolerar IOExceptions ao ler o arquivo Delta LAST_CHECKPOINT
  • Junho 18, 2019
    • Corrigido um bug que afetava o uso de funções de ordem superior
    • Corrigido um bug que afetava as consultas de metadados Delta
  • Maio 28, 2019
    • Recuperação adicionada à instalação da biblioteca com falha
  • Maio 7, 2019
    • Porta HADOOP-15778 (ABFS: corrigir a limitação do lado do cliente para leitura) para o conector do Azure Data Lake Storage Gen2
    • Porta HADOOP-16040 (ABFS: correção de bug para configuração tolerateOobAppends) para o conector Gen2 do Azure Data Lake Storage
    • Corrigida uma condição de corrida ao carregar um arquivo de soma de verificação de log Delta
    • Corrigida a lógica de deteção de conflitos Delta para não identificar "inserir + substituir" como operação "append" pura
    • [FAÍSCA-27494][SS] Chaves/valores nulos não funcionam no Kafka source v2
    • [FAÍSCA-27454][FAÍSCA-27454][ML][SQL] A fonte de dados de imagem do Spark falha quando encontra algumas imagens ilegais
    • [FAÍSCA-27160][SQL] Corrigir DecimalType ao criar filtros orc
    • [FAÍSCA-27338][CORE] Corrigir impasse entre UnsafeExternalSorter e TaskMemoryManager
  • Março 26, 2019
    • Evite incorporar deslocamentos dependentes da plataforma literalmente em código gerado em todo o estágio
    • Corrigido um bug que afetava determinados PythonUDFs.
  • Fevereiro 26, 2019
    • [FAÍSCA-26864][SQL] A consulta pode retornar um resultado incorreto quando python udf é usado como uma condição de junção semi-esquerda.
    • Corrigido um bug que afetava o servidor JDBC/ODBC.
    • Exclua os arquivos ocultos ao criar o HadoopRDD.
  • Fevereiro 12, 2019
    • Corrigido um problema que afetava a instalação de bibliotecas de ovos com clusters com ACL de tabela habilitada.
    • Corrigida a inconsistência entre o RDD armazenado em cache de um cache SQL e seu plano físico, que causa resultados incorretos.
    • [FAÍSCA-26706][SQL] Correção illegalNumericPrecedence para ByteType.
    • [FAÍSCA-26709][SQL] OptimizeMetadataOnlyQuery não manipula registros vazios corretamente.
    • Inferência de restrição fixa no operador Window.
    • Corrigido um problema que fazia com que o protocolo de rede de baixo nível do Spark pudesse ser quebrado ao enviar mensagens de erro RPC grandes com a criptografia habilitada (quando spark.network.crypto.enabled definido como true).
  • Janeiro 30, 2019
    • Corrigido um problema que podia fazer df.rdd.count() com que o UDT retornasse uma resposta incorreta para determinados casos.
    • Corrigido um problema que afetava a instalação de casas do leme.
    • [FAÍSCA-26267]Tente novamente ao detetar deslocamentos incorretos de Kafka.
    • Corrigido um bug que afetava várias fontes de fluxo de arquivos em uma consulta de streaming.
    • Corrigido o StackOverflowError ao colocar a dica de junção inclinada na relação em cache.
    • Corrigida a inconsistência entre o RDD armazenado em cache de um cache SQL e seu plano físico, que causa resultados incorretos.
  • Janeiro 8, 2019
    • Corrigido o problema que causa o erro org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [FAÍSCA-26352]A reordenação de junção não deve alterar a ordem dos atributos de saída.
    • [FAÍSCA-26366]ReplaceExceptWithFilter deve considerar NULL como False.
    • Melhoria da estabilidade do Lago Delta.
    • O Delta Lake está ativado.
    • Corrigido o problema que causava falha no acesso ao Azure Data Lake Storage Gen2 quando a Passagem de Credenciais do Microsoft Entra ID está habilitada para o Azure Data Lake Storage Gen1.
    • O Cache de E/S do Databricks agora está habilitado para tipos de instância de trabalho da série Ls para todos os níveis de preços.

Databricks Runtime 5.0 (EoS)

Consulte Databricks Runtime 5.0 (EoS).

  • Junho 18, 2019
    • Corrigido um bug que afetava o uso de funções de ordem superior
  • Maio 7, 2019
    • Corrigida uma condição de corrida ao carregar um arquivo de soma de verificação de log Delta
    • Corrigida a lógica de deteção de conflitos Delta para não identificar "inserir + substituir" como operação "append" pura
    • [FAÍSCA-27494][SS] Chaves/valores nulos não funcionam no Kafka source v2
    • [FAÍSCA-27454][FAÍSCA-27454][ML][SQL] A fonte de dados de imagem do Spark falha quando encontra algumas imagens ilegais
    • [FAÍSCA-27160][SQL] Corrigir DecimalType ao criar filtros orc
      • [FAÍSCA-27338][CORE] Corrigir impasse entre UnsafeExternalSorter e TaskMemoryManager
  • Março 26, 2019
    • Evite incorporar deslocamentos dependentes da plataforma literalmente em código gerado em todo o estágio
    • Corrigido um bug que afetava determinados PythonUDFs.
  • Março 12, 2019
    • [FAÍSCA-26864][SQL] A consulta pode retornar um resultado incorreto quando python udf é usado como uma condição de junção semi-esquerda.
  • Fevereiro 26, 2019
    • Corrigido um bug que afetava o servidor JDBC/ODBC.
    • Exclua os arquivos ocultos ao criar o HadoopRDD.
  • Fevereiro 12, 2019
    • Corrigida a inconsistência entre o RDD armazenado em cache de um cache SQL e seu plano físico, que causa resultados incorretos.
    • [FAÍSCA-26706][SQL] Correção illegalNumericPrecedence para ByteType.
    • [FAÍSCA-26709][SQL] OptimizeMetadataOnlyQuery não manipula registros vazios corretamente.
    • Inferência de restrição fixa no operador Window.
    • Corrigido um problema que fazia com que o protocolo de rede de baixo nível do Spark pudesse ser quebrado ao enviar mensagens de erro RPC grandes com a criptografia habilitada (quando spark.network.crypto.enabled definido como true).
  • Janeiro 30, 2019
    • Corrigido um problema que podia fazer df.rdd.count() com que o UDT retornasse uma resposta incorreta para determinados casos.
    • [FAÍSCA-26267]Tente novamente ao detetar deslocamentos incorretos de Kafka.
    • Corrigido um bug que afetava várias fontes de fluxo de arquivos em uma consulta de streaming.
    • Corrigido o StackOverflowError ao colocar a dica de junção inclinada na relação em cache.
    • Corrigida a inconsistência entre o RDD armazenado em cache de um cache SQL e seu plano físico, que causa resultados incorretos.
  • Janeiro 8, 2019
    • Corrigido o problema que causava o erro org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [FAÍSCA-26352]A reordenação de junção não deve alterar a ordem dos atributos de saída.
    • [FAÍSCA-26366]ReplaceExceptWithFilter deve considerar NULL como False.
    • Melhoria da estabilidade do Lago Delta.
    • O Delta Lake está ativado.
    • O Cache de E/S do Databricks agora está habilitado para tipos de instância de trabalho da série Ls para todos os níveis de preços.
  • Dezembro 18, 2018
    • [FAÍSCA-26293]Exceção de transmissão ao ter Python UDF em subconsulta
    • Corrigido um problema que afetava determinadas consultas usando Join e Limit.
    • Credenciais editadas de nomes RDD na interface do usuário do Spark
  • Dezembro 6, 2018
    • Corrigido um problema que causava um resultado de consulta incorreto ao usar orderBy seguido imediatamente por groupBy com a chave group-by como a parte principal da chave sort-by.
    • Conector Snowflake atualizado para Spark de 2.4.9.2-spark_2.4_pre_release para 2.4.10.
    • Ignore apenas arquivos corrompidos após uma ou mais novas tentativas quando spark.sql.files.ignoreCorruptFiles o sinalizador ou spark.sql.files.ignoreMissingFiles estiver ativado.
    • Corrigido um problema que afetava determinadas consultas de auto-união.
    • Corrigido um bug com o servidor thrift onde as sessões às vezes são vazadas quando canceladas.
    • [FAÍSCA-26307]CTAS corrigido quando INSERT uma tabela particionada usando Hive SerDe.
    • [FAÍSCA-26147]UDFs Python na condição de junção falham mesmo ao usar colunas de apenas um lado da junção
    • [FAÍSCA-26211]Corrija InSet para binário e struct e array com null.
    • [FAÍSCA-26181]o hasMinMaxStats método de ColumnStatsMap não está correto.
    • Corrigido um problema que afetava a instalação do Python Wheels em ambientes sem acesso à Internet.
  • Novembro 20, 2018
    • Corrigido um problema que fazia com que um bloco de notas não pudesse ser utilizado depois de cancelar uma consulta de streaming.
    • Corrigido um problema que afetava determinadas consultas usando funções de janela.
    • Corrigido um problema que afetava um fluxo do Delta com várias alterações de esquema.
    • Corrigido um problema que afetava determinadas consultas de agregação com junções Semi/Anti esquerdas.

Databricks Runtime 4.3 (EoS)

Consulte Databricks Runtime 4.3 (EoS).

  • 9 de abril de 2019

    • [FAÍSCA-26665][CORE] Corrija um bug que pode fazer com que BlockTransferService.fetchBlockSync trave para sempre.
    • [FAÍSCA-24669][SQL] Invalidar tabelas em caso de DROP DATABASE CASCADE.

  • Março 12, 2019

    • Corrigido um bug que afetava a geração de código.
    • Corrigido um bug que afetava a Delta.

  • Fevereiro 26, 2019

    • Corrigido um bug que afetava o servidor JDBC/ODBC.

  • Fevereiro 12, 2019

    • [FAÍSCA-26709][SQL] OptimizeMetadataOnlyQuery não manipula registros vazios corretamente.
    • Excluindo os arquivos ocultos ao criar o HadoopRDD.
    • Conversão de filtro de parquet fixo para predicado IN quando seu valor está vazio.
    • Corrigido um problema que fazia com que o protocolo de rede de baixo nível do Spark pudesse ser quebrado ao enviar mensagens de erro RPC grandes com a criptografia habilitada (quando spark.network.crypto.enabled definido como true).

  • 30 de janeiro de 2019

    • Corrigido um problema que podia fazer df.rdd.count() com que o UDT retornasse uma resposta incorreta para determinados casos.
    • Corrigida a inconsistência entre o RDD armazenado em cache de um cache SQL e seu plano físico, que causa resultados incorretos.

  • 8 de janeiro de 2019

    • Corrigido o problema que causava o erro org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Credenciais editadas de nomes RDD na interface do usuário do Spark
    • [FAÍSCA-26352]A reordenação de junção não deve alterar a ordem dos atributos de saída.
    • [FAÍSCA-26366]ReplaceExceptWithFilter deve considerar NULL como False.
    • O Delta Lake está ativado.
    • O Cache de E/S do Databricks agora está habilitado para tipos de instância de trabalho da série Ls para todos os níveis de preços.

  • Dezembro 18, 2018

    • [FAÍSCA-25002]Avro: revise o namespace do registro de saída.
    • Corrigido um problema que afetava determinadas consultas usando Join e Limit.
    • [FAÍSCA-26307]CTAS corrigido quando INSERT uma tabela particionada usando Hive SerDe.
    • Ignore apenas arquivos corrompidos após uma ou mais novas tentativas quando spark.sql.files.ignoreCorruptFiles o sinalizador ou spark.sql.files.ignoreMissingFiles estiver ativado.
    • [FAÍSCA-26181]o hasMinMaxStats método de ColumnStatsMap não está correto.
    • Corrigido um problema que afetava a instalação do Python Wheels em ambientes sem acesso à Internet.
    • Corrigido um problema de desempenho no analisador de consultas.
    • Corrigido um problema no PySpark que fazia com que as ações do DataFrame falhassem com o erro "conexão recusada".
    • Corrigido um problema que afetava determinadas consultas de auto-união.

  • 20 de novembro de 2018

    • [FAÍSCA-17916][FAÍSCA-25241]Corrija a cadeia de caracteres vazia que está sendo analisada como nula quando nullValue é definido.
    • [FAÍSCA-25387]Correção para NPE causado por entrada CSV incorreta.
    • Corrigido um problema que afetava determinadas consultas de agregação com junções Semi/Anti esquerdas.

  • Novembro 6, 2018

    • [FAÍSCA-25741]URLs longos não são renderizados corretamente na interface do usuário da Web.
    • [FAÍSCA-25714]Corrija a manipulação nula na regra do otimizador BooleanSimplification.
    • Corrigido um problema que afetava a limpeza de objetos temporários no conector Synapse Analytics.
    • [FAÍSCA-25816]Corrija a resolução de atributos em extratores aninhados.

  • 16 de outubro de 2018

    • Corrigido um bug que afetava a saída da execução SHOW CREATE TABLE em tabelas Delta.
    • Corrigido um bug que afetava a Union operação.

  • Setembro 25, 2018

    • [FAÍSCA-25368][SQL] A inferência de restrição incorreta retorna um resultado errado.
    • [FAÍSCA-25402][SQL] Tratamento nulo em BooleanSimplification.
    • Corrigido NotSerializableException na fonte de dados Avro.

  • Setembro 11, 2018

    • [FAÍSCA-25214][SS] Corrija o problema de que a fonte Kafka v2 pode retornar registros duplicados quando failOnDataLoss=false.
    • [FAÍSCA-24987][SS] Corrija o vazamento do consumidor Kafka quando não houver novos deslocamentos para articlePartition.
    • A redução de filtro deve manipular o valor nulo corretamente.
    • Maior estabilidade do motor de execução.

  • 28 de Agosto de 2018

    • Corrigido um bug no comando Delta Lake Delete que excluía incorretamente as linhas em que a condição é avaliada como nula.
    • [FAÍSCA-25142]Adicione mensagens de erro quando o trabalhador Python não pôde abrir o soquete no _load_from_socket.

  • Agosto 23, 2018

    • [FAÍSCA-23935]mapEntry lança org.codehaus.commons.compiler.CompileException.
    • Corrigido o problema de mapa anulável no leitor Parquet.
    • [FAÍSCA-25051][SQL] FixNullability não deve parar em AnalysisBarrier.
    • [FAÍSCA-25081]Corrigido um bug em que ShuffleExternalSorter pode acessar uma página de memória liberada quando o derramamento não consegue alocar memória.
    • Corrigida uma interação entre Databricks Delta e Pyspark que poderia causar falhas de leitura transitórias.
    • [FAÍSCA-25084]" distribute by" em várias colunas (wrap entre parênteses) pode levar a um problema de codegen.
    • [FAÍSCA-25096]Afrouxe a anulabilidade se o elenco for anulável à força.
    • Reduziu o número padrão de threads usados pelo comando Delta Lake Otimize, reduzindo a sobrecarga de memória e confirmando dados mais rapidamente.
    • [FAÍSCA-25114]Corrija RecordBinaryComparator quando a subtração entre duas palavras é divisível por Integer.MAX_VALUE.
    • Corrigida a redação do gerenciador de segredos quando o comando é parcialmente bem-sucedido.

Tempo de execução do Databricks 4.2 (EoS)

Consulte Databricks Runtime 4.2 (EoS).

  • Fevereiro 26, 2019

    • Corrigido um bug que afetava o servidor JDBC/ODBC.

  • Fevereiro 12, 2019

    • [FAÍSCA-26709][SQL] OptimizeMetadataOnlyQuery não manipula registros vazios corretamente.
    • Excluindo os arquivos ocultos ao criar o HadoopRDD.
    • Conversão de filtro de parquet fixo para predicado IN quando seu valor está vazio.
    • Corrigido um problema que fazia com que o protocolo de rede de baixo nível do Spark pudesse ser quebrado ao enviar mensagens de erro RPC grandes com a criptografia habilitada (quando spark.network.crypto.enabled definido como true).

  • 30 de janeiro de 2019

    • Corrigido um problema que podia fazer df.rdd.count() com que o UDT retornasse uma resposta incorreta para determinados casos.

  • 8 de janeiro de 2019

    • Corrigido o problema que causa o erro org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Credenciais editadas de nomes RDD na interface do usuário do Spark
    • [FAÍSCA-26352]A reordenação de junção não deve alterar a ordem dos atributos de saída.
    • [FAÍSCA-26366]ReplaceExceptWithFilter deve considerar NULL como False.
    • O Delta Lake está ativado.
    • O Cache de E/S do Databricks agora está habilitado para tipos de instância de trabalho da série Ls para todos os níveis de preços.

  • Dezembro 18, 2018

    • [FAÍSCA-25002]Avro: revise o namespace do registro de saída.
    • Corrigido um problema que afetava determinadas consultas usando Join e Limit.
    • [FAÍSCA-26307]CTAS corrigido quando INSERT uma tabela particionada usando Hive SerDe.
    • Ignore apenas arquivos corrompidos após uma ou mais novas tentativas quando spark.sql.files.ignoreCorruptFiles o sinalizador ou spark.sql.files.ignoreMissingFiles estiver ativado.
    • [FAÍSCA-26181]o hasMinMaxStats método de ColumnStatsMap não está correto.
    • Corrigido um problema que afetava a instalação do Python Wheels em ambientes sem acesso à Internet.
    • Corrigido um problema de desempenho no analisador de consultas.
    • Corrigido um problema no PySpark que fazia com que as ações do DataFrame falhassem com o erro "conexão recusada".
    • Corrigido um problema que afetava determinadas consultas de auto-união.

  • 20 de novembro de 2018

    • [FAÍSCA-17916][FAÍSCA-25241]Corrija a cadeia de caracteres vazia que está sendo analisada como nula quando nullValue é definido.
    • Corrigido um problema que afetava determinadas consultas de agregação com junções Semi/Anti esquerdas.

  • Novembro 6, 2018

    • [FAÍSCA-25741]URLs longos não são renderizados corretamente na interface do usuário da Web.
    • [FAÍSCA-25714]Corrija a manipulação nula na regra do otimizador BooleanSimplification.

  • 16 de outubro de 2018

    • Corrigido um bug que afetava a saída da execução SHOW CREATE TABLE em tabelas Delta.
    • Corrigido um bug que afetava a Union operação.

  • Setembro 25, 2018

    • [FAÍSCA-25368][SQL] A inferência de restrição incorreta retorna um resultado errado.
    • [FAÍSCA-25402][SQL] Tratamento nulo em BooleanSimplification.
    • Corrigido NotSerializableException na fonte de dados Avro.

  • Setembro 11, 2018

    • [FAÍSCA-25214][SS] Corrija o problema de que a fonte Kafka v2 pode retornar registros duplicados quando failOnDataLoss=false.
    • [FAÍSCA-24987][SS] Corrija o vazamento do consumidor Kafka quando não houver novos deslocamentos para articlePartition.
    • A redução de filtro deve manipular o valor nulo corretamente.

  • 28 de Agosto de 2018

    • Corrigido um bug no comando Delta Lake Delete que excluía incorretamente as linhas em que a condição é avaliada como nula.

  • Agosto 23, 2018

    • NoClassDefError corrigido para instantâneo delta
    • [FAÍSCA-23935]mapEntry lança org.codehaus.commons.compiler.CompileException.
    • [FAÍSCA-24957][SQL] Média com decimal seguida de agregação retorna resultado errado. Os resultados incorretos de AVERAGE podem ser retornados. O CAST adicionado no operador Average será ignorado se o resultado de Divide for do mesmo tipo para o qual ele é moldado.
    • [FAÍSCA-25081]Corrigido um bug em que ShuffleExternalSorter pode acessar uma página de memória liberada quando o derramamento não consegue alocar memória.
    • Corrigida uma interação entre Databricks Delta e Pyspark que poderia causar falhas de leitura transitórias.
    • [FAÍSCA-25114]Corrija RecordBinaryComparator quando a subtração entre duas palavras é divisível por Integer.MAX_VALUE.
    • [FAÍSCA-25084]" distribute by" em várias colunas (wrap entre parênteses) pode levar a um problema de codegen.
    • [FAÍSCA-24934][SQL] Lista explícita de tipos suportados em limites superiores/inferiores para remoção de partições na memória. Quando tipos de dados complexos são usados em filtros de consulta em dados armazenados em cache, o Spark sempre retorna um conjunto de resultados vazio. A remoção baseada em estatísticas na memória gera resultados incorretos, porque null é definido para limites superiores/inferiores para tipos complexos. A correção é não usar a remoção baseada em estatísticas na memória para tipos complexos.
    • Corrigida a redação do gerenciador de segredos quando o comando é parcialmente bem-sucedido.
    • Corrigido o problema de mapa anulável no leitor Parquet.

  • Agosto 2, 2018

    • Adicionada API writeStream.table em Python.
    • Corrigido um problema que afetava o ponto de verificação Delta.
    • [FAÍSCA-24867][SQL] Adicione AnalysisBarrier a DataFrameWriter. O cache SQL não está sendo usado ao usar DataFrameWriter para gravar um DataFrame com UDF. Esta é uma regressão causada pelas alterações que fizemos no AnalysisBarrier, uma vez que nem todas as regras do Analyzer são idempotentes.
    • Corrigido um problema que podia fazer com mergeInto que o comando produzisse resultados incorretos.
    • Estabilidade melhorada ao aceder ao Azure Data Lake Storage Gen1.
    • [SPARK-24809] Serializar LongHashedRelation no executor pode resultar num erro de dados.
    • [FAÍSCA-24878][SQL] Corrija a função inversa para o tipo de matriz do tipo primitivo que contém null.

  • 11 de julho de 2018

    • Corrigido um bug na execução da consulta que fazia com que agregações em colunas decimais com diferentes precisões retornassem resultados incorretos em alguns casos.
    • Corrigido um NullPointerException bug que era gerado durante operações avançadas de agregação, como conjuntos de agrupamento.

Databricks Runtime 4.1 ML (EoS)

Consulte Databricks Runtime 4.1 ML (EoS).

  • Julho 31, 2018
    • Adicionado o Azure Synapse Analytics ao ML Runtime 4.1
    • Corrigido um bug que poderia causar resultados de consulta incorretos quando o nome de uma coluna de partição usada em um predicado difere do caso dessa coluna no esquema da tabela.
    • Corrigido um bug que afetava o mecanismo de execução do Spark SQL.
    • Corrigido um bug que afetava a geração de código.
    • Corrigido um bug (java.lang.NoClassDefFoundError) que afetava o Delta Lake.
    • Tratamento de erros melhorado no Delta Lake.
    • Corrigido um bug que fazia com que estatísticas incorretas de pulo de dados fossem coletadas para colunas de cadeia de caracteres de 32 caracteres ou mais.

Tempo de execução do Databricks 4.1 (EoS)

Consulte Databricks Runtime 4.1 (EoS).

  • 8 de janeiro de 2019

    • [FAÍSCA-26366]ReplaceExceptWithFilter deve considerar NULL como False.
    • O Delta Lake está ativado.

  • Dezembro 18, 2018

    • [FAÍSCA-25002]Avro: revise o namespace do registro de saída.
    • Corrigido um problema que afetava determinadas consultas usando Join e Limit.
    • [FAÍSCA-26307]CTAS corrigido quando INSERT uma tabela particionada usando Hive SerDe.
    • Ignore apenas arquivos corrompidos após uma ou mais novas tentativas quando spark.sql.files.ignoreCorruptFiles o sinalizador ou spark.sql.files.ignoreMissingFiles estiver ativado.
    • Corrigido um problema que afetava a instalação do Python Wheels em ambientes sem acesso à Internet.
    • Corrigido um problema no PySpark que fazia com que as ações do DataFrame falhassem com o erro "conexão recusada".
    • Corrigido um problema que afetava determinadas consultas de auto-união.

  • 20 de novembro de 2018

    • [FAÍSCA-17916][FAÍSCA-25241]Corrija a cadeia de caracteres vazia que está sendo analisada como nula quando nullValue é definido.
    • Corrigido um problema que afetava determinadas consultas de agregação com junções Semi/Anti esquerdas.

  • Novembro 6, 2018

    • [FAÍSCA-25741]URLs longos não são renderizados corretamente na interface do usuário da Web.
    • [FAÍSCA-25714]Corrija a manipulação nula na regra do otimizador BooleanSimplification.

  • 16 de outubro de 2018

    • Corrigido um bug que afetava a saída da execução SHOW CREATE TABLE em tabelas Delta.
    • Corrigido um bug que afetava a Union operação.

  • Setembro 25, 2018

    • [FAÍSCA-25368][SQL] A inferência de restrição incorreta retorna um resultado errado.
    • [FAÍSCA-25402][SQL] Tratamento nulo em BooleanSimplification.
    • Corrigido NotSerializableException na fonte de dados Avro.

  • Setembro 11, 2018

    • [FAÍSCA-25214][SS] Corrija o problema de que a fonte Kafka v2 pode retornar registros duplicados quando failOnDataLoss=false.
    • [FAÍSCA-24987][SS] Corrija o vazamento do consumidor Kafka quando não houver novos deslocamentos para articlePartition.
    • A redução de filtro deve manipular o valor nulo corretamente.

  • 28 de Agosto de 2018

    • Corrigido um bug no comando Delta Lake Delete que excluía incorretamente as linhas em que a condição é avaliada como nula.
    • [FAÍSCA-25084]" distribute by" em várias colunas (wrap entre parênteses) pode levar a um problema de codegen.
    • [FAÍSCA-25114]Corrija RecordBinaryComparator quando a subtração entre duas palavras é divisível por Integer.MAX_VALUE.

  • Agosto 23, 2018

    • Corrigido NoClassDefError para Delta Snapshot.
    • [FAÍSCA-24957][SQL] Média com decimal seguida de agregação retorna resultado errado. Os resultados incorretos de AVERAGE podem ser retornados. O CAST adicionado no operador Average será ignorado se o resultado de Divide for do mesmo tipo para o qual ele é moldado.
    • Corrigido o problema de mapa anulável no leitor Parquet.
    • [FAÍSCA-24934][SQL] Lista explícita de tipos suportados em limites superiores/inferiores para remoção de partições na memória. Quando tipos de dados complexos são usados em filtros de consulta em dados armazenados em cache, o Spark sempre retorna um conjunto de resultados vazio. A remoção baseada em estatísticas na memória gera resultados incorretos, porque null é definido para limites superiores/inferiores para tipos complexos. A correção é não usar a remoção baseada em estatísticas na memória para tipos complexos.
    • [FAÍSCA-25081]Corrigido um bug em que ShuffleExternalSorter pode acessar uma página de memória liberada quando o derramamento não consegue alocar memória.
    • Corrigida uma interação entre Databricks Delta e Pyspark que poderia causar falhas de leitura transitórias.
    • Corrigida a redação do gerenciador de segredos quando o comando é parcialmente bem-sucedido

  • Agosto 2, 2018

    • [FAÍSCA-24613][SQL] O cache com UDF não pôde ser correspondido com caches dependentes subsequentes. Encapsula o plano lógico com um AnalysisBarrier para compilação do plano de execução no CacheManager, a fim de evitar que o plano seja analisado novamente. Esta é também uma regressão do Spark 2.3.
    • Corrigido um problema do conector do Synapse Analytics que afetava a conversão de fuso horário para gravar dados DateType.
    • Corrigido um problema que afetava o ponto de verificação Delta.
    • Corrigido um problema que podia fazer com mergeInto que o comando produzisse resultados incorretos.
    • [FAÍSCA-24867][SQL] Adicione AnalysisBarrier a DataFrameWriter. O cache SQL não está sendo usado ao usar DataFrameWriter para gravar um DataFrame com UDF. Esta é uma regressão causada pelas alterações que fizemos no AnalysisBarrier, uma vez que nem todas as regras do Analyzer são idempotentes.
    • [SPARK-24809] Serializar LongHashedRelation no executor pode resultar num erro de dados.

  • 11 de julho de 2018

    • Corrigido um bug na execução da consulta que fazia com que agregações em colunas decimais com diferentes precisões retornassem resultados incorretos em alguns casos.
    • Corrigido um NullPointerException bug que era gerado durante operações avançadas de agregação, como conjuntos de agrupamento.

  • 28 de junho de 2018

    • Corrigido um bug que poderia causar resultados de consulta incorretos quando o nome de uma coluna de partição usada em um predicado difere do caso dessa coluna no esquema da tabela.

  • Junho 7, 2018

    • Corrigido um bug que afetava o mecanismo de execução do Spark SQL.
    • Corrigido um bug que afetava a geração de código.
    • Corrigido um bug (java.lang.NoClassDefFoundError) que afetava o Delta Lake.
    • Tratamento de erros melhorado no Delta Lake.

  • 17 de maio de 2018

    • Corrigido um bug que fazia com que estatísticas incorretas de pulo de dados fossem coletadas para colunas de cadeia de caracteres de 32 caracteres ou mais.

Tempo de execução do Databricks 4.0 (EoS)

Consulte Databricks Runtime 4.0 (EoS).

  • Novembro 6, 2018

    • [FAÍSCA-25714]Corrija a manipulação nula na regra do otimizador BooleanSimplification.

  • 16 de outubro de 2018

    • Corrigido um bug que afetava a Union operação.

  • Setembro 25, 2018

    • [FAÍSCA-25368][SQL] A inferência de restrição incorreta retorna um resultado errado.
    • [FAÍSCA-25402][SQL] Tratamento nulo em BooleanSimplification.
    • Corrigido NotSerializableException na fonte de dados Avro.

  • Setembro 11, 2018

    • A redução de filtro deve manipular o valor nulo corretamente.

  • 28 de Agosto de 2018

    • Corrigido um bug no comando Delta Lake Delete que excluía incorretamente as linhas em que a condição é avaliada como nula.

  • Agosto 23, 2018

    • Corrigido o problema de mapa anulável no leitor Parquet.
    • Corrigida a redação do gerenciador de segredos quando o comando é parcialmente bem-sucedido
    • Corrigida uma interação entre Databricks Delta e Pyspark que poderia causar falhas de leitura transitórias.
    • [FAÍSCA-25081]Corrigido um bug em que ShuffleExternalSorter pode acessar uma página de memória liberada quando o derramamento não consegue alocar memória.
    • [FAÍSCA-25114]Corrija RecordBinaryComparator quando a subtração entre duas palavras é divisível por Integer.MAX_VALUE.

  • Agosto 2, 2018

    • [FAÍSCA-24452]Evite possíveis estouro em int add ou múltiplo.
    • [SPARK-24588]A associação de transmissão deve exigir HashClusteredPartitioning a elementos subordinados.
    • Corrigido um problema que podia fazer com mergeInto que o comando produzisse resultados incorretos.
    • [FAÍSCA-24867][SQL] Adicione AnalysisBarrier a DataFrameWriter. O cache SQL não está sendo usado ao usar DataFrameWriter para gravar um DataFrame com UDF. Esta é uma regressão causada pelas alterações que fizemos no AnalysisBarrier, uma vez que nem todas as regras do Analyzer são idempotentes.
    • [SPARK-24809] Serializar LongHashedRelation no executor pode resultar num erro de dados.

  • 28 de junho de 2018

    • Corrigido um bug que poderia causar resultados de consulta incorretos quando o nome de uma coluna de partição usada em um predicado difere do caso dessa coluna no esquema da tabela.

  • Junho 7, 2018

    • Corrigido um bug que afetava o mecanismo de execução do Spark SQL.
    • Tratamento de erros melhorado no Delta Lake.

  • 17 de maio de 2018

    • Correções de bugs para o gerenciamento secreto do Databricks.
    • Estabilidade melhorada na leitura de dados armazenados no Azure Data Lake Store.
    • Corrigido um bug que afetava o cache RDD.
    • Corrigido um bug que afetava Null-safe Equal no Spark SQL.

  • 24 de abril de 2018

    • SDK do Azure Data Lake Store atualizado de 2.0.11 para 2.2.8 para melhorar a estabilidade do acesso ao Azure Data Lake Store.
    • Corrigido um bug que afetava a inserção de substituições em tabelas particionadas do Hive quando spark.databricks.io.hive.fastwriter.enabled é false.
    • Corrigido um problema que falhava na serialização de tarefas.
    • Estabilidade melhorada do Lago Delta.

  • 14 de março de 2018

    • Evite atualizações desnecessárias de metadados ao gravar no Delta Lake.
    • Corrigido um problema causado por uma condição de corrida que poderia, em circunstâncias raras, levar à perda de alguns arquivos de saída.

Databricks Runtime 3.5 LTS (EoS)

Consulte Databricks Runtime 3.5 LTS (EoS).

  • Novembro 7, 2019

    • [FAÍSCA-29743]O exemplo [SQL] deve definir needCopyResult como true se o needCopyResult de seu filho for true

  • 8 de outubro de 2019

    • Alterações no lado do servidor para permitir que o driver Simba Apache Spark ODBC se reconecte e continue após uma falha de conexão durante a busca de resultados (requer a atualização do driver Simba Apache Spark ODBC para a versão 2.6.10).

  • Setembro 10, 2019

    • [FAÍSCA-28699][SQL] Desativar o uso de radix sort para ShuffleExchangeExec no caso de repartição

  • 9 de abril de 2019

    • [FAÍSCA-26665][CORE] Corrija um bug que pode fazer com que BlockTransferService.fetchBlockSync trave para sempre.

  • Fevereiro 12, 2019

    • Corrigido um problema que fazia com que o protocolo de rede de baixo nível do Spark pudesse ser quebrado ao enviar mensagens de erro RPC grandes com a criptografia habilitada (quando spark.network.crypto.enabled definido como true).

  • 30 de janeiro de 2019

    • Corrigido um problema que podia fazer df.rdd.count() com que o UDT retornasse uma resposta incorreta para determinados casos.

  • Dezembro 18, 2018

    • Ignore apenas arquivos corrompidos após uma ou mais novas tentativas quando spark.sql.files.ignoreCorruptFiles o sinalizador ou spark.sql.files.ignoreMissingFiles estiver ativado.
    • Corrigido um problema que afetava determinadas consultas de auto-união.

  • 20 de novembro de 2018

  • Novembro 6, 2018

    • [FAÍSCA-25714]Corrija a manipulação nula na regra do otimizador BooleanSimplification.

  • 16 de outubro de 2018

    • Corrigido um bug que afetava a Union operação.

  • Setembro 25, 2018

    • [FAÍSCA-25402][SQL] Tratamento nulo em BooleanSimplification.
    • Corrigido NotSerializableException na fonte de dados Avro.

  • Setembro 11, 2018

    • A redução de filtro deve manipular o valor nulo corretamente.

  • 28 de Agosto de 2018

    • Corrigido um bug no comando Delta Lake Delete que excluía incorretamente as linhas em que a condição é avaliada como nula.
    • [FAÍSCA-25114]Corrija RecordBinaryComparator quando a subtração entre duas palavras é divisível por Integer.MAX_VALUE.

  • Agosto 23, 2018

    • [SPARK-24809] Serializar LongHashedRelation no executor pode resultar num erro de dados.
    • Corrigido o problema de mapa anulável no leitor Parquet.
    • [FAÍSCA-25081]Corrigido um bug em que ShuffleExternalSorter pode acessar uma página de memória liberada quando o derramamento não consegue alocar memória.
    • Corrigida uma interação entre Databricks Delta e Pyspark que poderia causar falhas de leitura transitórias.

  • 28 de junho de 2018

    • Corrigido um bug que poderia causar resultados de consulta incorretos quando o nome de uma coluna de partição usada em um predicado difere do caso dessa coluna no esquema da tabela.

  • 28 de junho de 2018

    • Corrigido um bug que poderia causar resultados de consulta incorretos quando o nome de uma coluna de partição usada em um predicado difere do caso dessa coluna no esquema da tabela.

  • Junho 7, 2018

    • Corrigido um bug que afetava o mecanismo de execução do Spark SQL.
    • Tratamento de erros melhorado no Delta Lake.

  • 17 de maio de 2018

    • Estabilidade melhorada na leitura de dados armazenados no Azure Data Lake Store.
    • Corrigido um bug que afetava o cache RDD.
    • Corrigido um bug que afetava Null-safe Equal no Spark SQL.
    • Corrigido um bug que afetava determinadas agregações em consultas de streaming.

  • 24 de abril de 2018

    • SDK do Azure Data Lake Store atualizado de 2.0.11 para 2.2.8 para melhorar a estabilidade do acesso ao Azure Data Lake Store.
    • Corrigido um bug que afetava a inserção de substituições em tabelas particionadas do Hive quando spark.databricks.io.hive.fastwriter.enabled é false.
    • Corrigido um problema que falhava na serialização de tarefas.

  • Março 09, 2018

    • Corrigido um problema causado por uma condição de corrida que poderia, em circunstâncias raras, levar à perda de alguns arquivos de saída.

  • Março 01, 2018

    • Melhorou a eficiência do manuseio de fluxos que podem levar muito tempo para parar.
    • Corrigido um problema que afetava o preenchimento automático do Python.
    • Patches de segurança do Ubuntu aplicados.
    • Corrigido um problema que afetava determinadas consultas usando UDFs Python e funções de janela.
    • Corrigido um problema que afetava o uso de UDFs em um cluster com o controle de acesso à tabela habilitado.

  • Janeiro 29, 2018

    • Corrigido um problema que afetava a manipulação de tabelas armazenadas no armazenamento de Blob do Azure.
    • Agregação fixa após dropDuplicates em DataFrame vazio.

Tempo de execução do Databricks 3.4 (EoS)

Consulte Databricks Runtime 3.4 (EoS).

  • Junho 7, 2018

    • Corrigido um bug que afetava o mecanismo de execução do Spark SQL.
    • Tratamento de erros melhorado no Delta Lake.

  • 17 de maio de 2018

    • Estabilidade melhorada na leitura de dados armazenados no Azure Data Lake Store.
    • Corrigido um bug que afetava o cache RDD.
    • Corrigido um bug que afetava Null-safe Equal no Spark SQL.

  • 24 de abril de 2018

    • Corrigido um bug que afetava a inserção de substituições em tabelas particionadas do Hive quando spark.databricks.io.hive.fastwriter.enabled é false.

  • Março 09, 2018

    • Corrigido um problema causado por uma condição de corrida que poderia, em circunstâncias raras, levar à perda de alguns arquivos de saída.

  • 13 de dezembro de 2017

    • Corrigido um problema que afetava UDFs no Scala.
    • Corrigido um problema que afetava o uso do índice de pulo de dados em tabelas de fonte de dados armazenadas em caminhos não DBFS.

  • Dezembro 07, 2017

    • Estabilidade de embaralhamento melhorada.

Versões não suportadas do Databricks Runtime

Para obter as notas de versão originais, siga o link abaixo do subtítulo.