Partilhar via

Databricks Tempo de execução 15.4 LTS

  • Artigo

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 15.4 LTS, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em agosto de 2024.

Nota

LTS significa que esta versão está sob suporte a longo prazo. Consulte Ciclo de vida da versão do Databricks Runtime LTS.

Gorjeta

Para ver as notas de versão das versões do Databricks Runtime que atingiram o fim do suporte (EoS), consulte Notas de versão do End-of-support Databricks Runtime. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.

Mudanças comportamentais

Usar a VARIANT como o tipo de entrada ou saída com um Python UDF, UDAF ou UDTF gera uma exceção

[Quebrando a alteração] No Databricks Runtime 15.3 e superior, chamar qualquer função definida pelo usuário (UDF) do Python, função de agregação definida pelo usuário (UDAF) ou função de tabela definida pelo usuário (UDTF) que usa um VARIANT tipo como argumento ou valor de retorno gera uma exceção. Essa alteração é feita para evitar problemas que podem ocorrer devido a um valor inválido retornado por uma dessas funções. Para saber mais sobre o VARIANT tipo, consulte Usar VARIANTES para armazenar dados semiestruturados.

Alterar para o modo de vinculação de esquema padrão para modos de exibição

As exibições agora se adaptam às alterações de esquema na consulta subjacente usando a compensação de esquema com regras de transmissão regulares. Esta é uma alteração em relação ao padrão anterior do modo, que gerava erros quando uma transmissão segura não podia ser executada BINDING ao fazer referência à exibição.

Consulte CREATE VIEW e função de transmissão.

Não permitir o uso da sintaxe não documentada ! em vez de NOT expressões booleanas externas

Com esta versão, o uso de ! como sinônimo para NOT fora de expressões booleanas não é mais permitido. Por exemplo, afirmações como as seguintes: CREATE ... IF ! EXISTS, IS ! NULL, uma propriedade ! IN de ! NULL coluna ou campo e ! BETWEEN, deve ser substituído por: CREATE ... IF NOT EXISTS, IS NOT NULL, uma NOT NULL propriedade NOT IN de coluna ou campo e NOT BETWEEN.

Essa alteração garante consistência, alinha-se com o padrão SQL e torna seu SQL mais portátil.

O operador ! de prefixo booleano (por exemplo, !is_mgr ou !(true AND false)) não é afetado por essa alteração.

Não permitir sintaxe de definição de coluna não documentada em modos de exibição

O Databricks suporta CREATE VIEW com colunas nomeadas e comentários de coluna. Anteriormente, a especificação de tipos de coluna, NOT NULL restrições ou DEFAULT foi permitida. Com esta versão, você não pode mais usar essa sintaxe.

Essa alteração garante consistência, alinha-se com o padrão SQL e oferece suporte a aprimoramentos futuros.

Tratamento consistente de erros para decodificação Base64 no Spark e Photon

Esta versão altera como o Photon lida com erros de decodificação Base64 para corresponder ao tratamento Spark desses erros. Antes dessas alterações, o caminho de geração de código do Photon e do Spark às vezes falhava em gerar exceções de análise, enquanto o Spark interpretava a execução corretamente gerada IllegalArgumentException ou ConversionInvalidInputError. Esta atualização garante que o Photon gere consistentemente as mesmas exceções que o Spark durante erros de decodificação Base64, fornecendo tratamento de erros mais previsível e confiável.

Adicionar uma CHECK restrição em uma coluna inválida agora retorna o UNRESOLVED_COLUMN. WITH_SUGGESTION classe de erro

Para fornecer mensagens de erro mais úteis, no Databricks Runtime 15.3 e superior, uma ALTER TABLE ADD CONSTRAINT instrução que inclui uma CHECK restrição fazendo referência a um nome de coluna inválido retorna o UNRESOLVED_COLUMN. WITH_SUGGESTION classe de erro. Anteriormente, um INTERNAL_ERROR foi devolvido.

Novos recursos e melhorias

Funções de validação UTF-8

Esta versão apresenta as seguintes funções para validar cadeias de caracteres UTF-8:

  • is_valid_utf8 verificado se uma cadeia de caracteres é uma cadeia de caracteres UTF-8 válida.
  • make_valid_utf8 converte uma cadeia de caracteres UTF-8 potencialmente inválida em uma cadeia de caracteres UTF-8 válida usando caracteres de substituição
  • validate_utf8 gera um erro se a entrada não for uma cadeia de caracteres UTF-8 válida.
  • try_validate_utf8 retorna NULL se a entrada não for uma cadeia de caracteres UTF-8 válida.

to_avro e from_avro funções

As funções to_avro e from_avro permitem a conversão de tipos SQL para dados binários Avro e vice-versa.

APIs de conjunto de dados tipadas com UDFs Scala

Esta versão inclui suporte adicional para APIs de conjunto de dados tipadas com funções definidas pelo usuário do Scala (excluindo funções agregadas definidas pelo usuário) na computação habilitada para Unity Catalog com modo de acesso compartilhado. Consulte APIs de conjunto de dados tipadas.

Ativar UniForm Iceberg usando ALTER TABLE

Agora você pode habilitar o UniForm Iceberg em tabelas existentes sem reescrever arquivos de dados. Consulte Ativar alterando uma tabela existente.

try_url_decode função

Esta versão apresenta a função try_url_decode, que decodifica uma cadeia de caracteres codificada por URL. Se a cadeia de caracteres não estiver no formato correto, a função retornará NULL em vez de gerar um erro.

Opcionalmente, permita que o otimizador dependa de restrições de chave estrangeira não impostas

Para melhorar o desempenho da consulta, agora você pode especificar a RELY palavra-chave em FOREIGN KEY restrições ao CRIAR ou ALTER uma tabela.

Execuções de trabalho paralelizadas para substituições seletivas

Substituições seletivas usando replaceWhere trabalhos agora executados que excluem dados e inserem novos dados em paralelo, melhorando o desempenho da consulta e a utilização do cluster.

Desempenho aprimorado para feed de dados de alteração com substituições seletivas

As substituições seletivas usando replaceWhere tabelas com feed de dados de alteração não gravam mais arquivos de dados de alteração separados para dados inseridos. Essas operações usam uma coluna oculta _change_type presente nos arquivos de dados subjacentes do Parquet para registrar alterações sem amplificação de gravação.

Latência de consulta melhorada para o COPY INTO comando

Esta versão inclui uma alteração que melhora a latência de consulta para o COPY INTO comando. Essa melhoria é implementada tornando o carregamento do estado pelo armazenamento de estado RocksDB assíncrono. Com essa alteração, você verá uma melhoria nos tempos de início para consultas com estados grandes, como consultas com um grande número de arquivos já ingeridos.

Suporte para descartar o recurso de tabela de restrições de verificação

Agora você pode soltar o checkConstraints recurso de tabela de uma tabela Delta usando ALTER TABLE table_name DROP FEATURE checkConstraints. Consulte Desativar restrições de verificação.

A computação de usuário único suporta controle de acesso refinado, exibições materializadas e tabelas de streaming (Visualização pública)

Quando um espaço de trabalho está habilitado para computação sem servidor, o Databricks Runtime 15.4 LTS adiciona suporte para controle de acesso refinado em computação de usuário único. Quando uma consulta acessa qualquer um dos seguintes objetos, o recurso de computação de usuário único no Databricks Runtime 15.4 LTS passa a consulta para a computação sem servidor para executar a filtragem de dados:

  • Modos de exibição definidos em tabelas nas quais o usuário não tem o SELECT privilégio.
  • Vistas dinâmicas.
  • Tabelas com filtros de linha ou máscaras de coluna aplicadas.
  • Visualizações materializadas e tabelas de streaming.

Essas consultas não são suportadas na computação de usuário único que executa o Databricks Runtime 15.3 e inferior.

Para obter mais informações, consulte Controle de acesso refinado na computação de usuário único.

Suporte expandido para bibliotecas Java e Scala

A partir do Databricks Runtime 15.4 LTS, todas as bibliotecas Java e Scala empacotadas com o Databricks Runtime estão disponíveis em todos os modos de acesso de computação quando você usa o Unity Catalog. Para saber mais sobre o suporte a idiomas na computação habilitada para Unity Catalog, consulte Limitações do modo de acesso de computação para o Unity Catalog.

Suporte expandido para operações de conjunto de dados Scala

Com esta versão, os recursos de computação habilitados para Unity Catalog que usam o modo de acesso compartilhado suportam as Dataset seguintes operações Scala: map, mapPartitions, foreachPartition, reduce flatMape filter.

Scala é GA na computação compartilhada do Unity Catalog

Com esta versão, o Scala está geralmente disponível no modo de acesso compartilhado Unity Catalog-enabled compute, incluindo suporte para funções escalares definidas pelo usuário (UDFs). Não há suporte para Streaming estruturado, UDFs do Hive e funções agregadas definidas pelo usuário do Hive. Para obter uma lista completa de limitações, consulte Limitações do modo de acesso de computação para o Unity Catalog.

Acesso controlado pelo catálogo Unity a serviços de nuvem externos usando credenciais de serviço (Visualização pública)

As credenciais de serviço permitem uma autenticação simples e segura com os serviços do locatário de nuvem usando identidades gerenciadas do Azure (MI) e o Catálogo Unity. Consulte Gerenciar o acesso a serviços de nuvem externos usando credenciais de serviço.

Correções de erros

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • azure-core de 1.30.1 a 1.30.2
    • google-auth de 2.29.0 a 2.31.0
    • google-cloud-storage de 2.16.0 a 2.17.0
    • google-retomable-media de 2.7.0 a 2.7.1
    • googleapis-common-protos de 1.63.0 a 1.63.2
    • mlflow-skinny de 2.11.3 a 2.11.4
    • proto-plus de 1.23.0 a 1.24.0
    • s3transfer de 0.10.1 a 0.10.2
  • Bibliotecas R atualizadas:
  • Bibliotecas Java atualizadas:
    • com.databricks.databricks-sdk-java de 0.17.1 a 0.27.0
    • com.ibm.icu.icu4j de 72.1 a 75.1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 para 1.6.2-linux-x86_64

Faísca Apache

O Databricks Runtime 15.4 LTS inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.3 e as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-48503] [DBRRM-1150][SC-172196][SQL] Permitir agrupamento em expressões em subconsultas escalares, se elas estiverem vinculadas a linhas externas
  • [FAÍSCA-48834] [BEHAVE-79][SC-170972][SQL] Desative a entrada/saída variante para UDFs, UDTFs, UDAFs escalares python durante a compilação da consulta
  • [FAÍSCA-48441] [SC-170980][SQL][WARMFIX] Corrigir o comportamento de StringTrim para agrupamentos não UTF8_BINARY
  • [FAÍSCA-48440] [SC-170895][SQL][WARMFIX] Corrigir o comportamento StringTranslate para agrupamentos não UTF8_BINARY
  • [FAÍSCA-48872] [SC-170866][PYTHON] Reduza a sobrecarga de _capture_call_site
  • [FAÍSCA-48862] [SC-170845][PYTHON][CONECTAR] Evite ligar _proto_to_string quando o nível INFO não estiver ativado
  • [FAÍSCA-48852] [SC-170837][CONECTAR] Corrigir função de corte de cadeia de caracteres na conexão
  • [FAÍSCA-48791] [SC-170658][CORE] Corrigir regressão perf causada pela sobrecarga de registro de acumuladores usando CopyOnWriteArrayList
  • [FAÍSCA-48118] [SQL] Suporte SPARK_SQL_LEGACY_CREATE_HIVE_TABLE env variável
  • [FAÍSCA-48241] [SC-165811][SQL] Falha de análise CSV com colunas do tipo char/varchar
  • [FAÍSCA-48168] [SC-166900][SQL] Adicionar suporte a operadores de mudança bit a bit
  • [FAÍSCA-48148] [SC-165630][CORE] Os objetos JSON não devem ser modificados quando lidos como STRING
  • [FAÍSCA-46625] [SC-170561] CTE com cláusula Identifier como referência
  • [FAÍSCA-48771] [SC-170546][SQL] Acelere para LogicalPlanIntegrity.validateExprIdUniqueness planos de consulta grandes
  • [FAÍSCA-48831] [BEHAVE-76][SC-170554][CONECTAR] Tornar o nome da coluna padrão compatível cast com o Spark Classic
  • [FAÍSCA-48623] [SC-170544][CORE] Migrações de log estruturado [Parte 2]
  • [FAÍSCA-48296] [SC-166138][SQL] Suporte Codegen para to_xml
  • [FAÍSCA-48027] [SC-165154][SQL] InjectRuntimeFilter para associação de vários níveis deve verificar o tipo de associação filho
  • [FAÍSCA-48686] [SC-170365][SQL] Melhorar o desempenho de ParserUtils.unescapeSQLString
  • [FAÍSCA-48798] [SC-170588][PYTHON] Introdução spark.profile.render para criação de perfil baseada em SparkSession
  • [FAÍSCA-48048] [SC-169099] Reverter "[SC-164846][CONNECT][SS] Adicionado suporte de ouvinte do lado do cliente para Scala"
  • [FAÍSCA-47910] [SC-168929][CORE] fechar fluxo quando DiskBlockObjectWriter fechaRecursos para evitar vazamento de memória
  • [FAÍSCA-48816] [SC-170547][SQL] Taquigrafia para conversores de intervalo em UnivocityParser
  • [FAÍSCA-48589] [SC-170132][SQL][SS] Adicionar opção snapshotStartBatchId e snapshotPartitionId à fonte de dados de estado
  • [FAÍSCA-48280] [SC-170293][SQL] Melhorar a área de superfície de teste de agrupamento usando a caminhada de expressão
  • [FAÍSCA-48837] [SC-170540][ML] No CountVectorizer, leia apenas o parâmetro binário uma vez por transformação, não uma vez por linha
  • [FAÍSCA-48803] [SC-170541][SQL] Lançar erro interno no Orc(De)serializer para alinhar com ParquetWriteSupport
  • [FAÍSCA-48764] [SC-170129][PYTHON] Filtrando quadros relacionados a IPython da pilha de usuários
  • [FAÍSCA-48818] [SC-170414][PYTHON] Simplifique percentile funções
  • [FAÍSCA-48479] [SC-169079][SQL] Suporte à criação de UDFs SQL escalares e de tabela no analisador
  • [FAÍSCA-48697] [SC-170122][LC-4703][SQL] Adicionar filtros de cadeia de caracteres com reconhecimento de agrupamento
  • [FAÍSCA-48800] [SC-170409][CONECTAR][SS] Deflake ClientStreamingQuerySuite
  • [FAÍSCA-48738] [SC-169814][SQL] Correto desde a versão para built-in func alias random, position, mod, cardinality, current_schema, user, session_user,char_length,character_length
  • [FAÍSCA-48638] [SC-169575][CONECTAR] Adicionar suporte ExecutionInfo para DataFrame
  • [FAÍSCA-48064] [SC-164697][SQL] Atualizar mensagens de erro para classes de erro relacionadas à rotina
  • [FAÍSCA-48810] [CONECTAR] A API Session stop() deve ser idempotente e não falhar se a sessão já estiver fechada pelo servidor
  • [FAÍSCA-48650] [15.x][PYTHON] Exibir o site de chamada correto do IPython Notebook
  • [FAÍSCA-48271] [SC-166076][SQL] Transforme o erro de correspondência no RowEncoder em UNSUPPORTED_DATA_TYPE_FOR_ENCODER
  • [FAÍSCA-48709] [SC-169603][SQL] Corrigir incompatibilidade de resolução de tipo varchar para DataSourceV2 CTAS
  • [FAÍSCA-48792] [SC-170335][SQL] Corrigir regressão para INSERT com lista de colunas parciais para uma tabela com char/varchar
  • [FAÍSCA-48767] [SC-170330][SQL] Corrigir alguns prompts de erro quando variant os dados de tipo são inválidos
  • [FAÍSCA-48719] [SC-170339][SQL] Corrigir o bug de cálculo de RegrSlope & RegrIntercept quando o primeiro parâmetro é nulo
  • [FAÍSCA-48815] [SC-170334][CONECTAR] Atualizar o ambiente ao parar a sessão de conexão
  • [FAÍSCA-48646] [SC-169020][PYTHON] Refine a fonte de dados Python API docstring e dicas de tipo
  • [FAÍSCA-48806] [SC-170310][SQL] Passar exceção real quando url_decode falhar
  • [FAÍSCA-47777] [SC-168818] corrigir python streaming fonte de dados teste de conexão
  • [FAÍSCA-48732] [SC-169793][SQL] Limpeza do uso preterido da api relacionado a JdbcDialect.compileAggregate
  • [FAÍSCA-48675] [SC-169538][SQL] Corrigir tabela de cache com coluna agrupada
  • [FAÍSCA-48623] [SC-169034][CORE] Migrações de log estruturado
  • [FAÍSCA-48655] [SC-169542][SQL] SPJ: Adicionar testes para pular aleatório para consultas agregadas
  • [FAÍSCA-48586] [SC-169808][SS] Remova a aquisição de bloqueio em doMaintenance() fazendo uma cópia profunda dos mapeamentos de arquivos no RocksDBFileManager em load()
  • [FAÍSCA-48799] [Backport][15.x][SC-170283][SS] Refatoração de controle de versão para leitura/gravação de metadados do operador e chamadores
  • [FAÍSCA-48808] [SC-170309][SQL] Corrija o NPE ao conectar thriftserver através do Hive 1.2.1 e o esquema de resultado está vazio
  • [FAÍSCA-48715] [SC-170291][SQL] Integre a validação UTF8String em implementações de função de cadeia de caracteres com reconhecimento de agrupamento
  • [FAÍSCA-48747] [SC-170120][SQL] Adicionar iterador de ponto de código a UTF8String
  • [FAÍSCA-48748] [SC-170115][SQL] Cache numChars em UTF8String
  • [FAÍSCA-48744] [SC-169817][Núcleo] A entrada de log deve ser construída apenas uma vez
  • [FAÍSCA-46122] [SC-164313][SQL] Definido spark.sql.legacy.createHiveTableByDefault como false por padrão
  • [FAÍSCA-48765] [SC-170119][IMPLANTAR] Melhorar a avaliação de valor padrão para SPARK_IDENT_STRING
  • [FAÍSCA-48759] [SC-170128][SQL] Adicionar documento de migração para CREATE TABLE AS SELECT alteração de comportamento mudança de comportamento desde o Spark 3.4
  • [FAÍSCA-48598] [SC-169484][PYTHON][CONECTAR] Propagar esquema armazenado em cache em operações de dataframe
  • [FAÍSCA-48766] [SC-170126][PYTHON] Documentar a diferença de comportamento entre extraction element_at e try_element_at
  • [FAÍSCA-48768] [SC-170124][PYTHON][CONECTAR] Não deve armazenar em cache explain
  • [FAÍSCA-48770] [Backport][15.x][SC-170133][SS] Mude para ler os metadados do operador uma vez no driver para verificar se podemos encontrar informações para numColsPrefixKey usado para consultas agg da janela de sessão
  • [FAÍSCA-48656] [SC-169529][CORE] Faça uma verificação de comprimento e lance COLLECTION_SIZE_LIMIT_EXCEEDED erro em CartesianRDD.getPartitions
  • [FAÍSCA-48597] [SC-168817][SQL] Introduzir um marcador para a propriedade isStreaming na representação de texto do plano lógico
  • [FAÍSCA-48472] [SC-169044][SQL] Habilitar expressões de reflexão com cadeias de caracteres agrupadas
  • [FAÍSCA-48699] [SC-169597][SQL] Refinar a API de agrupamento
  • [FAÍSCA-48682] [SC-169812][SQL][BEHAVE-58] Usar UTI na expressão InitCap para cadeias de caracteres UTF8_BINARY
  • [FAÍSCA-48282] [SC-169813][SQL] Alterar a lógica de pesquisa de cadeia de caracteres para agrupamento de UTF8_BINARY_LCASE (StringReplace, FindInSet)
  • [FAÍSCA-47353] [SC-169599][SQL] Habilitar o suporte de agrupamento para a expressão Modo
  • [FAÍSCA-48320] [FAÍSCA-48490] Sincronize a característica de registro mais recente e os casos de teste do OSS Spark
  • [FAÍSCA-48629] [SC-169479] Migrar o código residual para a estrutura de log estruturada
  • [FAÍSCA-48681] [SC-169469][SQL][BEHAVE-58] Usar UTI em expressões inferiores/superiores para cadeias de UTF8_BINARY
  • [FAÍSCA-48573] [15.x][SC-169582][SQL] Atualizar versão da UTI
  • [FAÍSCA-48687] [Backport][15.x][SS] Adicionar alteração para executar a validação do esquema de estado e atualizar o driver para consultas com monitoração de estado
  • [FAÍSCA-47579] [15.x][SC-167310][CORE][PARTE 4] Migrar logInfo com variáveis para a estrutura de log estruturada
  • [FAÍSCA-48008] [SC-167363][1/2] Suporta UDAFs no Spark Connect
  • [FAÍSCA-48578] [SC-169505][SQL] adicionar funções relacionadas à validação de cadeia de caracteres UTF8
  • [FAÍSCA-48670] [SC-169598][SQL] Fornecendo sugestão como parte da mensagem de erro quando o nome de agrupamento inválido é fornecido
  • [FAÍSCA-48059] [FAÍSCA-48145][FAÍSCA-48134][FAÍSCA-48182][FAÍSCA-48209][SPA... … RK-48291] Estrutura de log estruturada no lado java
  • [FAÍSCA-47599] [15.x][SC-166000][MLLIB] MLLib: Migrar logWarn com variáveis para a estrutura de log estruturada
  • [FAÍSCA-48706] [SC-169589][PYTHON] Python UDF em funções de ordem superior não deve lançar erro interno
  • [FAÍSCA-48498] [COMPORTAR-38][SC-168060][SQL] Faça sempre preenchimento char em predicados
  • [FAÍSCA-48662] [SC-169533][SQL] Corrigir expressão StructsToXml com agrupamentos
  • [FAÍSCA-48482] [SC-167702][PYTHON][15.x] dropDuplicates e dropDuplicatesWIthinWatermark deve aceitar args de comprimento variável
  • [FAÍSCA-48678] [SC-169463][CORE] Otimizações de desempenho para SparkConf.get(ConfigEntry)
  • [FAÍSCA-48576] [SQL] Renomear UTF8_BINARY_LCASE para UTF8_LCASE
  • [FAÍSCA-47927] [SC-164123][SQL]: Corrigir atributo de anulabilidade no decodificador UDF
  • [FAÍSCA-47579] [SC-165297][CORE][PARTE 1] Migrar logInfo com variáveis para a estrutura de log estruturada (novo)
  • [FAÍSCA-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal não usar os métodos preteridos
  • [FAÍSCA-48431] [SC-167290][LC-4066][SQL] Não encaminhar predicados em colunas agrupadas para leitores de arquivos
  • [FAÍSCA-47579] Reverter "[SC-165297][CORE][PART1] Migrar logInfo com variáveis para a estrutura de log estruturada"
  • [FAÍSCA-47585] [SC-164306][SQL] SQL core: Migrar logInfo com variáveis para a estrutura de log estruturada
  • [FAÍSCA-48466] [SC-169042][SQL] Criar nó dedicado para EmptyRelation no AQE
  • [FAÍSCA-47579] [SC-165297][CORE][PARTE 1] Migrar logInfo com variáveis para a estrutura de log estruturada
  • [FAÍSCA-48410] [SC-168320][SQL] Corrigir expressão InitCap para agrupamentos de UTF8_BINARY_LCASE & ICU
  • [FAÍSCA-48318] [SC-167709][SQL] Habilitar o suporte de junção de hash para todos os agrupamentos (tipos complexos)
  • [FAÍSCA-48435] [SC-168128][SQL] O agrupamento UNICODE não deve suportar igualdade binária
  • [FAÍSCA-48555] [SC-169041][SQL][PYTHON][CONECTAR] Suporte usando colunas como parâmetros para várias funções em pyspark/scala
  • [FAÍSCA-48591] [SC-169081][PYTHON] Adicionar uma função auxiliar para simplificar Column.py
  • [FAÍSCA-48574] [SC-169043][SQL] Corrigir o suporte para StructTypes com agrupamentos
  • [FAÍSCA-48305] [SC-166390][SQL] Adicionar suporte de agrupamento para expressões CurrentLike
  • [FAÍSCA-48342] [SC-168941][SQL] Introdução ao SQL Scripting Parser
  • [FAÍSCA-48649] [SC-169024][SQL] Adicione as configurações "ignoreInvalidPartitionPaths" e "spark.sql.files.ignoreInvalidPartitionPaths" para permitir ignorar caminhos de partição inválidos
  • [FAÍSCA-48000] [SC-167194][SQL] Habilitar o suporte de junção de hash para todos os agrupamentos (StringType)
  • [FAÍSCA-48459] [SC-168947][CONECTAR][PYTHON] Implementar DataFrameQueryContext no Spark Connect
  • [FAÍSCA-48602] [SC-168692][SQL] Faça com que o gerador csv suporte um estilo de saída diferente com spark.sql.binaryOutputStyle
  • [FAÍSCA-48283] [SC-168129][SQL] Modificar a comparação de cadeia de caracteres para UTF8_BINARY_LCASE
  • [FAÍSCA-48610] [SC-168830][SQL] refactor: use idMap auxiliar em vez de OP_ID_TAG
  • [FAÍSCA-48634] [SC-169021][PYTHON][CONECTAR] Evite inicializar estaticamente o threadpool em ExecutePlanResponseReattachableIterator
  • [FAÍSCA-47911] [SC-164658][SQL] Introduz um BinaryFormatter universal para tornar a saída binária consistente
  • [FAÍSCA-48642] [SC-168889][CORE] Falso SparkOutOfMemoryError causado por matar tarefa ao derramar
  • [FAÍSCA-48572] [SC-168844][SQL] Corrigir expressões DateSub, DateAdd, WindowTime, TimeWindow e SessionWindow
  • [FAÍSCA-48600] [SC-168841][SQL] Corrigir transmissão implícita de expressões FrameLessOffsetWindowFunction
  • [FAÍSCA-48644] [SC-168933][SQL] Faça uma verificação de comprimento e lance COLLECTION_SIZE_LIMIT_EXCEEDED erro no Hex.hex
  • [FAÍSCA-48587] [SC-168824][VARIANTE] Evite a amplificação de armazenamento ao acessar uma subvariante
  • [FAÍSCA-48647] [SC-168936][PYTHON][CONECTAR] Refine a mensagem de erro para YearMonthIntervalType em df.collect
  • [FAÍSCA-48307] [SC-167802][SQL] InlineCTE deve manter relações não embutidas no nó WithCTE original
  • [FAÍSCA-48596] [SC-168581][SQL] Melhoria do Perf para calcular a cadeia hexadecimal por muito tempo
  • [FAÍSCA-48621] [SC-168726][SQL] Corrigir como simplificação no Optimizer para cadeias de caracteres agrupadas
  • [FAÍSCA-47148] [SC-164179][SQL] Evite materializar AQE ExchangeQueryStageExec no cancelamento
  • [FAÍSCA-48584] [SC-168579][SQL] Melhoria do Perf para unescapePathName
  • [FAÍSCA-48281] [SC-167260][SQL] Alterar lógica de pesquisa de cadeia de caracteres para agrupamento de UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
  • [FAÍSCA-48577] [SC-168826][SQL] Substituição de sequência de bytes UTF-8 inválida
  • [FAÍSCA-48595] [SC-168580][CORE] Limpeza do uso preterido da api relacionado a commons-compress
  • [FAÍSCA-48030] [SC-164303][SQL] SPJ: cache rowOrdering e structType para InternalRowComparableWrapper
  • [FAÍSCA-48004] [SC-164005][SQL] Adicionar característica WriteFilesExecBase para gravação v1
  • [FAÍSCA-48551] [SC-168438][SQL] Melhoria do Perf para escapePathName
  • [FAÍSCA-48565] [SC-168437][UI] Corrigir exibição de despejo de thread na interface do usuário
  • [FAÍSCA-48364] [SC-166782][SQL] Adicionar transmissão de tipo AbstractMapType e corrigir o mapa de parâmetros RaiseError para trabalhar com cadeias de caracteres agrupadas
  • [FAÍSCA-48421] [SC-168689][SQL] SPJ: Adicionar documentação
  • [FAÍSCA-48604] [SC-168698][SQL] Substituir chamada de método preterida new ArrowType.Decimal(precision, scale)
  • [FAÍSCA-46947] [SC-157561][CORE] Atrase a inicialização do gerenciador de memória até que o plug-in do driver seja carregado
  • [FAÍSCA-48411] [SC-168576][SS][PYTHON] Adicionar teste E2E para DropDuplicateWithinWatermark
  • [FAÍSCA-48543] [SC-168697][SS] Controlar falhas de validação de linha de estado usando classe de erro explícita
  • [FAÍSCA-48221] [SC-167143][SQL] Alterar a lógica de pesquisa de cadeia de caracteres para agrupamento de UTF8_BINARY_LCASE (Contains, StartsWith, EndsWith, StringLocate)
  • [FAÍSCA-47415] [SC-168441][SQL] Adicionar suporte de agrupamento para expressão Levenshtein
  • [FAÍSCA-48593] [SC-168719][PYTHON][CONECTAR] Corrigir a representação de cadeia de caracteres da função lambda
  • [FAÍSCA-48622] [SC-168710][SQL] obtenha SQLConf uma vez ao resolver nomes de colunas
  • [FAÍSCA-48594] [SC-168685][PYTHON][CONECTAR] Renomear parent campo para child in ColumnAlias
  • [FAÍSCA-48403] [SC-168319][SQL] Corrigir expressões Inferior ou Superior para agrupamentos de UTF8_BINARY_LCASE & UTI
  • [FAÍSCA-48162] [SC-166062][SQL] Adicionar suporte de agrupamento para expressões MISC
  • [FAÍSCA-48518] [SC-167718][CORE] Faça com que a compressão LZF possa ser executada em paralelo
  • [FAÍSCA-48474] [SC-167447][CORE] Corrigir o nome da classe do login SparkSubmitArguments & SparkSubmit
  • [FAÍSCA-48012] [SC-168267][SQL] SPJ: Suporte a expressões Transfrom para embaralhamento de um lado
  • [FAÍSCA-48552] [SC-168212]A inferência de esquema CSV de várias linhas [SQL] também deve gerar FAILED_READ_FILE
  • [FAÍSCA-48560] [SC-168268][SS][PYTHON] Tornar o StreamingQueryListener.spark configurável
  • [FAÍSCA-48569] [SC-168321][SS][CONECTAR] Lidar com casos de borda em query.name
  • [FAÍSCA-47260] [SC-167323][SQL] Atribuir nome à classe de erro _LEGACY_ERROR_TEMP_3250
  • [FAÍSCA-48564] [SC-168327][PYTHON][CONECTAR] Propagar esquema armazenado em cache em operações definidas
  • [FAÍSCA-48155] [SC-165910][SQL] AQEPropagateEmptyRelation para join deve verificar se permanecer filho é apenas BroadcastQueryStageExec
  • [FAÍSCA-48506] [SC-167720][CORE] Os nomes curtos do codec de compressão não diferenciam maiúsculas de minúsculas, exceto para o registo de eventos
  • [FAÍSCA-48447] [SC-167607][SS] Verifique a classe do provedor de armazenamento de estado antes de invocar o construtor
  • [FAÍSCA-47977] [SC-167650] DateTimeUtils.timestampDiff e DateTimeUtils.timestampAdd não devem lançar INTERNAL_ERROR exceção
  • [FAÍSCA-48513] [Backport][15.x][SC-168085][SS] Adicionar classe de erro para compatibilidade de esquema de estado e refatoração secundária
  • [FAÍSCA-48413] [SC-167669][SQL] COLUNA ALTER com agrupamento
  • [FAÍSCA-48561] [SC-168250][PS][CONECTAR] Lançar PandasNotImplementedError para funções de plotagem sem suporte
  • [FAÍSCA-48465] [SC-167531][SQL] Evite a propagação de relações vazias no-op
  • [FAÍSCA-48553] [SC-168166][PYTHON][CONECTAR] Armazenar em cache mais propriedades
  • [FAÍSCA-48540] [SC-168069][CORE] Evite as configurações de carregamento de saída de hera para stdout
  • [FAÍSCA-48535] [SC-168057][SS] Atualize os documentos de configuração para indicar a possibilidade de perda de dados/problema de corrupção se ignorar nulos para stream-stream joins config estiver ativado
  • [FAÍSCA-48536] [SC-168059][PYTHON][CONECTAR] Esquema especificado pelo usuário em cache em applyInPandas e applyInArrow
  • [FAÍSCA-47873] [SC-163473][SQL] Gravar cadeias de caracteres agrupadas no metastore do Hive usando o tipo de cadeia de caracteres regular
  • [FAÍSCA-48461] [SC-167442][SQL] Substitua NullPointerExceptions pela classe de erro na expressão AssertNotNull
  • [FAÍSCA-47833] [SC-163191][SQL][CORE] Forneça pilhas de chamadorestrace para checkAndGlobPathIfNecessary AnalysisException
  • [FAÍSCA-47898] [SC-163146][SQL] Porta HIVE-12270: Adicionar suporte DBTokenStore ao token de delegação HS2
  • [FAÍSCA-47578] [SC-167497][R] Migrar RPackageUtils com variáveis para a estrutura de log estruturada
  • [FAÍSCA-47875] [SC-162935][CORE] Remover spark.deploy.recoverySerializer
  • [FAÍSCA-47552] [SC-160880][CORE] Definido spark.hadoop.fs.s3a.connection.establish.timeout como 30s se faltar
  • [FAÍSCA-47972] [SC-167692][SQL] Restringir expressão CAST para agrupamentos
  • [FAÍSCA-48430] [SC-167489][SQL] Corrigir a extração do valor do mapa quando o mapa contém cadeias de caracteres agrupadas
  • [FAÍSCA-47318] [SC-162712][CORE][3.5] Adiciona a rodada HKDF à derivação de chave AuthEngine para seguir as práticas KEX padrão
  • [FAÍSCA-48503] [BEHAVE-29][ES-1135236][SQL] Corrigir subconsultas escalares inválidas com group-by em colunas não equivalentes que foram permitidas incorretamente
  • [FAÍSCA-48508] [SC-167695][CONECTAR][PYTHON] Armazenar em cache o esquema especificado pelo usuário em DataFrame.{to, mapInPandas, mapInArrow}
  • [FAÍSCA-23015] [SC-167188][JANELAS] Corrigir bug no Windows em que iniciar várias instâncias do Spark no mesmo segundo causa uma falha
  • [FAÍSCA-45891] [SC-167608]Reverter " Descrever esquema de destruição para variante"
  • [FAÍSCA-48391] [SC-167554][CORE]Usando addAll em vez de adicionar função no método fromAccumulatorInfos da classe TaskMetrics
  • [FAÍSCA-48496] [SC-167600][CORE] Usar instâncias de padrão regex estático em JavaUtils.timeStringAs e JavaUtils.byteStringAs
  • [FAÍSCA-48476] [SC-167488][SQL] corrigir mensagem de erro NPE para null delmiter csv
  • [FAÍSCA-48489] [SC-167598][SQL] Lançar um erro melhor voltado para o usuário ao ler o esquema ilegal da fonte de dados de texto
  • [FAÍSCA-48471] [SC-167324][CORE] Melhorar a documentação e o guia de uso do servidor de histórico
  • [FAÍSCA-45891] [SC-167597] Descrever o esquema de destruição para Variant
  • [FAÍSCA-47333] [SC-159043][SQL] Use checkInputDataTypes para verificar os tipos de parâmetros da função to_xml
  • [FAÍSCA-47387] [SC-159310][SQL] Remover algumas classes de erro não utilizadas
  • [FAÍSCA-48265] [ES-1131440][SQL] Infer que o lote limite do grupo de janelas deve fazer dobragem constante
  • [FAÍSCA-47716] [SC-167444][SQL] Evitar conflito de nome de exibição no caso de teste de classificação semântica SQLQueryTestSuite
  • [FAÍSCA-48159] [SC-167141][SQL] Estendendo o suporte para cadeias de caracteres agrupadas em expressões de data/hora
  • [FAÍSCA-48462] [SC-167271][SQL][Testes] Use withSQLConf em testes: Refactor HiveQuerySuite e HiveTableScanSuite
  • [FAÍSCA-48392] [SC-167195][CORE] Carregue spark-defaults.conf também quando fornecido --properties-file
  • [FAÍSCA-48468] [SC-167417] Adicionar interface LogicalQueryStage no catalyst
  • [FAÍSCA-47578] [SC-164988][CORE] Backport manual para o Spark PR #46309: Migrar logWarning com variáveis para a estrutura de log estruturada
  • [FAÍSCA-48415] [SC-167321]Reverter "[PYTHON] Refactor TypeName para suportar tipos de dados parametrizados"
  • [FAÍSCA-46544] [SC-151361][SQL] Suporte v2 DESCREVER TABELA ESTENDIDA com estatísticas de tabela
  • [FAÍSCA-48325] [SC-166963][CORE] Sempre especifique mensagens em ExecutorRunner.killProcess
  • [FAÍSCA-46841] [SC-167139][SQL] Adicionar suporte de agrupamento para localidades de UTI e especificadores de agrupamento
  • [FAÍSCA-47221] [SC-157870][SQL] Usa assinaturas de CsvParser para AbstractParser
  • [FAÍSCA-47246] [SC-158138][SQL] Substitua InternalRow.fromSeq por new GenericInternalRow para salvar uma conversão de coleção
  • [FAÍSCA-47597] [SC-163932][STREAMING] Backport manual para o Spark PR #46192: Streaming: Migrar logInfo com variáveis para a estrutura de log estruturada
  • [FAÍSCA-48415] [SC-167130][PYTHON] Refatorar TypeName para suportar tipos de dados parametrizados
  • [FAÍSCA-48434] [SC-167132][PYTHON][CONECTAR] Faça printSchema uso do esquema armazenado em cache
  • [FAÍSCA-48432] [ES-1097114][SQL] Evite unboxing inteiros no UnivocityParser
  • [FAÍSCA-47463] [SC-162840][SQL] Use V2Predicate para envolver a expressão com o tipo de retorno de booleano
  • [FAÍSCA-47781] [SC-162293][SQL] Manipular decimais de escala negativa para fontes de dados JDBC
  • [FAÍSCA-48394] [SC-166966][CORE] Limpar mapIdToMapIndex em mapoutput cancelar registro
  • [FAÍSCA-47072] [SC-156933][SQL] Corrigir formatos de intervalo suportados em mensagens de erro
  • [FAÍSCA-47001] [SC-162487][SQL] Verificação de pushdown no otimizador
  • [FAÍSCA-48335] [SC-166387][PYTHON][CONECTAR] Torne _parse_datatype_string compatível com o Spark Connect
  • [FAÍSCA-48329] [SC-166518][SQL] Ativar spark.sql.sources.v2.bucketing.pushPartValues.enabled por padrão
  • [FAÍSCA-48412] [SC-166898][PYTHON] Refatorar tipo de dados json parse
  • [FAÍSCA-48215] [SC-166781][SQL] Estendendo o suporte para cadeias de caracteres agrupadas em date_format expressão
  • [FAÍSCA-45009] [SC-166873][SQL][ACOMPANHE] Adicionar classe de erro e testes para descorrelação de subconsultas de predicados na condição de junção que fazem referência a ambos filho de junção
  • [FAÍSCA-47960] [SC-165295][SS][15.x] Permitir o encadeamento de outros operadores com estado após o operador transformWithState.
  • [FAÍSCA-48340] [SC-166468][PYTHON] Suporte TimestampNTZ infer schema miss prefer_timestamp_ntz
  • [FAÍSCA-48157] [SC-165902][SQL] Adicionar suporte de agrupamento para expressões CSV
  • [FAÍSCA-48158] [SC-165652][SQL] Adicionar suporte de agrupamento para expressões XML
  • [FAÍSCA-48160] [SC-166064][SQL] Adicionar suporte de agrupamento para expressões XPATH
  • [FAÍSCA-48229] [SC-165901][SQL] Adicionar suporte de agrupamento para expressões inputFile
  • [FAÍSCA-48367] [SC-166487][CONECTAR] Corrigir lint-scala para scalafmt para detetar arquivos para formatar corretamente
  • [FAÍSCA-47858] [SC-163095][FAÍSCA-47852][PYTHON][SQL] Refatoração da estrutura para o contexto de erro do DataFrame
  • [FAÍSCA-48370] [SC-166787][CONECTAR] Ponto de verificação e localCheckpoint no cliente Scala Spark Connect
  • [FAÍSCA-48247] [SC-166028][PYTHON] Use todos os valores em um ditado ao inferir o esquema MapType
  • [FAÍSCA-48395] [SC-166794][PYTHON] Correção StructType.treeString para tipos parametrizados
  • [FAÍSCA-48393] [SC-166784][PYTHON] Mover um grupo de constantes para pyspark.util
  • [FAÍSCA-48372] [SC-166776][FAÍSCA-45716][PYTHON] Implementar StructType.treeString
  • [FAÍSCA-48258] [SC-166467][PYTHON][CONECTAR] Checkpoint e localCheckpoint no Spark Connect

Consulte Atualizações de manutenção do Databricks Runtime 15.4 LTS.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Escala: 2.12.18
  • Píton: 3.11.0
  • R: 4.3.2
  • Lago Delta: 3.2.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AstTokens 2.0.5 Astunparse 1.6.3 azure-core 1.30.2
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 Backcall 0.2.0
preto 23.3.0 pisca-pisca 1.4 boto3 1.34.39
botocore 1.34.39 Ferramentas de cache 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 Normalizador de Charset 2.0.4
clicar 8.0.4 Cloudpickle 2.2.1 Comm 0.1.2
contorno 1.0.5 criptografia 41.0.3 cycler 0.11.0
Quisto 0.29.32 Databricks-SDK 0.20.0 dbus-python 1.2.18
depuração 1.6.7 decorador 5.1.1 Distlib 0.3.8
pontos de entrada 0.4 execução 0.8.3 facetas-visão geral 1.1.1
filelock 3.13.4 Fonttools 4.25.0 GitDB 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 Google-Auth 2.31.0
google-nuvem-core 2.4.1 google-nuvem-armazenamento 2.17.0 Google-CRC32C 1.5.0
google-retomable-media 2.7.1 googleapis-comuns-protos 1.63.2 Grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadados 6.0.0 ipyflow-núcleo 0.0.198 Ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Isodato 0.6.1 Jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 Joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 porta-chaves 23.5.0 Kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-em linha 0.1.6 mlflow-magro 2.11.4
mais-itertools 8.10.0 mypy-extensões 0.4.3 Ninho-Asyncio 1.5.6
numpy 1.23.5 OAuthlib 3.2.0 embalagem 23.2
pandas 1.5.3 Parso 0.8.3 PathSpec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Travesseiro 9.4.0 pip 23.2.1 plataformadirs 3.10.0
enredo 5.9.0 prompt-toolkit 3.0.36 Proto-Plus 1.24.0
protobuf 4.24.1 PSUTIL 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 puro-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-módulos 0.2.8 Pyccolo 0.0.52
pycparser 2.21 Pidântico 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 Pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6,0 Pyzmq 23.2.0
pedidos 2.31.0 RSA 4,9 s3transferir 0.10.2
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
Armazenamento Secreto 3.3.1 setuptools 68.0.0 seis 1.16.0
smmap 5.0.1 SQLPARSE 0.5.0 ssh-import-id 5.11
dados de pilha 0.2.0 statsmodels 0.14.0 tenacidade 8.2.2
ThreadPoolCtl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traços 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
Ujson 5.4.0 Upgrades autônomos 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 largura de wc 0.2.5
roda 0.38.4 zipp | 3.11.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 14.0.0.2 AskPass 1.2.0 asserçãoat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 arranque 1.3-28
brew 1.0-10 Brio 1.1.4 vassoura 1.0.5
BSLIB 0.6.1 cachem 1.0.8 Chamador 3.7.3
acento circunflexo 6.0-94 Cellranger 1.1.0 crono 2.3-61
classe 7.3-22 cli 3.6.2 Clipr 0.8.0
relógio 0.7.0 cluster 2.1.4 codetools 0.2-19
espaço em cores 2.1-0 marca comum 1.9.1 compilador 4.3.2
configuração 0.3.2 conflituosos 1.2.0 CPP11 0.4.7
lápis de cor 1.5.2 credenciais 2.0.1 curl 5.2.0
data.table 1.15.0 conjuntos de dados 4.3.2 DBI 1.2.1
DBPlyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 resumo 0.6.34
Iluminação reduzida 0.4.3 dplyr 1.1.4 DTPlyr 1.3.1
E1071 1.7-14 reticências 0.3.2 evaluate 0.23
Fãsi 1.0.6 Farver 2.1.1 mapa rápido 1.1.1
fontawesome 0.5.2 FORCATS 1.0.0 foreach 1.5.2
externa 0.8-85 forjar 0.2.0 FS 1.6.3
Futuro 1.33.1 future.apply 1.11.1 gargarejo 1.5.2
Genéricos 0.1.3 Gert 2.0.1 ggplot2 3.4.4
GH 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 Globais 0.16.2 colar 1.7.0
GoogleDrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
gráficos 4.3.2 grDevices 4.3.2 grelha 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 capacete 1.3.1 Refúgio 2.5.4
mais alto 0.10 HMS 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
HTTR2 1.0.0 IDs 1.0.1 ini 0.3.1
ipred 0.9-14 Isoband 0.2.7 iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 suco suculento 0.1.0
KernSmooth 2.23-21 Knitr 1.45 etiquetagem 0.4.3
mais tarde 1.3.2 lattice 0.21-8 lava 1.7.3
ciclo de vida 1.0.4 ouvirv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Marcação 1.12 MASSA 7.3-60
Matriz 1.5-4.1 memoise 2.0.1 métodos 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
Mlflow 2.10.0 ModelMetrics 1.2.2.2 Modelador 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 paralelo 4.3.2
Paralelamente 1.36.0 pilar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 elogiar 1.0.0
unidades bonitas 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 Profvis 0.3.8 Progresso 1.2.3
progressor 0.14.0 promessas 1.2.1 proto 1.0.0
procuração 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 RAGG 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactável 0.4.4
reactR 0.5.0 Leitor 2.1.5 ReadXL 1.4.3
receitas 1.0.9 revanche 2.0.0 revanche2 2.1.2
Controles remotos 2.4.2.1 Reprex 2.1.0 remodelar2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversões 2.1.2 Rvest 1.0.3 Sass 0.4.8
escalas 1.3.0 seletor 0.4-2 sessioninfo 1.2.2
forma 1.4.6 brilhante 1.8.0 ferramentas de origem 0.1.7-1
sparklyr 1.8.4 espacial 7.3-15 splines 4.3.2
sqldf 0.4-11 QUADRADO 2021.1 estatísticas 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
sobrevivência 3.5-5 swagger 3.33.1 sys 3.4.2
fontes do sistema 1.0.5 tcltk 4.3.2 testeatat 3.2.1
formatação de texto 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 Tidyverse 2.0.0 mudança de hora 0.3.0
timeDate 4032.109 Tinytex 0.49 ferramentas 4.3.2
TZDB 0.4.0 urlchecker 1.0.1 usethis 2.2.2
UTF8 1.2.4 utilitários 4.3.2 uuid 1.2-0
V8 4.4.1 VCTRS 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
Zeallot 0.1.0 zip 2.3.1

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Nativos
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-Nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Nativos
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-Nativos
com.github.luben ZSTD-JNI 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger criador de perfil 1.1.1
com.ibm.icu ICU4J 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind JAXB-CORE 2.2.11
com.sun.xml.bind JAXB-IMPL 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.4.3
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib Lapack | 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.25
IO.Delta delta-compartilhamento-client_2.12 1.1.1
io.dropwizard.metrics métricas-anotação 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics métricas-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-meias 4.1.96.Final
io.netty netty-comum 4.1.96.Final
io.netty netty-manipulador 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Janelas finais x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty transporte de rede 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-nativo-unix-comum 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna JNA 5.8.0
net.razorvine picles 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow formato de seta 15.0.0
org.apache.arrow seta-memória-núcleo 15.0.0
org.apache.arrow seta-memória-netty 15.0.0
org.apache.arrow vetor de seta 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapeado 1.11.3
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator curador-framework 2.13.0
org.apache.curator curador-receitas 2.13.0
org.apache.datasketches Datasketches-Java 3.1.0
org.apache.datasketches datasketches-memória 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-modelo-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-núcleo 1.9.2-protobuf sombreado
org.apache.orc orc-mapreduce 1.9.2-protobuf sombreado
org.apache.orc Orc-calços 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-sombreado 4.23
org.apache.yetus anotações de audiência 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework verificador-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-coleções 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty cais-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket API WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-cliente 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-Comum 9.4.52.v20230823
org.eclipse.jetty.websocket servidor websocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core servidor de jersey 2.40
org.glassfish.jersey.inject Jersey-HK2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.8.0
org.mlflow mlflow-spark_2,12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap calços 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.15
org.scala-lang Escala-library_2.12 2.12.15
org.scala-lang Escala-reflect_2,12 2.12.15
org.scala-lang.modules scala-coleção-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp Brisa-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j SLF4J-Simples 1.7.25
org.threeten trêsdez-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1