Partilhar via

Tempo de execução do Databricks 15.3 (EoS)

  • Artigo

Observação

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte notas de lançamento para versões e compatibilidade do Databricks Runtime.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 15.3, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em junho de 2024.

Dica

Para ver as notas de versão das versões do Databricks Runtime que atingiram o fim do suporte (EoS), consulte Notas de versão do End-of-support Databricks Runtime. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.

Novos recursos e melhorias

PySpark DataSources agora suporta leitura e gravação de fluxo

O PySpark DataSources, que permite a leitura de fontes de dados personalizadas e a gravação em coletores de dados personalizados, agora suporta leitura e gravação de fluxo. Consulte fontes de dados personalizadas do PySpark.

Desativar o mapeamento de colunas com a funcionalidade de eliminação

Agora você pode usar DROP FEATURE para desabilitar o mapeamento de colunas em tabelas Delta e fazer downgrade do protocolo de tabela. Consulte Desativar o mapeamento de colunas.

Sintaxe e funções de tipo de variante na Pré-visualização Pública

O suporte nativo do Apache Spark para trabalhar com dados semiestruturados como VARIANT tipo agora está disponível no Spark DataFrames e SQL. Consulte Dados da variante de consulta.

Suporte de tipo de variante para Delta Lake na pré-visualização pública

Agora você pode usar VARIANT para armazenar dados semiestruturados em tabelas apoiadas pelo Delta Lake. Veja Suporte a variantes no Delta Lake.

Suporte para diferentes modos de evolução de esquema em visualizações

CREATE VIEW e ALTER VIEW agora permite definir um modo de vinculação de esquema, aprimorando como as exibições lidam com alterações de esquema em objetos subjacentes. Esse recurso permite que as exibições tolerem ou se adaptem a alterações de esquema nos objetos subjacentes. Ele aborda as alterações no esquema de consulta resultantes de modificações nas definições de objeto.

Suporte para métodos observe() adicionados ao cliente Spark Connect Scala

O cliente Spark Connect Scala agora suporta os métodos Dataset.observe(). O suporte para esses métodos permite definir métricas para observar em um objeto Dataset usando os métodos ds.observe("name", metrics...) ou ds.observe(observationObject, metrics...).

Latência de reinicialização de fluxo melhorada para o Auto Loader

Esta versão inclui uma alteração que melhora a latência de reinicialização do fluxo para o Auto Loader. A melhoria é implementada ao tornar assíncrono o carregamento do estado pelo armazenamento de estado RocksDB. Com essa mudança, você verá uma melhoria nos tempos de início para fluxos com estados grandes, por exemplo, fluxos com um grande número de arquivos já ingeridos.

Retornar um DataFrame como um pyarrow.Table

Para suportar a gravação de um DataFrame diretamente num objeto pyarrow.Table do Apache Arrow, esta versão inclui a função DataFrame.toArrow(). Para saber mais sobre como usar a Seta no PySpark, consulte Seta Apache no PySpark.

Melhoria de desempenho para algumas funções de janela

Esta versão inclui uma alteração que melhora o desempenho de algumas funções da janela do Spark, especificamente funções que não incluem uma cláusula ORDER BY ou um parâmetro window_frame. Nesses casos, o sistema pode reescrever a consulta para executá-la usando uma função agregada. Essa alteração permite que a consulta seja executada mais rapidamente usando agregação parcial e evitando a sobrecarga de funções de janela em execução. O parâmetro de configuração do Spark spark.databricks.optimizer.replaceWindowsWithAggregates.enabled controla essa otimização e é definido como true por padrão. Para desativar essa otimização, defina spark.databricks.optimizer.replaceWindowsWithAggregates.enabled como false.

Foi adicionado suporte para a função try_mod

Esta versão adiciona suporte para a função PySpark try_mod(). Esta função suporta o cálculo compatível com ANSI SQL do restante inteiro da divisão de dois valores numéricos. Se o argumento divisor for 0, a função try_mod() retornará null em vez de lançar uma exceção. Você pode usar a função try_mod() em vez de mod ou %, que lançam uma exceção se o argumento divisor for 0 e ANSI SQL estiver habilitado.

Suporte para um parâmetro de escopo opcional no list_secrets()

Esta versão permite limitar os resultados da função de tabela list_secrets() a um escopo específico.

Correções de bugs

WriteIntoDeltaCommand métricas agora são exibidas corretamente na interface de utilizador do Spark

Esta versão inclui uma correção para as métricas exibidas na guia SQL da interface do usuário do Spark para o nó Execute WriteIntoDeltaCommand. Anteriormente, as métricas mostradas para este nó eram todas zero.

A função groupby() na API Pandas ignorou o argumento as_index=False

Esta versão inclui uma correção para um problema com a função groupby() na API Pandas no Spark. Antes desta correção, um groupby() com renomeação de colunas agregadas e o argumento as_index=False não incluía as chaves de grupo no DataFrame resultante.

Erro de análise com múltiplas funções de janelas que referenciam as saídas de outras funções

Esta versão corrige um problema que pode ocorrer quando uma consulta do Spark tem várias funções de janela consecutivas, em que as funções de janela fazem referência à saída das outras funções de janela. Em casos raros, o sistema pode descartar uma das referências, levando a erros na avaliação da consulta. Essa correção projeta essas referências para garantir a avaliação da consulta. Essa alteração é controlada pelo parâmetro de configuração do Spark spark.databricks.optimizer.collapseWindows.projectReferences, que é definido como true por padrão. Para desativar essa alteração, defina spark.databricks.optimizer.collapseWindows.projectReferences como false.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • filelock de 3.13.1 a 3.13.4
  • Bibliotecas R atualizadas:
  • Bibliotecas Java atualizadas:
    • org.rocksdb.rocksdbjni de 8.3.2 a 8.11.4

Apache Spark

O Databricks Runtime 15.3 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [SPARK-48211] [DBRRM-1041][15.x][15.3] Reverter "[SC-165552][SQL] DB2: Leia SMALLINT como Sho...
  • [SPARK-47904] [DBRRM-1040][BEHAVE-33][SC-163409] Reverter SPARK-47904: Manter a distinção entre maiúsculas e minúsculas no esquema Avro ao usar enableStableIdentifiersForUnionType
  • [SPARK-48288] [SC-166141] Adicionar tipo de dados de origem para expressão de transmissão de conector
  • [SPARK-48175] [SC-166341][SQL][PYTHON] Armazene informações de agrupamento em metadados e não no tipo para SER/DE
  • [SPARK-48172] [SC-166078][SQL] Corrigir problemas de escape no JDBCDialects
  • [SPARK-48186] [SC-165544][SQL] Adicionar suporte para AbstractMapType
  • [SPARK-48031] [SC-166523] Vistas do legado do avô para SCHEMA ENCADERNAÇÃO
  • [SPARK-48369] [SC-166566][SQL][PYTHON][CONNECT] Adicionar função timestamp_add
  • [SPARK-48330] [SC-166458][SS][PYTHON] Corrija o problema de tempo limite da fonte de dados de streaming python para um intervalo de gatilho grande
  • [SPARK-48369] Reverter "[SC-166494][SQL][PYTHON][CONNECT] Adicionar função timestamp_add"
  • [SPARK-48336] [SC-166495][PS][CONNECT] Implementar ps.sql no Spark Connect
  • [SPARK-48369] [SC-166494][SQL][PYTHON][CONNECT] Adicionar função timestamp_add
  • [SPARK-47354] [SC-165546][SQL] Adicionar suporte de agrupamento para expressões variantes
  • [SPARK-48161] [SC-165325][SQL] Corrigir PR revertido - Adicionar suporte de agrupamento para expressões JSON
  • [SPARK-48031] [SC-166391] Decompor configuração viewSchemaMode, adicionar suporte SHOW CREATE TABLE
  • [SPARK-48268] [SC-166217][CORE] Adicionar uma configuração para SparkContext.setCheckpointDir
  • [SPARK-48312] [ES-1076198][SQL] Melhorar o desempenho de Alias.removeNonInheritableMetadata
  • [SPARK-48294] [SC-166205][SQL] Manipular minúsculas em nestedTypeMissingElementTypeError
  • [SPARK-47254] [SC-158847][SQL] Atribuir nomes às classes de erro _LEGACY_ERROR_TEMP_325[1-9]
  • [SPARK-47255] [SC-158749][SQL] Atribuir nomes às classes de erro _LEGACY_ERROR_TEMP_323[6-7] e _LEGACY_ERROR_TEMP_324[7-9]
  • [SPARK-48310] [SC-166239][PYTHON][CONNECT] As propriedades armazenadas em cache devem retornar cópias
  • [SPARK-48308] [SC-166152][Core] Unifique a obtenção de esquema de dados sem colunas de partição no FileSourceStrategy
  • [SPARK-48301] [SC-166143][SQL] Renomear CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE para CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
  • [SPARK-48287] [SC-166139][PS][CONNECT] Aplicar o método timestamp_diff interno
  • [SPARK-47607] [SC-166129] Adicionar documentação para a estrutura de log estruturado
  • [SPARK-48297] [SC-166136][SQL] Corrigir uma cláusula TRANSFORM de regressão com char/varchar
  • [SPARK-47045] [SC-156808][SQL] Substitua IllegalArgumentException por SparkIllegalArgumentException no sql/api
  • [SPARK-46991] [SC-156399][SQL] Substituir IllegalArgumentException por SparkIllegalArgumentException no catalyst
  • [SPARK-48031] [SC-165805][SQL] Evolução do esquema de visualização de suporte
  • [SPARK-48276] [SC-166116][PYTHON][CONNECT] Adicione o método __repr__ ausente para SQLExpression
  • [SPARK-48278] [SC-166071][PYTHON][CONNECT] Refinar a representação de cadeia de caracteres de Cast
  • [SPARK-48272] [SC-166069][SQL][PYTHON][CONNECT] Adicionar função timestamp_diff
  • [SPARK-47798] [SC-162492][SQL] Enriqueça a mensagem de erro para as falhas de leitura de valores decimais
  • [SPARK-47158] [SC-158078][SQL] Atribua nome próprio e sqlState a _LEGACY_ERROR_TEMP_(2134|2231)
  • [SPARK-48218] [SC-166082][CORE] TransportClientFactory.createClient pode causar NPE FetchFailedException
  • [SPARK-48277] [SC-166066] Melhorar mensagem de erro para ErrorClassesJsonReader.getErrorMessage
  • [SPARK-47545] [SC-165444][CONNECT] Conjunto de dados observe suporte para o cliente Scala
  • [SPARK-48954] [SC-171672][SQL] Adicionar função try_mod
  • [SPARK-43258] [SC-158151][SQL] Atribuir nomes ao erro _LEGACY_ERROR_TEMP_202[3,5]
  • [SPARK-48267] [SC-165903][SS] Teste de regressão e2e com SPARK-47305
  • [SPARK-48263] [SC-165925] Suporte para a função de colação para cadeias de caracteres não UTF8_BINARY
  • [SPARK-48260] [SC-165883][SQL] Desabilitar a coordenação do committer de saída em um teste de ParquetIOSuite
  • [SPARK-47834] [SC-165645][SQL][CONNECT] Marcar funções preteridas com @deprecated no SQLImplicits
  • [SPARK-48011] [SC-164061][Core] Armazene o nome LogKey como um valor para evitar a geração de novas instâncias de cadeia de caracteres
  • [SPARK-48074] [SC-164647][Core] Melhorar a legibilidade dos logs JSON
  • [SPARK-44953] [SC-165866][CORE] Registre um aviso quando o rastreamento de shuffle estiver ativado junto com outro mecanismo suportado por DA
  • [SPARK-48266] [SC-165897][CONNECT] Mover o objeto do pacote org.apache.spark.sql.connect.dsl para o diretório de teste
  • [SPARK-47847] [SC-165651][CORE] Obsoletar spark.network.remoteReadNioBufferConversion
  • [SPARK-48171] [SC-165178][CORE] Limpar o uso de construtores obsoletos de o.rocksdb.Logger
  • [SPARK-48235] [SC-165669][SQL] Passe diretamente o join em vez de todos os argumentos para getBroadcastBuildSide e getShuffleHashJoinBuildSide
  • [SPARK-48224] [SC-165648][SQL] Não permitir que as chaves de mapa sejam do tipo variante
  • [SPARK-48248] [SC-165791][PYTHON] Corrigir a matriz aninhada para respeitar a configuração legada de inferArrayTypeFromFirstElement
  • [SPARK-47409] [SC-165568][SQL] Adicionar suporte para agrupamento para funções/expressões do tipo StringTrim (para UTF8_BINARY & LCASE)
  • [SPARK-48143] [ES-1095638][SQL] Use exceções leves para fluxo de controle entre UnivocityParser e FailureSafeParser
  • [SPARK-48146] [SC-165668][SQL] Corrigir a função de agregação na cláusula WITH da asserção de filho
  • [SPARK-48161] Reverter "[SC-165325][SQL] Adicionar suporte de agrupamento para expressões JSON"
  • [SPARK-47963] [CORE] Faça com que o ecossistema externo do Spark possa usar mecanismos de registro estruturados
  • [SPARK-48180] [SC-165632][SQL] Melhorar o erro quando a chamada UDTF com TABLE arg esquece parênteses em torno de vários PARTITION/ORDER BY exprs
  • [SPARK-48002] [SC-164132][PYTHON][SS] Adicionar teste para métricas observadas no PySpark StreamingQueryListener
  • [SPARK-47421] [SC-165548][SQL] Adicionar suporte de agrupamento para expressões de URL
  • [SPARK-48161] [SC-165325][SQL] Adicionar suporte de agrupamento para expressões JSON
  • [SPARK-47359] [SC-164328][SQL] Suporte a função TRANSLATE para trabalhar com strings agrupadas
  • [SPARK-47365] [SC-165643][PYTHON] Adicionar método DataFrame toArrow() ao PySpark
  • [SPARK-48228] [SC-165649][PYTHON][CONNECT] Implementar a validação de função ausente em ApplyInXXX
  • [SPARK-47986] [SC-165549][CONNECT][PYTHON] Não é possível criar uma nova sessão quando a sessão padrão é fechada pelo servidor
  • [SPARK-47963] Reverter "[CORE] Faça com que o ecossistema externo do Spark possa usar mecanismos de registro estruturados "
  • [SPARK-47963] [CORE] Faça com que o ecossistema externo do Spark possa usar mecanismos de registro estruturados
  • [SPARK-48208] [SC-165547][SS] Ignorar o fornecimento de métricas de uso de memória do RocksDB se o uso de memória limitada estiver habilitado
  • [SPARK-47566] [SC-164314][SQL] Suporta a função SubstringIndex para trabalhar com cadeias de caracteres agrupadas
  • [SPARK-47589] [SC-162127][SQL]Hive-Thriftserver: Migrar logError com variáveis para a estrutura de registo estruturada
  • [SPARK-48205] [SC-165501][PYTHON] Remova o modificador private[sql] para fontes de dados Python
  • [SPARK-48173] [SC-165181][SQL] CheckAnalysis deve ver todo o plano de consulta
  • [SPARK-48197] [SC-165520][SQL] Evite erro de declaração para função lambda inválida
  • [SPARK-47318] [SC-162573][CORE] Adiciona rodada HKDF à derivação de chave AuthEngine para seguir as práticas padrão do KEX
  • [SPARK-48184] [SC-165335][PYTHON][CONNECT] Sempre configure a semente de Dataframe.sample no lado do cliente
  • [SPARK-48128] [SC-165004][SQL] Para a expressão BitwiseCount / bit_count, corrija o erro de sintaxe codegen para entradas de tipo booleano
  • [SPARK-48147] [SC-165144][SS][CONNECT] Remover ouvintes do cliente quando a sessão local do Spark for eliminada
  • [SPARK-48045] [SC-165299][PYTHON] Pandas API groupby com multi-agg-relabel ignora as_index=False
  • [SPARK-48191] [SC-165323][SQL] Suporte UTF-32 para codificação e decodificação de cadeia de caracteres
  • [SPARK-45352] [SC-137627][SQL] Elimine partições de janela dobráveis
  • [SPARK-47297] [SC-165179][SQL] Adicionar suporte de agrupamento para expressões de formato
  • [SPARK-47267] [SC-165170][SQL] Adicionar suporte de agrupamento para expressões de hash
  • [SPARK-47965] [SC-163822][CORE] Evite orNull em TypedConfigBuilder e OptionalConfigEntry
  • [SPARK-48166] [SQL] Evite usar BadRecordException como erro voltado para o usuário em VariantExpressionEvalUtils
  • [SPARK-48105] [SC-165132][SS] Corrigir a condição de corrida entre o descarregamento do armazenamento de estado e o snapshot
  • [SPARK-47922] [SC-163997][SQL] Implementar a expressão try_parse_json
  • [SPARK-47719] [SC-161909][SQL] Alterar spark.sql.legacy.timeParse...
  • [SPARK-48035] [SC-165136][SQL] Corrigir try_add/try_multiply sendo semanticamente igual a add/multiply
  • [SPARK-48107] [SC-164878][PYTHON] Excluir testes da distribuição Python
  • [SPARK-46894] [SC-164447][PYTHON] Mover condições de erro do PySpark para um arquivo JSON autônomo
  • [SPARK-47583] [SC-163825][CORE] SQL core: Migrar logError com variáveis para a estrutura de log estruturada
  • [SPARK-48064] Reverter “[SC-164697][SQL] Atualizar mensagens de erro para classes de erro relacionadas com a rotina”
  • [SPARK-48048] [SC-164846][CONNECT][SS] Adicionado suporte de ouvinte do lado do cliente para Scala
  • [SPARK-48064] [SC-164697][SQL] Atualizar mensagens de erro para classes de erro relacionadas com rotinas
  • [SPARK-48056] [SC-164715][CONNECT][PYTHON] Execute novamente o plano se um erro de SESSION_NOT_FOUND for gerado e nenhuma resposta parcial for recebida
  • [SPARK-48124] [SC-165009][CORE] Desabilitar o log estruturado para Connect-Repl por padrão
  • [SPARK-47922] Reverter "[SC-163997][SQL] Implementar a expressão try_parse_json"
  • [SPARK-48065] [SC-164817][SQL] SPJ: allowJoinKeysSubsetOfPartitionKeys é muito rigoroso
  • [SPARK-48114] [SC-164956][CORE] Pré-compile o modelo regex para evitar trabalho desnecessário
  • [SPARK-48067] [SC-164773][SQL] Corrigir colunas padrão da variante
  • [SPARK-47922] [SC-163997][SQL] Implementar a expressão try_parse_json
  • [SPARK-48075] [SC-164709] [SS] Adicionar verificação de tipos para funções Avro do PySpark
  • [SPARK-47793] [SC-164324][SS][PYTHON] Implementar SimpleDataSourceStreamReader para fonte de dados de streaming python
  • [SPARK-48081] [SC-164719] Corrigir ClassCastException em NTile.checkInputDataTypes() quando o argumento não é dobrável ou de tipo errado
  • [SPARK-48102] [SC-164853][SS] Acompanhe a duração da aquisição de métricas de origem/coletor enquanto relata o progresso da consulta de streaming
  • [SPARK-47671] [SC-164854][Core] Habilitar o log estruturado em log4j2.properties.template e atualizar documentos
  • [SPARK-47904] [SC-163409][SQL] Preservar maiúsculas e minúsculas no esquema Avro ao usar enableStableIdentifiersForUnionType
  • [SPARK-48058] [SC-164695][SPARK-43727][PYTHON][CONNECT] UserDefinedFunction.returnType analisar a string DDL
  • [SPARK-46922] [SC-156102][CORE][SQL] Não encapsular erros de tempo de execução voltados para o usuário
  • [SPARK-48047] [SC-164576][SQL] Reduzir a pressão de memória das etiquetas de TreeNode vazias
  • [SPARK-47934] [SC-164648] [CORE] Garantir barras finais em HistoryServer redirecionamentos de URL
  • [SPARK-47921] [SC-163826][CONNECT] Corrigir a criação de ExecuteJobTag em ExecuteHolder
  • [SPARK-48014] [SC-164150][SQL] Altere o erro makeFromJava no EvaluatePython para um erro voltado para o usuário
  • [SPARK-47903] [SC-163424][PYTHON] Adicionar suporte para tipos escalares restantes na biblioteca PySpark Variant
  • [SPARK-48068] [SC-164579][PYTHON] mypy deve ter --python-executable parâmetro
  • [SPARK-47846] [SC-163074][SQL] Adicionar suporte para tipo de variante na expressão from_json
  • [SPARK-48050] [SC-164322][SS] Registar o plano lógico no início da consulta
  • [SPARK-47810] [SC-163076][SQL] Substitua expressão equivalente a <=> na condição de junção
  • [SPARK-47741] [SC-164290] Adicionada manipulação de estouro de pilha no analisador
  • [SPARK-48053] [SC-164309][PYTHON][CONNECT] SparkSession.createDataFrame deve avisar sobre opções não suportadas
  • [SPARK-47939] [SC-164171][SQL] Implementar uma nova regra Analyzer para mover ParameterizedQuery dentro de ExplainCommand e DescribeQueryCommand
  • [SPARK-48063] [SC-164432][CORE] Ativar spark.stage.ignoreDecommissionFetchFailure por padrão
  • [SPARK-48016] [SC-164280][SQL] Corrigir um bug na função try_divide quando com decimais
  • [SPARK-48033] [SC-164291][SQL] Corrigir expressões RuntimeReplaceable usadas em colunas padrão
  • [SPARK-48010] [SC-164051][SQL][ES-1109148] Evite chamadas repetidas para conf.resolver em resolveExpression
  • [SPARK-48003] [SC-164323][SQL] Adicionar suporte de agrupamento para hll sketch aggregate
  • [SPARK-47994] [SC-164175][SQL] Corrigir bug com a otimização do filtro de coluna CASE WHEN no SQLServer
  • [SPARK-47984] [SC-163837][ML][SQL] Alterar MetricsAggregate/V2Aggregator#serialize/deserialize para chamar SparkSerDeUtils#serialize/deserialize
  • [SPARK-48042] [SC-164202][SQL] Use um formatador de carimbo de data/hora com fuso horário no nível da classe em vez de fazer cópias no nível do método
  • [SPARK-47596] [SPARK-47600][SPARK-47604][SPARK-47804] Migrações de log estruturadas
  • [SPARK-47594] [SPARK-47590][SPARK-47588][SPARK-47584] Migrações de log estruturadas
  • [SPARK-47567] [SC-164172][SQL] Suporte a função LOCATE para trabalhar com cadeias de caracteres agrupadas
  • [SPARK-47764] [SC-163820][CORE][SQL] Limpeza de dependências aleatórias com base em ShuffleCleanupMode
  • [SPARK-48039] [SC-164174][PYTHON][CONNECT] Atualize a classe de erro para group.apply
  • [SPARK-47414] [SC-163831][SQL] Suporte de agrupamento minúsculo para expressões regexp
  • [SPARK-47418] [SC-163818][SQL] Adicionar implementações artesanais para funções contains, startsWith e endsWith com reconhecimento de unicode em minúsculas e otimizar UTF8_BINARY_LCASE
  • [SPARK-47580] [SC-163834][SQL] Catalisador SQL: elimine variáveis sem nome em logs de erro
  • [SPARK-47351] [SC-164008][SQL] Adicionar suporte de ordenação para StringToMap & Máscara de expressões de cadeia de caracteres
  • [SPARK-47292] [SC-164151][SS] safeMapToJValue deve considerar valores digitados nulos
  • [SPARK-47476] [SC-164014][SQL] Suporta a função REPLACE para trabalhar com cadeias de caracteres agrupadas
  • [SPARK-47408] [SC-164104][SQL] Corrigir expressões matemáticas que utilizam StringType
  • [SPARK-47350] [SC-164006][SQL] Adicionar suporte de agrupamento para expressão de cadeia de caracteres SplitPart
  • [SPARK-47692] [SC-163819][SQL] Corrigir o significado padrão de StringType na conversão implícita
  • [SPARK-47094] [SC-161957][SQL] SPJ : Reequilibre dinamicamente o número de buckets quando eles não são iguais
  • [SPARK-48001] [SC-164000][CORE] Remover private implicit def arrayToArrayWritable não utilizado do SparkContext
  • [SPARK-47986] [SC-163999][CONNECT][PYTHON] Não é possível criar uma nova sessão quando a sessão padrão é fechada pelo servidor
  • [SPARK-48019] [SC-164121] Corrigir comportamento incorreto em ColumnVector/ColumnarArray com dicionário e nulos
  • [SPARK-47743] [SPARK-47592][SPARK-47589][SPARK-47581][SPARK-47586][SPARK-47593][SPARK-47595][SPARK-47587][SPARK-47603] Migrações de log estruturadas
  • [SPARK-47999] [SC-163998][SS] Melhoria da gravação de logs durante a criação de snapshots e a adição/remoção de entradas do mapa de cache de estado no fornecedor de armazenamento de estado suportado pelo HDFS
  • [SPARK-47417] [SC-162872][SQL] Suporte de agrupamento: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
  • [SPARK-47712] [SC-161871][CONNECT] Permitir plug-ins de conexão para criar e processar conjuntos de dados
  • [SPARK-47411] [SC-163351][SQL] Suporta funções StringInstr & FindInSet para trabalhar com cadeias de caracteres agrupadas
  • [SPARK-47360] [SC-163014][SQL] Suporte de agrupamento: Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
  • [SPARK-47413] [SC-163323][SQL] - adicionar suporte a substr/left/right para agrupamentos
  • [SPARK-47983] [SC-163835][SQL] Rebaixar spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled para configuração interna
  • [SPARK-47964] [SC-163816][PYTHON][CONNECT] Ocultar SQLContext e HiveContext no PySpark-Connect
  • [SPARK-47985] [SC-163841][PYTHON] Simplifique funções com lit
  • [SPARK-47633] [SC-163453][SQL] Inclua a saída do plano do lado direito em LateralJoin#allAttributes para uma canonicalização mais consistente
  • [SPARK-47909] Revert "[PYTHON][CONNECT] Parent DataFrame class f...
  • [SPARK-47767] [SC-163096][SQL] Mostrar valor de deslocamento em TakeOrderedAndProjectExec
  • [SPARK-47822] [SC-162968][SQL] Proibir expressões de hash de processarem o tipo de dados variante
  • [SPARK-47490] [SC-160494][SS] Corrigir a utilização do construtor Logger do RocksDB para evitar o aviso de obsolescência.
  • [SPARK-47417] Reverter "[SC-162872][SQL] Suporte de agrupamento: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences"
  • [SPARK-47352] [SC-163460][SQL] Corrigir o reconhecimento de agrupamento para as funções Upper, Lower e InitCap
  • [SPARK-47909] [PYTHON][CONNECT] Classe DataFrame pai para Spark Connect e Spark Classic
  • [SPARK-47417] [SC-162872][SQL] Suporte de agrupamento: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixar ODBC, baixar JDBC).

Consulte atualizações de manutenção do Databricks Runtime 15.3.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 22.04.4 LTS
  • Java : Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AstTokens 2.0.5 Astunparse 1.6.3 azure-core 1.30.1
blob de armazenamento do Azure 12.19.1 azure-storage-file-datalake 12.14.0 função de retorno 0.2.0
preto 23.3.0 pisca 1.4 Boto3 1.34.39
Botocore 1.34.39 Ferramentas de cache 5.3.3 certifi 2023.7.22
CFFI 1.15.1 Chardet 4.0.0 Normalizador de Charset 2.0.4
clique 8.0.4 Cloudpickle 2.2.1 Comunicação 0.1.2
contorno 1.0.5 Criptografia 41.0.3 ciclista 0.11.0
Cython 0.29.32 Databricks-SDK 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 Decorador 5.1.1 Distlib 0.3.8
pontos de entrada 0.4 execução 0.8.3 facetas-visão geral 1.1.1
bloqueio de ficheiro 3.13.4 Fonttools 4.25.0 GitDB 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 Google-Auth 2.29.0
google-nuvem-core 2.4.1 Google Cloud Storage 2.16.0 Google-CRC32C 1.5.0
google-retomável-media 2.7.0 googleapis-common-protos 1.63.0 Grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 Idna 3.4
importlib-metadados 6.0.0 ipyflow-core 0.0.198 Ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Isodato 0.6.1 Jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 Joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 porta-chaves 23.5.0 Kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
Matplotlib 3.7.2 matplotlib inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 OAuthlib 3.2.0 embalagem 23.2
pandas 1.5.3 Parso 0.8.3 PathSpec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Almofada 9.4.0 pip 23.2.1 plataformadirs 3.10.0
enredo 5.9.0 prompt-toolkit 3.0.36 Proto-Plus 1.23.0
Protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 puro-eval 0.2.2 Pyarrow 14.0.1
Piasn1 0.4.8 pyasn1-módulos 0.2.8 Pyccolo 0.0.52
Pycparser 2.21 Pidântico 1.10.6 Pigmentos 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 Pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
Pytz 2022.7 PyYAML 6.0 Pyzmq 23.2.0
pedidos 2.31.0 RSA 4.9 s3transfer 0.10.1
scikit-aprender 1.3.0 Scipy 1.11.1 Seaborn 0.12.2
Armazenamento Secreto 3.3.1 Ferramentas de configuração 68.0.0 seis 1.16.0
smmap 5.0.1 SQLPARSE 0.5.0 ssh-import-id 5.11
dados da pilha 0.2.0 modelos de estatísticas 0.14.0 tenacidade 8.2.2
ThreadPoolCtl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
Ujson 5.4.0 Atualizações automáticas 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
roda 0.38.4 zipp 3.11.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 14.0.0.2 AskPass 1.2.0 afirmar que 0.2.1
Retrocessos 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
Bitops 1.0-7 bloco 1.2.4 Bota 1.3-28
cerveja artesanal 1.0-10 Brio 1.1.4 vassoura 1.0.5
BSLIB 0.6.1 cachem 1.0.8 Chamador 3.7.3
Caret 6.0-94 Cellranger 1.1.0 Chron 2.3-61
Classe 7.3-22 CLI 3.6.2 Clipr 0.8.0
relógio 0.7.0 aglomeração 2.1.4 CodeTools 0.2-19
espaço de cores 2.1-0 marca comum 1.9.1 Compilador 4.3.2
Configuração 0.3.2 confuso 1.2.0 cpp11 0.4.7
giz de cera 1.5.2 Credenciais 2.0.1 ondulação 5.2.0
data.table 1.15.0 conjuntos de dados 4.3.2 DBI 1.2.1
DBPlyr 2.4.0 descrição 1.4.3 DevTools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 Resumo 0.6.34
Iluminação reduzida 0.4.3 DPLYR 1.1.4 DTPlyr 1.3.1
e1071 1.7-14 reticências 0.3.2 avaliar 0.23
Fãsi 1.0.6 Farver 2.1.1 mapa rápido 1.1.1
fontawesome 0.5.2 forçados 1.0.0 para cada 1.5.2
estrangeiro 0.8-85 forjar 0.2.0 FS 1.6.3
Futuro 1.33.1 future.apply 1.11.1 gargarejo 1.5.2
Genéricos 0.1.3 Gert 2.0.1 ggplot2 3.4.4
GH 1.4.0 Git2R 0.33.0 gitcreds 0.1.2
GLMNET 4.1-8 Globais 0.16.2 cola 1.7.0
GoogleDrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
gráficos 4.3.2 grDispositivos 4.3.2 grelha 4.3.2
gridExtra 2.3 GSUBFN 0.7 GT 0.10.1
gtable 0.3.4 capacete 1.3.1 Refúgio 2.5.4
mais alto 0.10 HMS 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 HTTR 1.4.7
httr2 1.0.0 identificadores 1.0.1 ini 0.3.1
ipred 0.9-14 Isoband 0.2.7 iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 suco suculento 0.1.0
KernSmooth 2.23-21 Knitr 1.45 rotulagem 0.4.3
mais tarde 1.3.2 treliça 0.21-8 lava 1.7.3
ciclo de vida 1.0.4 ouvirv 0.9.1 lubridato 1.9.3
Magrittr 2.0.3 Marcação 1.12 MISSA 7.3-60
Matriz 1.5-4.1 memorizar 2.0.1 Metodologia 4.3.2
MGCV 1.8-42 mímica 0.12 miniUI 0.1.1.1
Mlflow 2.10.0 ModelMetrics 1.2.2.2 Modelador 0.1.11
Munsell 0.5.0 NLME 3.1-163 NNET 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 paralelo 4.3.2
Paralelamente 1.36.0 pilar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 Plyr 1.8.9 elogios 1.0.0
unidades bonitas 1.2.0 pROC 1.18.5 processx 3.8.3
Prodlim 2023.08.28 profvis 0.3.8 Progressos 1.2.3
progressr 0.14.0 promessas 1.2.1 proto 1.0.0
procuração 0.4-27 PS 1.7.6 ronronar 1.0.2
R6 2.5.1 RAGG 1.2.7 floresta aleatória 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactável 0.4.4
reactR 0.5.0 Leitor 2.1.5 readxl 1.4.3
receitas 1.0.9 revanche 2.0.0 revanche2 2.1.2
Controles remotos 2.4.2.1 Reprex 2.1.0 remodelação2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
oxigénio2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 Rvest 1.0.3 Sass 0.4.8
balanças 1.3.0 seletor 0.4-2 informação de sessão 1.2.2
forma 1.4.6 brilhante 1.8.0 ferramentas de código-fonte 0.1.7-1
sparklyr 1.8.4 espacial 7.3-15 estrias 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 estatísticas 4.3.2
Estatísticas4 4.3.2 string 1.8.3 stringr 1.5.1
Sobrevivência 3.5-5 Gingado 3.33.1 Sistema 3.4.2
fontes do sistema 1.0.5 tcltk 4.3.2 testthat 3.2.1
formatação de texto 0.3.7 Tibble 3.2.1 Tidyr 1.3.1
tidyselect 1.2.0 Tidyverse 2.0.0 mudança de hora 0.3.0
hora/data 4032.109 Tinytex 0.49 Ferramentas 4.3.2
TZDB 0.4.0 verificador de URLs 1.0.1 usethis 2.2.2
UTF8 1.2.4 utilitários 4.3.2 UUID 1.2-0
V8 4.4.1 VCTRS 0.6.5 viridisLite 0.4.2
vrum 1.6.5 Waldo 0.5.2 bigode 0.4.1
murchar 3.0.0 xfun 0.41 XML2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
Zeallot 0.1.0 zip 2.3.1

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do grupo ID do artefato Versão
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws AWS-Java-SDK-CloudFormation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-aprendizado de máquina 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws AWS-Java-SDK-STS 1.12.610
com.amazonaws aws-java-sdk-suporte 1.12.610
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware Kryo-sombreado 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core Jackson-Anotações 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-módulo-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil Jniloader 1.1
com.github.fommil.netlib native_ref-Java 1.1
com.github.fommil.netlib native_ref-Java 1.1-Nativos
com.github.fommil.netlib native_system-Java 1.1
com.github.fommil.netlib native_system-Java 1.1-Nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Nativos
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-Nativos
com.github.luben ZSTD-JNI 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs JSR305 3.0.0
com.google.code.gson GSON 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava Goiaba 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger perfilador 1.1.1
com.ibm.icu ICU4J 72.1
com.jcraft jsch 0.1.55
com.jolbox BONECP 0.8.0.LANÇAMENTO
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver MSSQL-JDBC 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind JAXB-CORE 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning Json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter Chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe Configuração 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity analisadores de univocidade 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
coleções commons coleções commons 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
Commons-Logging Commons-Logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressor de ar 0.25
IO.Delta delta-partilha-client_2.12 1.0.5
io.dropwizard.metrics métricas-anotação 4.2.19
io.dropwizard.metrics métricas-núcleo 4.2.19
io.dropwizard.metrics métricas-grafite 4.2.19
io.dropwizard.metrics métricas-verificações de saúde 4.2.19
io.dropwizard.metrics métricas-jetty9 4.2.19
io.dropwizard.metrics métricas-jmx 4.2.19
io.dropwizard.metrics métricas-json 4.2.19
io.dropwizard.metrics métricas JVM 4.2.19
io.dropwizard.metrics métricas-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-comum 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-Windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty Netty-Transporte 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-nativo-unix-comum 4.1.96.Final
io.prometeu simpleclient 0.7.0
io.prometeu simpleclient_common 0.7.0
io.prometeu simpleclient_dropwizard 0.7.0
io.prometeu simpleclient_pushgateway 0.7.0
io.prometeu simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jacarta.anotação jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validação jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.ativação ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo JDO-API 3.0.1
javax.transaction JTA 1.1
javax.transaction API de transação 1.1
javax.xml.bind JAXB-API 2.2.11
Javolução Javolução 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna JNA 5.8.0
net.razorvine picles 1.3
net.sf.jpam JPAM 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv Super-CSV 2.2.0
net.floco de neve Snowflake Ingest SDK 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-tempo de execução 3.5.2
org.antlr antlr4-tempo de execução 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.10.11
org.apache.ant ANT-JSCH 1.10.11
org.apache.ant lançador de formigas 1.10.11
org.apache.arrow formato de seta 15.0.0
org.apache.arrow seta-memória-núcleo 15.0.0
org.apache.arrow Arrow-Memory-Netty 15.0.0
org.apache.arrow seta-vetor 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro AVRO-IPC 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-comprimir 1.23.0
org.apache.commons commons-cripto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curador curador-cliente 2.13.0
org.apache.curador Curadoria-quadro 2.13.0
org.apache.curador receitas selecionadas 2.13.0
org.apache.datasketches Datasketches-Java 3.1.0
org.apache.datasketches datasketches-memória 2.0.0
org.apache.derby dérbi 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive colmeia-abelha 2.3.9
org.apache.hive Colmeia-CLI 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive colmeia-llap-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-núcleo 1.9.2-protobuf sombreado
org.apache.orc orc-mapreduce 1.9.2-protobuf sombreado
org.apache.orc Orc-calços 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-sombreado 4.23
org.apache.yetus anotações de audiência 0.13.0
org.apache.zookeeper tratador de jardins zoológicos 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework verificador de qualidade 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus DataNucleus Core 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-coleções 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty Jetty-Cliente 9.4.52.v20230823
org.eclipse.jetty Cais-Continuação 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Jetty Plus 9.4.52.v20230823
org.eclipse.jetty Jetty-Proxy 9.4.52.v20230823
org.eclipse.jetty Jetty-Segurança 9.4.52.v20230823
org.eclipse.jetty servidor Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty cais-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty-webapp 9.4.52.v20230823
org.eclipse.jetty Jetty-XML 9.4.52.v20230823
org.eclipse.jetty.websocket API WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-cliente 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-Comum 9.4.52.v20230823
org.eclipse.jetty.websocket servidor websocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 HK2-API 2.6.1
org.glassfish.hk2 HK2-Localizador 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGI-Localizador de Recursos 1.0.3
org.glassfish.hk2.external aopalliance-reembalado 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-cliente 2.40
org.glassfish.jersey.core Jersey-Comum 2.40
org.glassfish.jersey.core jersey-servidor 2.40
org.glassfish.jersey.inject Jersey-HK2 2.40
org.hibernate.validator Hibernate-Validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi JDBI 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-converter 1.7
org.jodd JODD-CORE 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.8.0
org.mlflow mlflow-spark_2,12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql PostgreSQL 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap calços 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-para-slf4j 2.0.7
org.slf4j SLF4J-API 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani XZ 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial SQLITE-JDBC 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml Snakeyaml 2.0
ouro ouro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion íon-java 1.0.2
Stax Stax-API 1.0.1