Compartilhar via

Databricks Runtime 14.2 (EoS)

  • Artigo

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões compatíveis do Databricks Runtime, consulte Versões e compatibilidade de notas sobre a versão do Databricks Runtime.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 14.2, da plataforma Apache Spark 3.5.0.

O Databricks lançou esta imagem em novembro de 2023.

Dica

Para ver as notas sobre a versão das versões do Databricks Runtime que chegaram ao fim do suporte (EoS), confira Notas sobre as versões do Databricks Runtime em fim de suporte. As versões do Databricks Runtime EoS foram desativadas e podem não ser atualizadas.

Novos recursos e aprimoramentos

CACHE SELECT agora é ignorado

O comando SQL CACHE SELECT agora é ignorado em favor de um algoritmo de cache aprimorado. Veja Otimizar o desempenho com o uso do cache no Azure Databricks.

Comportamento de cache aprimorado

O posicionamento do DiskCache pelo agendador do Spark agora tem uma atribuição de partição mais rápida, melhor balanceamento durante o dimensionamento automático do cluster e execução de consulta mais consistente.

Correção de tratamento de arquivos corrompidos em comandos DML

Os comandos DML DELETE, UPDATE e MERGE INTO não respeitam mais as opções de leitura ignoreCorruptFiles e ignoreMissingFiles. Ao encontrar um arquivo ilegível em uma tabela, esses comandos agora falharão mesmo se essas opções forem especificadas.

Agora você pode usar as funções from_avro, to_avro, from_protobuf e to_protobuf Python com o Registro de Esquema em clusters compartilhados.

Suporte a foreachBatch e StreamingListener

Agora você pode usar as APIs foreachBatch() e StreamingListener com Streaming Estruturado em clusters compartilhados. Consulte Usar foreachBatch para gravar em coletores de dados arbitrários e Monitoramento de consultas de Fluxo Estruturado no Azure Databricks.

A simultaneidade em nível de linha está em Disponibilidade Geral e ativada por padrão

A simultaneidade no nível de linha reduz conflitos entre operações de gravação simultâneas com a detecção de alterações no nível da linha. A simultaneidade em nível de linha só tem suporte para tabelas sem particionamento, o que inclui tabelas com clustering líquido. A simultaneidade em nível de linha está habilitada por padrão nas tabelas Delta com vetores de exclusão habilitados. Consulte Conflitos de gravação com simultaneidade em nível de linha.

Compartilhamento Delta: os destinatários podem realizar consultas em lote, CDF e streaming em tabelas compartilhadas com vetores de exclusão (Visualização Pública)

Os destinatários do Compartilhamento Delta agora podem realizar consultas em lote, CDF e streaming em tabelas compartilhadas que usam vetores de exclusão. No Azure Databricks Runtime 14.1, eles só podem realizar consultas em lote. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de colunas a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado e Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado.

Clone superficial para tabelas externas do Catálogo do Unity (Visualização Pública)

Agora você pode usar um clone superficial com tabelas externas do Catálogo do Unity. Confira Clone superficial para tabelas do Catálogo do Unity.

Novo algoritmo de atribuição de cache de disco

O agendador do Spark agora usa um novo algoritmo de cache de disco. O algoritmo melhora o uso do disco e a atribuição de partição entre nós, com atribuição mais rápida inicialmente e após eventos de dimensionamento de cluster. A atribuição de cache mais complicada melhora a consistência entre execuções e reduz os dados movidos durante operações de rebalanceamento.

from_avro com o conector do registro de esquema adiciona suporte para a evolução do esquema

Agora você pode habilitar seus pipelines para reiniciar quando registros evoluídos são detectados. Anteriormente, se a evolução do esquema ocorresse com o conector from_avro, as novas colunas retornariam null. Confira Ler e gravar dados de streaming do Avro.

Coleção de estatísticas multi-threaded mais rápida

A coleta de estatísticas é até 10 vezes mais rápida em clusters pequenos ao executar CONVERT TO DELTA ou clonagem de tabelas Iceberg e Parquet. Confira Converter para Delta Lake e Tabelas Clone Parquet e Iceberg.

Filtros pushdown nos arquivos DeltaSource no Delta

Para melhor utilização, os filtros de partição em consultas de streaming de tabelas Delta agora são enviados para o Delta antes da limitação de taxa.

Suporte para funções escalares do Scala definidas pelo usuário em clusters compartilhados (Visualização Pública)

Agora você pode usar funções escalares do Scala definidas pelo usuário em clusters habilitados para o Catálogo do Unity e configurados com o modo de acesso compartilhado. Confira Funções escalares definidas pelo usuário – Scala.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • fastjsonschema de 2.18.0 para 2.19.0
    • filelock de 3.12.3 para 3.12.4
    • googleapis-common-protos de 1.60.0 para 1.61.0
  • Atualização das bibliotecas do R:
  • Bibliotecas do Java atualizadas:

Apache Spark

O Databricks Runtime 14.2 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 14.1, bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-45592] [DBRRM-624] Reverter “[SC-146977][SQL] Problema de correção no AQE com InMemoryTableScanExec”
  • [SPARK-45524] [DBRRM-625] Reverter "[SC-146319][PYTHON][SQL] Suporte inicial para o...
  • [SPARK-45433] [DBRRM-621] Reverte "[SC-145163][SQL] Corrige o esquema CSV/JSON infer...
  • [SPARK-45592] [SC-146977][SQL] Problema de correção no AQE com InMemoryTableScanExec
  • [SPARK-45354] Reverter “[SC-143991][SQL] Resolve funções de baixo para cima”
  • [SPARK-45680] [TEST-ONLY][SASP-2347][CONNECT] Corrigir testes
  • [SPARK-45680] Sessão de versão [CONNECT]
  • [SPARK-43380] [SC-146726][ES-897115][SQL] Corrigir lentidão na leitura do Avro
  • [SPARK-45649] [SC-146742][SQL] Unificar a estrutura de preparação para OffsetWindowFunctionFrame
  • [SPARK-40820] [SC-146727][PYTHON][SQL] Criando StructType a partir do Json
  • [SPARK-45620] [SC-146225][PYTHON] Corrige o uso de camelCase nas APIs de Detecção Facial relacionadas ao Python UDTF
  • [SPARK-45727] [SC-146978][SS] Remover mapa não utilizado na simulação de propagação de marca d'água
  • [SPARK-45723] [SC-146890][PYTHON][CONNECT] Os métodos de catálogo evitam a conversão de pandas
  • [SPARK-45574] [SC-146106][SQL] Adicionar a sintaxe :: como uma abreviação para conversão
  • [SPARK-45670] [SC-146725][CORE][3.5] SparkSubmit não dá suporte a --total-executor-cores ao implantar em K8s
  • [SPARK-45661] [SC-146594][SQL][PYTHON] Adiciona toNullable em StructType, MapType e ArrayType
  • [SPARK-45524] [SC-146319][PYTHON][SQL] Suporte inicial para API de leitura da fonte de dados Python
  • [SPARK-45542] [SC-145892][CORE] Substituir setSafeMode(HdfsConstants.SafeModeAction, boolean) por setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [SC-146641][SQL] SPJ: manipular partições de entrada vazias após a filtragem dinâmica
  • [SPARK-45454] [SC-144846][SQL] Define o proprietário padrão da tabela como current_user
  • [SPARK-45554] [SC-146875][PYTHON] Introduzir o parâmetro flexível para assertSchemaEqual
  • [SPARK-45242] [SC-143410][SQL] Usa a ID do DataFrame para validar semanticamente o CollectMetrics
  • [SPARK-45674] [SC-146862][CONNECT][PYTHON] Melhore a mensagem de erro para atributos dependentes de JVM no Spark Connect.
  • [SPARK-45646] [SC-146276][SQL] Remover variáveis de tempo de codificação antes do Hive 2.0
  • [SPARK-43380] [SC-146726][ES-897115][SQL] Corrigir lentidão na leitura do Avro
  • [SPARK-45545] [SC-146484][CORE] Passa SSLOptions em qualquer lugar que criarmos um SparkTransportConf
  • [SPARK-45641] [SC-146260][UI] Exibe o tempo de início do aplicativo em AllJobsPage
  • [SPARK-40154] [SC-146491][Python][Docs] Corrige o nível de armazenamento na docstring Dataframe.cache
  • [SPARK-45626] [SC-146259][SQL] Converte _LEGACY_ERROR_TEMP_1055 para REQUIRES_SINGLE_PART_NAMESPACE
  • [SPARK-45507] [SC-145900][SQL] Correção da correção para subconsultas escalares correlacionadas aninhadas com agregações COUNT
  • [SPARK-45619] [SC-146226][CONNECT][PYTHON] Aplica as métricas observadas ao objeto Observation
  • [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][MINOR] Melhoria do Scaladoc para StreamingForeachBatchHelper
  • [SPARK-45616] [SC-146120][CORE] Evita o ParVector, que não propaga o ThreadLocals ou SparkSession
  • [SPARK-45604] [SC-146105][SQL] Adiciona a verificação de LogicalType em INT64 -> Conversão de DateTime no Leitor Vetorizado Parquet
  • [SPARK-44649] [SC-145891][SQL] O filtro de runtime dá suporte à passagem de expressões do lado da criação equivalentes
  • [SPARK-41674] [SC-128408][SQL] O filtro de runtime deve dar suporte ao lado de junção aleatória de vários níveis como o lado de criação de filtro
  • [SPARK-45547] [SC-146228][ML] Validar vetores com função interna
  • [SPARK-45558] [SC-145890][SS] Introduzir um arquivo de metadados para o operador com estado de streaming
  • [SPARK-45618] [SC-146252][CORE] Remove o BaseErrorHandler
  • [SPARK-45638] [SC-146251][SQL][Avro] Melhorar a cobertura de teste da conversão decimal
  • [SPARK-44837] [SC-146020][SQL] Altera a mensagem de erro da coluna ALTER TABLE ALTER PARTITION
  • [SPARK-45561] [SC-146264][SQL] Adiciona conversões adequadas para TINYINT no MySQLDialect
  • [SPARK-45632] [SC-146255][SQL] O cache de tabela deve evitar a ColumnarToRow desnecessária quando o AQE estiver habilitado
  • [SPARK-45569] [SC-145932][SQL] Atribui o nome ao erro _LEGACY_ERROR_TEMP_2152
  • [SPARK-44784] [SC-141015][CONNECT] Tornar o teste hermético do SBT.
  • [SPARK-45452] [SC-144836][SQL] Melhorar InMemoryFileIndex a para usar a API FileSystem.listFiles
  • [SPARK-44735] [SC-146186][SQL] Adiciona uma mensagem de aviso ao inserir colunas com o mesmo nome por linha que não correspondem
  • [SPARK-45351] [SC-144791][CORE] Altera o valor padrão spark.shuffle.service.db.backend para ROCKSDB
  • [SPARK-45553] [SC-145906][PS] Preterir assertPandasOnSparkEqual
  • [SPARK-45613] [SC-146022][CORE] Expõe DeterministicLevel como uma DeveloperApi
  • [SPARK-45549] [SC-145895] [CORE] Remover o uso de numExistingExecutors em CoarseGrainedSchedulerBackend
  • [SPARK-45609] [SC-146030][CONNECT] Inclui SqlState na mensagem proto SparkThrowable
  • [SPARK-45595] [SC-146037] Expõe o sqlstate na mensagem de erro
  • [SPARK-45628] [SC-146123][ML] Melhorar vector_to_array para .mllib.linalg.SparseVector
  • [SPARK-45009] [SC-145884][SQL][FOLLOW UP] Desativa a descorrelação nas condições de junção para o teste AQE InSubquery
  • [SPARK-45576] [SC-145883][CORE] Remove registros desnecessários nos logs de depuração em ReloadingX509TrustManagerSuite
  • [SPARK-45485] [SC-145719][CONNECT] Melhorias no agente do usuário: usa a variável de ambiente SPARK_CONNECT_USER_AGENT e inclui atributos específicos do ambiente
  • [SPARK-45508] [SC-145513][CORE] Adiciona “–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED” para que a plataforma possa acessar o Cleaner em Java 9+
  • [SPARK-45595] Reverter “[SC-146037] Expõe o SQLSTATE na mensagem de erro”
  • [SPARK-45595] [SC-146037] Expõe o SQLSTATE na mensagem de erro
  • [SPARK-45112] Reverter "[SC-143259][SQL] Usa UnresolvedFunction ba...
  • [SPARK-45257] [SC-143411][SQL] Habilitar spark.eventLog.compress por padrão
  • [SPARK-45586] [SC-145899][SQL] Reduzir a latência do compilador para planos com árvores de expressão grandes
  • [SPARK-45517] [SC-145691][CONNECT][14.x] Expanda mais construtores de exceção para dar suporte a parâmetros da estrutura de erros
  • [SPARK-45581] [SC-145896] Torna o SQLSTATE obrigatório.
  • [SPARK-45427] [SC-145590][CORE] Adiciona configurações de RPC SSL ao SSLOptions e SparkTransportConf
  • [SPARK-45261] [SC-143357][CORE] Corrigir EventLogFileWriters para lidar com none como um codec
  • [SPARK-45582] [SC-145897][SS] Verifique se a instância do repositório não é usada após chamar a confirmação dentro da agregação de streaming do modo de saída
  • [SPARK-45562] [SC-145720][SC-144650][SQL] XML: torna 'rowTag' uma opção requerida
  • [SPARK-45392] [SC-144362][CORE][SQL][SS] Substituir Class.newInstance() por Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [SC-145163][SQL] Corrige a inferência de esquema CSV/JSON quando os carimbos de data/hora não correspondem ao timestampFormat especificado
  • [SPARK-45458] [SC-145011][SQL] Converte IllegalArgumentException para SparkIllegalArgumentException em bitwiseExpressions
  • [SPARK-45564] [SC-145735][SQL] Simplifica 'DataFrameStatFunctions.bloomFilter' com expressão 'BloomFilterAggregate
  • [SPARK-45566] [SC-145777][PS] Suporte a utils de teste semelhantes a Pandas para a API de pandas no Spark
  • [SPARK-45498] [SC-145509][CORE] Acompanhamento: ignora a conclusão de tarefa da fase antiga a...
  • [SPARK-45483] [SC-145152][CONNECT] Corrige os grupos de funções em connect.functions
  • [SPARK-45577] [SC-145781][PYTHON] Corrige UserDefinedPythonTableFunctionAnalyzeRunner para passar valores dobrados de argumentos nomeados
  • [SPARK-45009] [SC-138223][FOLLOW UP] Desativa a descorrelação nas condições de junção do AetherSQLQuerySuite
  • [SPARK-45415] [SC-145344] Permite desabilitar seletivamente o "fallocate" no statestore do RocksDB
  • [SPARK-45500] [SC-145134][CORE][WEBUI] Mostra o número de drivers concluídos de forma anormal na MasterPage
  • [SPARK-44120] [SC-144349][PYTHON] Suporte ao Python 3.12
  • [SPARK-45439] [SC-145589][SQL][UI] Reduz o uso da memória do LiveStageMetrics.accumIdsToMetricType
  • [SPARK-45565] [SC-145717][UI] Loop desnecessário de JSON.stringify e JSON.parse para lista de tarefas no detalhe da fase
  • [SPARK-45567] [SC-145718][CONNECT] Remove o if redundante em org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
  • [SPARK-45112] [SC-143259][SQL] Usa a resolução baseada em UnresolvedFunction em funções SQL Dataset
  • [SPARK-45486] [SASP-2457][SC-145612][CONNECT] Torna a solicitação add_artifact idempotente
  • [SPARK-44913] [SC-144326][SQL] DS V2 dá suporte a push down V2 UDF que tem método mágico
  • [SPARK-45538] [SC-145635][PYTHON][CONNECT]bug de overwrite_partitions no pyspark connect
  • [SPARK-45491] [SC-145622] Adiciona SQLSTATES ausentes 2/2
  • [SPARK-45009] [SC-145620][SC-138223][SQL] Decorrelacionar subconsultas de predicado em condição de junção
  • [SPARK-45377] [SC-144377][CORE] Trata InputStream no NettyLogger
  • [SPARK-45248] [SC-143759][CORE]Definir o tempo limite para o servidor de interface do usuário do Spark
  • [SPARK-44594] [SC-145611][SS] Remover parâmetro de método redundante no conector kafka
  • [SPARK-45539] [SC-145621][SS] Adicionar declaração e log para indicar que a definição de marca d'água é necessária para consultas de agregação de streaming no modo de acréscimo
  • [SPARK-44262] [SC-145639][SQL] Adicionar dropTable e getInsertStatement ao JdbcDialect
  • [SPARK-45516] [SC-145480][CONNECT] Inclui QueryContext na mensagem proto do SparkThrowable
  • [SPARK-45310] [SC-145127][CORE] O status do bloco de embaralhamento de relatório deve respeitar o serviço de embaralhamento durante a migração de encerramento
  • [SPARK-45521] [SC-145487][ML] Evite a recomputação de nnz em VectorAssembler
  • [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT] Altera o alias da coluna current_database() para current_schema()
  • [SPARK-45116] [SC-145142][SQL] Adicionar algum comentário para o parâmetro do JdbcDialect createTable
  • [SPARK-45495] [SC-145529] [core] Suporte ao perfil de recurso de tarefa no nível do estágio para o cluster k8s quando a alocação dinâmica desabilitada
  • [SPARK-45487] [SC-145559] Corrige o SQLSTATE e os erros temporários
  • [SPARK-45505] [SC-145550][PYTHON] Refatora analyzeInPython para torná-la reutilizável
  • [SPARK-45132] [SC-145425][SQL] Corrige o IDENTIFIER para invocação de função
  • [SPARK-45213] [SC-145020][SQL] Atribui nome ao erro _LEGACY_ERROR_TEMP_2151
  • [SPARK-45416] [SC-145126][CONNECT] Verificar a consistência dos resultados da Seta
  • [SPARK-45163] [SC-143386][SQL] Mesclar UNSUPPORTED_VIEW_OPERATION & UNSUPPORTED_TABLE_OPERATION e corrigir alguns problemas
  • [SPARK-45421] [SC-144814][SQL] Captura AnalysisException em InlineCTE
  • [SPARK-43664] [SC-145404][CONNECT][PS] Gerar exceção para ps.sql com objeto Pandas-on-Spark no Spark Connect.
  • [SPARK-45402] [SC-145371][SQL][PYTHON] Adiciona a API UDTF para os métodos ‘eval’ e ‘terminate’ para consumir o resultado anterior de ‘analyze’
  • [SPARK-36112] [SC-67885] [SQL] Suporte a subconsultas EXISTS e IN correlacionadas usando a estrutura DecorrelateInnerQuery
  • [SPARK-45383] [SC-144929][SQL] Corrigir mensagem de erro para viagem no tempo com tabela não existente
  • [SPARK-43254] [SC-143318][SQL] Atribuir um nome ao erro _LEGACY_ERROR_TEMP_2018
  • [SPARK-45204] [SC-145167] [SS] [CONNECT] Adicionar ExecuteHolder ao SparkConnectPlanner
  • [SPARK-45451] [SC-145144][SQL] Tornar configurável o nível de armazenamento padrão do cache do conjunto de dados
  • [SPARK-45192] [SC-143194][Interface do usuário] Correção do parâmetro lineInterpolate vencido para a borda do graphviz
  • [SPARK-45467] [SC-145146][CORE] Substituir Proxy.getProxyClass() por Proxy.newProxyInstance().getClass
  • [SPARK-45397] [SC-145139][ML][CONNECT] Adicionar transformador de recurso do assembler de matriz
  • [SPARK-44855] [SC-145226][CONNECT] Pequenos ajustes na anexação do ExecuteGrpcResponseSender para o ExecuteResponseObserver
  • [SPARK-45398] [SC-144796][SQL] Acrescentar ESCAPE em sql() da expressão Like
  • [SPARK-45494] [SC-145129][CORE][PYTHON] Introduz funções utilitárias para leitura/gravação de uma matriz de bytes para PythonWorkerUtils
  • [SPARK-45464] [SC-145125][CORE] Corrigir o build de distribuição de yarn de rede
  • [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] Introduz um mapeador para StorageLevel
  • [SPARK-45450] [SC-145009][PYTHON] Corrige as importações de acordo com o PEP8: pyspark.pandas e pyspark (core)
  • [SPARK-45475] [SC-145018][SQL] Usa DataFrame.foreachPartition em vez de RDD.foreachPartition no JdbcUtils
  • [SPARK-45271] [SC-143778][SQL] Mesclar _LEGACY_ERROR_TEMP_1113 em TABLE_OPERATION e excluir alguns métodos não utilizados em QueryCompilationErrors
  • [SPARK-45449] [SC-145013][SQL] Problema de invalidação de cache com a tabela JDBC
  • [SPARK-45473] [SC-145017][SQL] Corrige a mensagem de erro incorreta para RoundBase
  • [SPARK-43299] [SC-145022][SS][CONNECT] Converte StreamingQueryException no cliente Scala
  • [SPARK-45474] [SC-145014][CORE][WEBUI] Suporte à filtragem de nível superior na API JSON do MasterPage
  • [SPARK-45205] [SC-145012][SQL] CommandResultExec para substituir métodos iteradores para evitar disparar vários trabalhos.
  • [SPARK-45472] [SC-145004][SS] RocksDB State Store não precisa verificar novamente a existência do caminho do ponto de verificação
  • [SPARK-45470] [SC-145010][SQL] Evite colar o valor da cadeia de caracteres do tipo de compactação hive orc
  • [SPARK-45448] [SC-144829][PYTHON] Corrige as importações de acordo com o PEP8: pyspark.testing, pyspark.mllib, pyspark.resource e pyspark.streaming
  • [SPARK-45446] [SC-144828][PYTHON] Corrige as importações de acordo com o PEP8: pyspark.errors e pyspark.ml
  • [SPARK-45239] [SC-144832][CONNECT] Reduz o padrão spark.connect.jvmStacktrace.maxSize
  • [SPARK-45436] [SC-144831][PYTHON][CONNECT] Os métodos DataFrame verificam a mesma sessão
  • [SPARK-45413] [SC-144847][CORE] Adicionar aviso para preparar o suporte à queda do LevelDB
  • [SPARK-45462] [SC-144848][CORE][WEBUI] Mostrar Duration em ApplicationPage
  • [SPARK-44527] [SC-144855][SQL] Substitui ScalarSubquery por nulo se seu maxRows for 0
  • [SPARK-45401] [SC-144854][PYTHON] Adicionar um novo método cleanup na interface UDTF
  • [SPARK-43704] [SC-144849][CONNECT][PS] Suporte a MultiIndex para to_series()
  • [SPARK-45424] [SC-144888][SQL] Corrige o fato de o TimestampFormatter retornar resultados de análise opcionais quando apenas o prefixo corresponder
  • [SPARK-45441] [SC-144833][PYTHON] Introduz mais funções utilitárias para PythonWorkerUtils
  • [SPARK-45412] [SC-144803][PYTHON][CONNECT] Validar o plano e a sessão em DataFrame.__init__
  • [SPARK-45408] [SC-144810][CORE] Adiciona configurações de RPC SSL ao TransportConf
  • [SPARK-45432] [SC-144818][CORE] Remover construtor de LocatedFileStatus Hadoop-2 preterido
  • [SPARK-45434] [SC-144819][ML][CONNECT] LogisticRegression verifica os rótulos de treinamento
  • [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT] Adiciona DataType.fromDDL no PySpark
  • [SPARK-45406] [SC-144793] [PYTHON] [CONNECT] Remove schema do DataFrame
  • [SPARK-45404] [SC-144799] [CORE] Suporte a AWS_ENDPOINT_URL
  • [SPARK-43620] [SC-144792][CONNECT][PS] Corrigir APIs Pandas depende de recursos sem suporte
  • [SPARK-45354] [SC-143991][SQL] Resolver funções de baixo para cima
  • [SPARK-45394] [SASP-1480][SC-144712][PYTHON][CONNECT] Adicionar novas tentativas à API de artefato. Aprimore o tratamento de erros (acompanhamento para [SPARK-45093]).
  • [SPARK-45120] [SC-142780][SPARK-45150][Interface do usuário] Atualizar d3 da v3 para v7(v7.8.5) e aplicar alterações de API na interface do usuário
  • [SPARK-44838] [SC-143983][SQL] melhoria do raise_error
  • [SPARK-45312] [SC-143754][SQL][interface do usuário] Suporte para ativar/ocultar svg de plano na página de execução
  • [SPARK-45378] [SC-144448][CORE] Adiciona convertToNettyForSsl ao ManagedBuffer
  • [SPARK-44762] [SC-144338][CONNECT][CORE] Doc para SparkConnect.addJobTag e Connect SparkSession.addTag
  • [SPARK-45383] Lidar normalmente com RelationTimeTravel não resolvido
  • [SPARK-45347] [SC-144512][SQL][CONNECT] Inclui SparkThrowable em FetchErrorDetailsResponse
  • [SPARK-45012] [SC-141512][SQL] CheckAnalysis deve gerar um plano delineado em AnalysisException
  • [SPARK-45359] [SC-144336][PYTHON][CONNECT] DataFrame.{columns, colRegex, explain} deve gerar exceções quando o plano for inválido
  • [SPARK-45227] [SC-144233][CORE] Corrige um problema sutil de thread-safety com CoarseGrainedExecutorBackend
  • [SPARK-45266] [SC-144171][PYTHON] Refatora a regra do analisador ResolveFunctions para atrasar a junção lateral quando argumentos de tabela forem usados
  • [SPARK-45266] Reverter “[SC-144171][PYTHON] Refatorar a regra do analisador ResolveFunctions para atrasar a junção lateral quando os argumentos da tabela são utilizados”
  • [SPARK-45371] [SC-144389] Corrige problemas de sombreamento no cliente do Spark Connect Scala Client
  • [SPARK-45057] [SC-144214][CORE] Evita adquirir o bloqueio de leitura quando keepReadLock for falso
  • [SPARK-45385] [SC-144357][SQL] spark.sql.parser.escapedStringLiterals obsoleto
  • [SPARK-45340] [SC-143917][SQL] Remover config de configuração spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [SC-144171][PYTHON] Refatora a regra do analisador ResolveFunctions para atrasar a junção lateral quando argumentos de tabela forem usados
  • [SPARK-45362] [SC-144198][PYTHON] Projeta expressões PARTITION BY antes que o método 'eval' do Python UDTF as consuma
  • [SPARK-45346][SC-143925][SQL] A inferência de esquema Parquet deve respeitar o sinalizador que diferencia maiúsculas de minúsculas ao mesclar esquema
  • [SPARK-45341] [SC-143933][CORE] Corrija o nível de título nos comentários de KVStore.java para que sbt doc seja executado com êxito com Java 17
  • [SPARK-45334] [SC-143914][SQL] Remove um comentário enganoso no parquetSchemaConverter
  • [SPARK-45337] [SC-143932][CORE] Refatorar AbstractCommandBuilder#getScalaVersion para remover a verificação do Scala 2.12
  • [SPARK-45329] [SC-143918][PYTHON][CONNECT] Os métodos DataFrame verificam a mesma sessão
  • [SPARK-43662] [SC-143923][PS][CONNECT] Suporte para merge_asof no Spark Connect
  • [SPARK-44126] [SC-143751][CORE] A contagem de falhas de migração aleatória não deve aumentar quando o executor de destino for desativado
  • [SPARK-44550] [SC-119768][SQL] Habilitar correções de correção para null IN (empty list) em ANSI
  • [SPARK-45316][SC-143783][CORE][SQL] Adiciona novos parâmetros ignoreCorruptFiles/ignoreMissingFiles a HadoopRDD e NewHadoopRDD
  • [SPARK-45093] [SC-143414][CONNECT][PYTHON] Relatório de erros para a consulta addArtifacts
  • [SPARK-44756] [SC-143787][CORE] O executor falha quando RetryingBlockTransferor não consegue repetir
  • [SPARK-45333] [SC-143768][CORE] Corrige um erro de unidade relacionado a spark.eventLog.buffer.kb
  • [SPARK-45317] [SC-143750][SQL][CONNECT] Manipular nome de arquivo nulo em rastreamentos de pilha de exceções
  • [SPARK-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId adiciona informações de coluna
  • [SPARK-45235] [SC-143314][CONNECT][PYTHON] Suporte a parâmetrosde mapa e matriz por sql()
  • [SPARK-45138] [SC-143309][SS] Defina uma nova classe de erro e aplique-a quando o estado de checkpoint para DFS falhar
  • [SPARK-45297] [SC-143644][SQL] Remover solução alternativa para dateformatter adicionado ao SPARK-31827
  • [SPARK-44345] [SC-143593][CORE] Nível de log de unknown shuffle map output inferior para AVISAR se a migração aleatória estiver habilitada
  • [SPARK-44463] [SC-143251][SS] [CONNECT] Melhora o tratamento de erros para o trabalho do Python de streaming do Connect
  • [SPARK-45207] [SC-143603][SQL][CONNECT] Implementar enriquecimento de erro para o cliente Scala
  • [SPARK-45240] [SC-143602][SQL][CONNECT] Implementar enriquecimento de erro para o cliente Python
  • [SPARK-45216] [SC-143288][SQL] Corrigir APIs de conjunto de dados inseridos não determinísticos
  • [SPARK-45251] [SC-143419][CONNECT] Adiciona o campo client_type para FetchErrorDetails
  • [SPARK-45137] [SC-143001][CONNECT] Suporte a parâmetros de mapa/array em parametrizados sql()
  • [SPARK-45224] [SC-143257][PYTHON] Adicione exemplos com mapa e matriz como parâmetros de sql()
  • [SPARK-44622] [SC-143205][SQL][CONNECT] Implementa FetchErrorDetails RPC
  • [SPARK-45178] [SC-136089] Fazer fallback para executar um único lote para Trigger.AvailableNow com fontes sem suporte ao invés de usar o wrapper
  • [SPARK-44823] [14.x][SC-142979][PYTHON] Atualizar de preto para 23.9.1 e verificar fixerroneous
  • [SPARK-45078] [SC-142954][SQL] Corrige os ImplicitCastInputTypes array_insert que não funcionam
  • [SPARK-44579] [SC-138428][SQL] Suporte à interrupção ao cancelar no SQLExecution
  • [SPARK-45252] [SC-143371][CORE] Escape dos símbolos maiores/menores que nos comentários para que sbt doc sejam executados com êxito
  • [SPARK-45189] [SC-142973][SQL] A criação de UnresolvedRelation a partir de TableIdentifier deve incluir o campo de catálogo
  • [SPARK-45229] [SC-143254][CORE][interface do usuário] Mostrar o número de drivers aguardando no status SUBMITTED no MasterPage
  • [SPARK-43453] Reverter “[SC-143135][PS] Ignora o names de MultiIndex quando axis=1 para concat”

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Confira Atualizações de manutenção do Databricks Runtime 14.2.

Ambiente do sistema

  • Sistema operacional: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.0.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 clique 8.0.4 comm 0.1.2
contourpy 1.0.5 criptografia 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
em execução 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.0
filelock 3.12.4 fonttools 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notebook 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 empacotando 22.0 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,4 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
solicitações 2.28.1 rope 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
six 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 02/10/2023.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 12.0.1 askpass 1,1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 sinal de interpolação 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 conflicted 1.2.0
cpp11 0.4.4 crayon 1.5.2 credenciais 1.3.2
curl 5.0.1 data.table 1.14.8 conjuntos de dados 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagrama 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
evaluate 0,21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 genéricos 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
elemento gráfico 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0,10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1.43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 ciclo de vida 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1,7
MASS 7.3-60 Matriz 1.5-4.1 memoise 2.0.1
métodos 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 progress 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spatial 7.3-15 splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 survival 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0,45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2,0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1