Partilhar via

Tempo de execução do Databricks 14.1

  • Artigo

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 14.1, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em outubro de 2023.

Gorjeta

Para ver as notas de versão das versões do Databricks Runtime que atingiram o fim do suporte (EoS), consulte Notas de versão do End-of-support Databricks Runtime. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.

Novos recursos e melhorias

array_insert() é baseado em 1 para índices negativos

A array_insert função é baseada em 1 para índices positivos e negativos. Ele agora insere um novo elemento no final das matrizes de entrada para o índice -1. Para restore o comportamento anterior, setspark.sql.legacy.negativeIndexInArrayInsert para true.

Pontos de verificação Delta v2 habilitados por padrão com clustering líquido

Os tables Delta recém-criados com clustering líquido usam pontos de verificação v2 por padrão. Consulte Compatibilidade com agrupamento de líquidos para tables.

Eliminar a funcionalidade Delta table na Visualização Pública

Agora pode eliminar algumas funcionalidades table para Delta tables. O suporte atual inclui queda deletionVectors e v2Checkpoint. Veja as funcionalidades do Drop Delta table.

Compartilhamento Delta: Recipients pode executar consultas em lote em tables partilhadas utilizando vetores de eliminação (Pré-visualização Pública)

O Delta Sharing recipients agora pode executar consultas em lote em tables compartilhadas que usam vetores de exclusão. Consulte Adicionar tables com vetores de exclusão ou mapeamento de column a umde compartilhamento , tables de leitura com vetores de exclusão ou mapeamento de column habilitadoe tables de leitura com vetores de exclusão ou mapeamento de column habilitado.

Compartilhamento Delta: Recipients pode executar consultas em lote em tables compartilhadas com mapeamento column (Visualização pública)

O Delta Sharing recipients agora pode executar consultas em lote em tables compartilhadas que usam mapeamento column. Consulte Adicionar tables com vetores de exclusão ou mapeamento de column a umde compartilhamento , tables de leitura com vetores de exclusão ou mapeamento de column habilitadoe tables de leitura com vetores de exclusão ou mapeamento de column habilitado.

Transmitir a partir do Unity Catalogviews na Pré-visualização Pública

Agora você pode usar o Streaming estruturado para executar leituras de streaming de views registrado no Unity Catalog. O Azure Databricks suporta apenas leituras de streaming de views definidas em relação ao Delta tables. Consulte Ler uma vista do Unity Catalog como um fluxo.

Conector Apache Pulsar em Visualização Pública

Agora você pode usar o Streaming Estruturado para transmitir dados do Apache Pulsar no Azure Databricks. Consulte Stream do Apache Pulsar.

Driver Snowflake atualizado

O driver JDBC Snowflake agora usa a versão 3.13.33.

Variáveis de sessão SQL

Esta versão introduz a capacidade de declarar variáveis temporárias em uma sessão que podem ser como set e, em seguida, referidas em consultas. Consulte Variáveis.

Invocação de parâmetro nomeado para SQL e Python UDF.

Agora você pode usar a invocação de parâmetro nomeado em SQL e Python UDF.

Table argumentos para funções suportam particionamento e ordenação.

É agora possível usar as cláusulas PARTITION BY e ORDER BY para controlar como table argumentos são passados para uma função durante a invocação de função.

Funções SQL incorporadas novas e melhoradas

As seguintes funções incorporadas foram adicionadas:

  • from_xml: Analisa um XML STRING em um STRUCTarquivo .
  • schema_of_xml: Deriva um schema de um XML STRING.
  • session_user: Retorna o usuário conectado.
  • try_reflect: Retorna NULL em vez da exceção se um método Java falhar.

As seguintes funções incorporadas foram melhoradas:

  • mode: Suporte para um parâmetro opcional forçando um resultado determinístico.
  • to_char: Novo suporte para DATE, TIMESTAMPe BINARY.
  • to_varchar: Novo suporte para DATE, TIMESTAMPe BINARY.

Tratamento melhorado de subconsultas correlacionadas

A capacidade de processar correlação em subconsultas foi ampliada:

  • Manipule limit e ordene em subconsultas escalares (laterais) correlacionadas.
  • Suporte as funções window em subconsultas escalares correlacionadas.
  • Suporte a referências correlacionadas em predicados join para subconsultas escalares e laterais

Mudança de comportamento

Verificação rigorosa de tipos no leitor Photon Parquet

O fóton falha ao tentar ler um valor decimal de um column Parquet que não seja um tipo decimal. O fóton também falha ao ler uma matriz de bytes de comprimento fixo do Parquet como uma cadeia de caracteres.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • filelock de 3.12.2 a 3.12.3
    • s3transfer de 0.6.1 a 0.6.2
  • Bibliotecas Java atualizadas:
    • com.uber.h3 de 3.7.0 a 3.7.3
    • io.airlift.aircompressor de 0,24 a 0,25
    • io.delta.delta-sharing-spark_2.12 de 0.7.1 a 0.7.5
    • io.netty.netty-all de 4.1.93.Final a 4.1.96.Final
    • io.netty.netty-buffer de 4.1.93.Final a 4.1.96.Final
    • io.netty.netty-codec de 4.1.93.Final a 4.1.96.Final
    • io.netty.netty-codec-http de 4.1.93.Final a 4.1.96.Final
    • io.netty.netty-codec-http2 de 4.1.93.Final a 4.1.96.Final
    • io.netty.netty-codec-socks de 4.1.93.Final a 4.1.96.Final
    • io.netty.netty-common de 4.1.93.Final a 4.1.96.Final
    • io.netty.netty-handler de 4.1.93.Final a 4.1.96.Final
    • io.netty.netty-handler-proxy de 4.1.93.Final a 4.1.96.Final
    • io.netty.netty-resolver de 4.1.93.Final a 4.1.96.Final
    • io.netty.netty-transport de 4.1.93.Final a 4.1.96.Final
    • io.netty.netty-transport-classes-epoll de 4.1.93.Final a 4.1.96.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.93.Final a 4.1.96.Final
    • io.netty.netty-transport-native-epoll de 4.1.93.Final-linux-x86_64 a 4.1.96.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue de 4.1.93.Final-osx-x86_64 a 4.1.96.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common de 4.1.93.Final a 4.1.96.Final
    • net.snowflake.snowflake-jdbc de 3.13.29 a 3.13.33
    • org.apache.orc.orc-core de 1.9.0-shaded-protobuf para 1.9.1-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.9.0-shaded-protobuf para 1.9.1-shaded-protobuf
    • org.apache.orc.orc-shims de 1.9.0 a 1.9.1

Faísca Apache

O Databricks Runtime 14.1 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [SPARK-45088] [DBRRM-557] Reverter "[SC-142785][PYTHON][CONNECT] Faça getitem funcionar com columnduplicados "
  • [FAÍSCA-43453] [DBRRM-557]Reverter "[SC-143135][PS] Ignorar o names de MultiIndex quando axis=1 para concat"
  • [FAÍSCA-45225] [SC-143207][SQL] XML: Suporte a URL de arquivo XSD
  • [FAÍSCA-45156] [SC-142782][SQL] Wrap inputName por backticks na NON_FOLDABLE_INPUT classe de erro
  • [FAÍSCA-44910] [SC-143082][SQL] Encoders.bean não suporta superclasses com argumentos de tipo genéricos
  • [FAÍSCA-43453] [SC-143135][PS] Ignore o names de MultiIndex quando axis=1 para concat
  • [FAÍSCA-44463] [SS][CONECTAR] Melhore o tratamento de erros para o Connect steaming Python worker
  • [FAÍSCA-44960] [SC-141023][UI] Unescape e consistir no resumo de erros nas páginas da interface do usuário
  • [FAÍSCA-44788] [SC-142980][CONECTAR][PYTHON][SQL] Adicione from_xml e schema_of_xml à função pyspark, spark connect e sql
  • [FAÍSCA-44614] [SC-138460][PYTHON][CONECTAR][3.5] Adicionar pacotes em falta no setup.py
  • [FAÍSCA-45151] [SC-142861][CORE][UI] Suporte a despejo de thread de nível de tarefa
  • [FAÍSCA-45056] [SC-142779][PYTHON][SS][CONECTAR] Testes de terminação para streamingQueryListener e foreachBatch
  • [SPARK-45084] [SC-142828][SS] StateOperatorProgress para usar o número de partition de shuffle efetivo preciso
  • [FAÍSCA-44872] [SC-142405][CONECTAR] Infra de teste de servidor e ReattachableExecuteSuite
  • [FAÍSCA-45197] [SC-142984][CORE] Fazer StandaloneRestServer adicionar JavaModuleOptions aos drivers
  • [FAÍSCA-44404] [SC-139601][SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
  • [SPARK-44647] [SC-142297][SQL] Suporte a chaves SPJ wherejoin menores que chaves de cluster
  • [SPARK-45088] [SC-142785][PYTHON][CONNECT] Permitir que getitem funcione com columns duplicados
  • [FAÍSCA-45128] [SC-142851][SQL] Suporte CalendarIntervalType em Seta
  • [FAÍSCA-45130] [SC-142976][CONECTAR][ML][PYTHON] Evite o modelo de ML do Spark connect para alterar o dataframe de pandas de entrada
  • [FAÍSCA-45034] [SC-142959][SQL] Suporta a função de modo determinístico
  • [SPARK-45173] [SC-142931][UI] Remove alguns arquivos sourceMapping desnecessários na interface do usuário
  • [SPARK-45162] [SC-142781][SQL] Mapas de suporte e parameters de matriz construídos via call_function
  • [FAÍSCA-45143] [SC-142840][PYTHON][CONECTAR] Torne o PySpark compatível com o PyArrow 13.0.0
  • [FAÍSCA-45174] [SC-142837][CORE] Suporte spark.deploy.maxDrivers
  • [FAÍSCA-45167] [SC-142956][CONECTAR][PYTHON] Cliente Python deve chamar release_all
  • [SPARK-36191] [SC-142777][SQL] Manipular limit e ordenar em subconsultas escalares (laterais) correlacionadas
  • [FAÍSCA-45159] [SC-142829][PYTHON] Manipular argumentos nomeados somente quando necessário
  • [FAÍSCA-45133] [SC-142512][CONECTAR] Fazer com que as consultas do Spark Connect sejam CONCLUÍDAS quando a última tarefa de resultado for concluída
  • [FAÍSCA-44801] [SC-140802][SQL][UI] Captura analisando consultas com falha no Listener e na interface do usuário
  • [FAÍSCA-45139] [SC-142527][SQL] Adicionar DatabricksDialect para manipular a conversão de tipo SQL
  • [FAÍSCA-45157] [SC-142546][SQL] Evite verificações repetidas if[On|Off|HeapColumnVector
  • [FAÍSCA-45077] Reverter "[SC-142069][UI] Atualizar dagre-d3.js de 04.3 para 0.6.4"
  • [FAÍSCA-45145] [SC-142521][EXEMPLO] Adicionar exemplo JavaSparkSQLCli
  • [SPARK-43295] Reverter “[SC-142254][PS] Suporte ao tipo string columns para DataFrameGroupBy.sum”
  • [FAÍSCA-44915] [SC-142383][CORE] Valide a soma de verificação dos dados aleatórios do PVC remontado antes da recuperação
  • [SPARK-45147] [SC-142524][CORE] RemoveSystem.setSecurityManager uso
  • [FAÍSCA-45104] [SC-142206][UI] Atualize graphlib-dot.min.js para a versão 1.0.2
  • [FAÍSCA-44238] [SC-141606][CORE][SQL] Introduza um novo readFrom método com entrada de matriz de bytes para BloomFilter
  • [FAÍSCA-45060] [SC-141742][SQL] Corrigir um erro interno a partir do to_char()NULL formato
  • [FAÍSCA-43252] [SC-142381][SQL] Substitua a classe _LEGACY_ERROR_TEMP_2016 de erro por um erro interno
  • [FAÍSCA-45069] [SC-142279][SQL] A variável SQL deve ser sempre resolvida após a referência externa
  • [SPARK-44911] [SC-142388][SQL] Criar table de hive com column inválido deve retornar a classe de erro
  • [FAÍSCA-42754] [SC-125567][SQL][UI] Corrigir problema de compatibilidade com versões anteriores na execução SQL aninhada
  • [FAÍSCA-45121] [SC-142375][CONECTAR][PS] Suporte Series.empty para Spark Connect.
  • [SPARK-44805] [SC-142203][SQL] getBytes/getShorts/getInts/etc. devem funcionar em um vetor column que tenha um dicionário
  • [FAÍSCA-45027] [SC-142248][PYTHON] Ocultar funções/variáveis internas do pyspark.sql.functions preenchimento automático
  • [FAÍSCA-45073] [SC-141791][PS][CONECTAR] Substitua LastNotNull por Last(ignoreNulls=True)
  • [FAÍSCA-44901] [SC-141676][SQL] Backport manual: Adicionar API no método Python UDTF 'analyze' para retornar expressões de particionamento/ordenação
  • [FAÍSCA-45076] [SC-141795][PS] Mudar para a função incorporada repeat
  • [FAÍSCA-44162] [SC-141605][CORE] Suporte G1GC em métricas de faísca
  • [FAÍSCA-45053] [SC-141733][PYTHON][MENOR] Melhoria de log na incompatibilidade de versão python
  • [FAÍSCA-44866] [SC-142221][SQL] Adicionar SnowflakeDialect para manipular o tipo BOOLEAN corretamente
  • [FAÍSCA-45064] [SC-141775][PYTHON][CONECTAR] Adicione o parâmetro ausente scale em ceil/ceiling
  • [FAÍSCA-45059] [SC-141757][CONECTAR][PYTHON] Adicionar try_reflect funções ao Scala e Python
  • [FAÍSCA-43251] [SC-142280][SQL] Substitua a classe _LEGACY_ERROR_TEMP_2015 de erro por um erro interno
  • [SPARK-45052] [SC-141736][SQL][PYTHON][CONNECT] Tornar a saída column nome de aliases de função consistente com SQL
  • [SPARK-44239] [SC-141502][SQL] Memória livre alocada por grandes vetores quando vetores são reset
  • [SPARK-43295] [SC-142254][PS] Suporte tipo string columns para DataFrameGroupBy.sum
  • [FAÍSCA-45080] [SC-142062][SS] Chamar explicitamente o suporte para colunar em fontes de dados de streaming DSv2
  • [FAÍSCA-45036] [SC-141768][SQL] SPJ: Simplifique a lógica para lidar com a distribuição parcialmente clusterizada
  • [FAÍSCA-45077] [SC-142069][UI] Atualizar dagre-d3.js de 0.4.3 para 0.6.4
  • [SPARK-45091] [SC-142020][PYTHON][CONNECT][SQL] Função floor/round/bround aceitar Column tipo scale
  • [SPARK-45090] [SC-142019][PYTHON][CONNECT] DataFrame.{cube, rollup} suporte column ordinais
  • [FAÍSCA-44743] [SC-141625][SQL] Adicionar try_reflect função
  • [FAÍSCA-45086] [SC-142052][UI] Exibir hexadecimal para código hash de bloqueio de thread
  • [FAÍSCA-44952] [SC-141644][SQL][PYTHON] Suporte a argumentos nomeados em UDFs Pandas agregados
  • [FAÍSCA-44987] [SC-141552][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1100
  • [FAÍSCA-45032] [SC-141730][CONECTAR] Corrigir avisos de compilação relacionados a Top-level wildcard is not allowed and will error under -Xsource:3
  • [FAÍSCA-45048] [SC-141629][CONECTAR] Adicione testes adicionais para o cliente Python e execução anexável
  • [FAÍSCA-45072] [SC-141807][CONECTAR] Corrigir escopos externos para classes de amonite
  • [FAÍSCA-45033] [SC-141759][SQL] Mapas de suporte por parametrizado sql()
  • [SPARK-45066] [SC-141772][SQL][PYTHON][CONNECT] Fazer com que a função repeat aceite column-type n
  • [FAÍSCA-44860] [SC-141103][SQL] Adicionar função SESSION_USER
  • [SPARK-45074] [SC-141796][PYTHON][CONNECT] DataFrame.{sort, sortWithinPartitions} suporte column ordinais
  • [FAÍSCA-45047] [SC-141774][PYTHON][CONECTAR] DataFrame.groupBy ordinais de suporte
  • [FAÍSCA-44863] [SC-140798][UI] Adicionar um botão para baixar o dump de thread como um txt na interface do usuário do Spark
  • [FAÍSCA-45026] [SC-141604][CONECTAR] spark.sql deve suportar tipos de dados não compatíveis com seta
  • [FAÍSCA-44999] [SC-141145][CORE] Refatorar ExternalSorter para reduzir as verificações ao shouldPartition ligar getPartition
  • [FAÍSCA-42304] [SC-141501][SQL] Renomear _LEGACY_ERROR_TEMP_2189 para GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
  • [FAÍSCA-43781] [SC-139450][SQL] Corrija IllegalStateException ao coagrupar dois conjuntos de dados derivados da mesma fonte
  • [FAÍSCA-45018] [SC-141516][PYTHON][CONECTAR] Adicionar CalendarIntervalType ao cliente Python
  • [FAÍSCA-45024] [SC-141513][PYTHON][CONECTAR] Filtrar algumas configurações na Criação de Sessão
  • [FAÍSCA-45017] [SC-141508][PYTHON] Adicionar CalendarIntervalType ao PySpark
  • [FAÍSCA-44720] [SC-139375][CONECTAR] Fazer com que o conjunto de dados use Encoder em vez de AgnosticEncoder
  • [FAÍSCA-44982] [SC-141027][CONECTAR] Marcar as configurações do servidor Spark Connect como estáticas
  • [FAÍSCA-44839] [SC-140900][SS][CONECTAR] Melhor registro de erros quando o usuário tenta serializar a sessão de faísca
  • [SPARK-44865] [SC-140905][SS] Fazer com que o StreamingRelationV2 suporte metadados column
  • [FAÍSCA-45001] [SC-141141][PYTHON][CONECTAR] Implementar DataFrame.foreachPartition
  • [SPARK-44497] [SC-141017][WEBUI] Mostrar o id da tarefa partition na tarefa table
  • [FAÍSCA-45006] [SC-141143][UI] Use o mesmo formato de data de outros elementos de data da interface do usuário para o eixo x das linhas do tempo
  • [FAÍSCA-45000] [SC-141135][PYTHON][CONECTAR] Implementar DataFrame.foreach
  • [FAÍSCA-44967] [SC-141137][SQL][CONECTAR] A unidade deve ser considerada primeiro antes de usar Boolean para TreeNodeTag
  • [FAÍSCA-44993] [SC-141088][CORE] Adicionar ShuffleChecksumUtils.compareChecksums reutilizando ShuffleChecksumTestHelp.compareChecksums
  • [FAÍSCA-44807] [SC-140176][CONECTAR] Adicionar Dataset.metadataColumn ao cliente Scala
  • [FAÍSCA-44965] [SC-141098][PYTHON] Ocultar funções/variáveis internas de pyspark.sql.functions
  • [FAÍSCA-44983] [SC-141030][SQL] Converter binário em string por to_char para os formatos: hex, base64, utf-8
  • [FAÍSCA-44980] [DBRRM-462][SC-141024][PYTHON][CONECTAR] Corrigir namedtuples herdados para trabalhar em createDataFrame
  • [FAÍSCA-44985] [SC-141033][CORE] Use toString em vez de stacktrace para threadDump do ceifador de tarefas
  • [SPARK-44984] [SC-141028][PYTHON][CONNECT] Remove_get_alias from DataFrame
  • [SPARK-44975] [SC-141013][SQL] Remove Sobreposição desnecessária de BinaryArithmetic resolvida
  • [FAÍSCA-44969] [SC-140957][SQL] Reutilização ArrayInsert em ArrayAppend
  • [SPARK-44549] [SC-140714][SQL] Suportar window funções em subconsultas escalares correlacionadas
  • [FAÍSCA-44938] [SC-140811][SQL] Alterar o valor padrão de spark.sql.maxSinglePartitionBytes até 128m
  • [FAÍSCA-44918] [SC-140816][SQL][PYTHON] Suporte a argumentos nomeados em UDFs escalares Python/Pandas
  • [FAÍSCA-44966] [SC-140907][CORE][CONECTAR] Altere o nunca alterado var para val
  • [SPARK-41471] [SC-140804][SQL] Reduzir o shuffle do Spark quando apenas um lado de um join é KeyGroupedPartitioning
  • [FAÍSCA-44214] [SC-140528][CORE] Suporte Spark Driver Live Log UI
  • [FAÍSCA-44861] [SC-140716][CONECTAR] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [FAÍSCA-44776] [SC-140519][CONECTAR] Adicionar Produced RowCount a SparkListenerConnectOperationFinished
  • [SPARK-42017] [SC-140765][PYTHON][CONNECT] df['col_name'] deve validar o nome column
  • [FAÍSCA-40178] [SC-140433][SQL][COONECT] Suporte aglutinar dicas com facilidade para PySpark e R
  • [FAÍSCA-44840] [SC-140593][SQL] Faça array_insert() 1 base para índices negativos
  • [FAÍSCA-44939] [SC-140778][R] Suporte Java 21 em SparkR SystemRequirements
  • [SPARK-44936] [SC-140770][CORE] Simplifique o log quando o Spark HybridStore atinge a memória limit
  • [FAÍSCA-44908] [SC-140712][ML][CONECTAR] Corrigir a funcionalidade foldCol param do validador cruzado
  • [FAÍSCA-44816] [SC-140717][CONECTAR] Melhorar a mensagem de erro quando a classe UDF não é encontrada
  • [FAÍSCA-44909] [SC-140710][ML] Ignorar o servidor de streaming de log do distribuidor da tocha inicial quando ele não estiver disponível
  • [FAÍSCA-44920] [SC-140707][CORE] Use await() em vez de awaitUninterruptibly() em TransportClientFactory.createClient()
  • [FAÍSCA-44905] [SC-140703][SQL] Stateful lastRegex causa NullPointerException em eval para regexp_replace
  • [FAÍSCA-43987] [SC-139594][Embaralhar] FinalizeShuffleMerge Processamento separado para pools de threads dedicados
  • [FAÍSCA-42768] [SC-140549][SQL] Habilitar plano em cache aplicar AQE por padrão
  • [FAÍSCA-44741] [SC-139447][CORE] Suporte MetricFilter baseado em regex em StatsdSink
  • [FAÍSCA-44751] [SC-140532][SQL] Implementação da XML FileFormat Interface
  • [FAÍSCA-44868] [SC-140438][SQL] Converter datetime em string por to_char/to_varchar
  • [SPARK-44748] [SC-140504][SQL] Execução de consulta para a cláusula PARTITION BY nos argumentos UDTF TABLE
  • [SPARK-44873] [SC-140427] Suporte à alteração de vista com columns aninhado no cliente Hive
  • [FAÍSCA-44876] [SC-140431][PYTHON] Corrigir UDF Python otimizado para seta no Spark Connect
  • [FAÍSCA-44520] [SC-137845][SQL] Substitua o termo UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY por AE raiz de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY e divulgação
  • [FAÍSCA-42664] [SC-139769][CONECTAR] Função de suporte bloomFilter para DataFrameStatFunctions
  • [FAÍSCA-43567] [SC-139227][PS] Suporte use_na_sentinel para factorize
  • [FAÍSCA-44859] [SC-140254][SS] Corrigir nome de propriedade incorreto no documento de streaming estruturado
  • [FAÍSCA-44822] [SC-140182][PYTHON][SQL] Tornar UDTFs Python por padrão não-determinísticos
  • [FAÍSCA-44731] [SC-139524][PYTHON][CONECTAR] Make TimestampNTZ funciona com literais no Python Spark Connect
  • [FAÍSCA-44836] [SC-140180][PYTHON] Seta Refator: Python UDTF
  • [SPARK-44714] [SC-139238] Aliviar a restrição da resolução LCA em relação a consultas com having
  • [FAÍSCA-44749] [SC-139664][SQL][PYTHON] Suporte a argumentos nomeados em Python UDTF
  • [FAÍSCA-44737] [SC-139512][SQL][UI] Não deve exibir erros de formato json na página SQL para não-SparkThrowables na guia SQL
  • [FAÍSCA-44665] [SC-139307][PYTHON] Adicionar suporte para pandas DataFrame assertDataFrameEqual
  • [FAÍSCA-44736] [SC-139622][CONECTAR] Adicionar Dataset.explode ao cliente Spark Connect Scala
  • [FAÍSCA-44732] [SC-139422][SQL] Suporte a fonte de dados XML integrada
  • [FAÍSCA-44694] [SC-139213][PYTHON][CONECTAR] Refatore sessões ativas e exponha como uma API
  • [FAÍSCA-44652] [SC-138881] Erro de aumento quando apenas um df é Nenhum
  • [FAÍSCA-44562] [SC-138824][SQL] Adicionar OptimizeOneRowRelationSubquery em lote de Subconsulta
  • [FAÍSCA-44717] [SC-139319][PYTHON][PS] Respeite o carimbo de data/horaNTZ na reamostragem
  • [FAÍSCA-42849] [SC-139365] [SQL] Variáveis de sessão
  • [SPARK-44236] [SC-139239][SQL] Desativar WholeStageCodegen quando setspark.sql.codegen.factoryMode para NO_CODEGEN
  • [FAÍSCA-44695] [SC-139316][PYTHON] Melhorar a mensagem de erro para DataFrame.toDF
  • [SPARK-44680] [SC-139234][SQL] Melhorar o erro para parameters no DEFAULT
  • [FAÍSCA-43402] [SC-138321][SQL] FileSourceScanExec suporta filtro de dados push down com subconsulta escalar
  • [FAÍSCA-44641] [SC-139216][SQL] Resultado incorreto em determinados cenários quando o SPJ não é acionado
  • [FAÍSCA-44689] [SC-139219][CONECTAR] Tornar o tratamento de exceções da função SparkConnectPlanner#unpackScalarScalaUDF mais universal
  • [FAÍSCA-41636] [SC-139061][SQL] Certifique-se de retornar selectFilters predicados em ordem determinística
  • [SPARK-44132] [SC-139197][SQL] Materializar Stream de nomes de joincolumn para evitar falha de codegen
  • [FAÍSCA-42330] [SC-138838][SQL] Atribuir o nome RULE_ID_NOT_FOUND à classe de erro _LEGACY_ERROR_TEMP_2175
  • [FAÍSCA-44683] [SC-139214][SS] O nível de registro em log não é passado corretamente para o provedor de armazenamento de estado RocksDB
  • [FAÍSCA-44658] [SC-138868][CORE] ShuffleStatus.getMapStatus deve retornar None em vez de Some(null)
  • [FAÍSCA-44603] [SC-138353] Adicionar pyspark.testing ao setup.py
  • [SPARK-44252] [SC-137505][SS] Definir uma nova classe de erro e aplicar para o caso where estado de carregamento do DFS falhar
  • [FAÍSCA-29497] [DBRRM-396][SC-138477][CONECTAR] Erro de lançamento quando UDF não é desserializável.
  • [FAÍSCA-44624] [DBRRM-396][SC-138900][CONECTAR] Tente novamente ExecutePlan caso a solicitação inicial não chegue ao servidor
  • [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Dependência do Catalyst do Cliente Remove Connect
  • [FAÍSCA-44059] [SC-138833][SQL] Adicionar melhores mensagens de erro para SQL chamado argumnts
  • [FAÍSCA-44620] [SC-138831][SQL][PS][CONECTAR] Faça ResolvePivot reter o Plan_ID_TAG
  • [SPARK-43838] [SC-137413][SQL] Corrigir subconsulta em table único com cláusula having não pode ser otimizada
  • [FAÍSCA-44555] [SC-138820][SQL] Use checkError() para verificar Exception no command Suite & atribuir alguns nomes de classe de erro
  • [FAÍSCA-44280] [SC-138821][SQL] Adicionar convertJavaTimestampToTimestamp na API JDBCDialect
  • [FAÍSCA-44602] [SC-138337][SQL][CONECTAR][PS] Faça WidenSetOperationTypes reter o Plan_ID_TAG
  • [FAÍSCA-42941] [SC-138389][SS][CONECTAR] Python StreamingQueryListener
  • [FAÍSCA-43838] Reverter "[SC-137413][SQL] Corrigir subconsulta em ta...
  • [FAÍSCA-44538] [SC-138178][CONECTAR][SQL] Restabelecer Row.jsonValue e amigos
  • [FAÍSCA-44421] [SC-138434][FAÍSCA-44423][CONECTAR] Execução reconectável no Spark Connect
  • [SPARK-43838] [SC-137413][SQL] Corrigir subconsulta em table único com cláusula having não pode ser otimizada
  • [SPARK-44587] [SC-138315][SQL][CONNECT] Aumentar a recursão do protobuf marshaller limit
  • [FAÍSCA-44605] [SC-138338][CORE] Refinar a API interna do ShuffleWriteProcessor
  • [FAÍSCA-44394] [SC-138291][CONECTAR][WEBUI] Adicionar uma página da interface do usuário do Spark para o Spark Connect
  • [FAÍSCA-44585] [SC-138286][MLLIB] Corrigir condição de aviso no MLLib RankingMetrics ndcgAk
  • [FAÍSCA-44198] [SC-138137][CORE] Suporte à propagação do nível de log para os executores
  • [FAÍSCA-44454] [SC-138071][SQL][VIH] Fallback de suporte do HiveShim getTablesByType
  • [FAÍSCA-44425] [SC-138135][CONECTAR] Valide se sessionId fornecido pelo usuário é um UUID
  • [FAÍSCA-43611] [SC-138051][SQL][PS][CONNCECT] Faça ExtractWindowExpressions reter o PLAN_ID_TAG
  • [FAÍSCA-44560] [SC-138117][PYTHON][CONECTAR] Melhorar testes e documentação para Arrow Python UDF
  • [FAÍSCA-44482] [SC-138067][CONECTAR] O servidor Connect deve especificar o endereço de ligação
  • [FAÍSCA-44528] [SC-138047][CONECTAR] Suporte ao uso adequado de hasattr() para dataframe Connect
  • [FAÍSCA-44525] [SC-138043][SQL] Melhorar a mensagem de erro quando o método Invoke não for encontrado
  • [FAÍSCA-44355] [SC-137878][SQL] Mover WithCTE para consultas de comando

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Consulte Atualizações de manutenção do Databricks Runtime 14.1.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Escala: 2.12.15
  • Píton: 3.10.12
  • R: 4.3.1
  • Lago Delta: 3.0.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Anyio 3.5.0 Argônio2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0
AstTokens 2.0.5 ATRs 22.1.0 Backcall 0.2.0
sopa bonita4 4.11.1 preto 22.6.0 lixívia 4.1.0
pisca-pisca 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
Normalizador de Charset 2.0.4 clicar 8.0.4 Comm 0.1.2
contorno 1.0.5 criptografia 39.0.1 cycler 0.11.0
Quisto 0.29.32 Databricks-SDK 0.1.6 dbus-python 1.2.18
depuração 1.6.7 decorador 5.1.1 DeUsedXML 0.7.1
Distlib 0.3.7 docstring-para-markdown 0,11 pontos de entrada 0.4
execução 0.8.3 facetas-visão geral 1.1.1 fastjsonschema 2.18.0
filelock 3.12.3 Fonttools 4.25.0 Biblioteca de tempo de execução do GCC 1.10.0
googleapis-comuns-protos 1.60.0 Grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadados 4.6.4
Ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 Joblib 1.2.0
jsonschema 4.17.3 jupyter-cliente 7.3.4 jupyter-servidor 1.23.4
jupyter_core 5.2.0 Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0
porta-chaves 23.5.0 Kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-em linha 0.1.6
Mccabe 0.7.0 Mistune 0.8.4 mais-itertools 8.10.0
mypy-extensões 0.4.3 NBMédico 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 Ninho-Asyncio 1.5.6
nodeenv 1.8.0 bloco de notas 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 OAuthlib 3.2.0 embalagem 22.0
pandas 1.5.3 PandocFilters 1.5.0 Parso 0.8.3
PathSpec 0.10.3 patsy 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Travesseiro 9.4.0 pip 22.3.1
plataformadirs 2.5.2 enredo 5.9.0 pluggy 1.0.0
Prometheus-cliente 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
PSUTIL 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
puro-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
Pidântico 1.10.6 Pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 Pyodbc 4.0.32
pyparsing 3.0.9 Pyright 1.1.294 pirsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-servidor 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 Pyzmq 23.2.0
pedidos 2.28.1 corda 1.7.0 s3transferir 0.6.2
scikit-learn 1.1.1 seaborn 0.12.2 Armazenamento Secreto 3.3.1
Enviar2Lixo 1.8.0 setuptools 65.6.3 seis 1.16.0
sniffio 1.2.0 Soupsieve 2.3.2.post1 ssh-import-id 5.11
dados de pilha 0.2.0 statsmodels 0.13.5 tenacidade 8.1.0
terminado 0.17.1 ThreadPoolCtl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 Tomli 2.0.1 tornado 6.1
traços 5.7.1 typing_extensions 4.4.0 Ujson 5.4.0
Upgrades autônomos 0.1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 largura de wc 0.2.5 WebEncodings 0.5.1
Websocket-cliente 0.58.0 whatthepatch 1.0.2 roda 0.38.4
widgetsnbextension 3.6.1 Yapf 0.31.0 zipp | 1.0.0
SciPy 1.10.1

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager em 2023-02-10.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 12.0.1 AskPass 1.1 asserçãoat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
arranque 1.3-28 brew 1.0-8 Brio 1.1.3
vassoura 1.0.5 BSLIB 0.5.0 cachem 1.0.8
Chamador 3.7.3 acento circunflexo 6.0-94 Cellranger 1.1.0
crono 2.3-61 classe 7.3-22 cli 3.6.1
Clipr 0.8.0 relógio 0.7.0 cluster 2.1.4
codetools 0.2-19 espaço em cores 2.1-0 marca comum 1.9.0
compilador 4.3.1 configuração 0.3.1 conflituosos 1.2.0
CPP11 0.4.4 lápis de cor 1.5.2 credentials 1.3.2
curl 5.0.1 dados.table 1.14.8 conjuntos de dados 4.3.1
DBI 1.1.3 DBPlyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagrama 1.6.5 diffobj 0.3.5
resumo 0.6.33 Iluminação reduzida 0.4.3 dplyr 1.1.2
DTPlyr 1.3.1 E1071 1.7-13 reticências 0.3.2
evaluate 0.21 Fãsi 1.0.4 Farver 2.1.1
mapa rápido 1.1.1 fontawesome 0.5.1 FORCATS 1.0.0
foreach 1.5.2 externa 0.8-82 forjar 0.2.0
FS 1.6.2 Futuro 1.33.0 future.apply 1.11.0
gargarejo 1.5.1 Genéricos 0.1.3 Gert 1.9.2
ggplot2 3.4.2 GH 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globais 0.16.2 colar 1.6.2
GoogleDrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
gráficos 4.3.1 grDevices 4.3.1 grelha 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
capacete 1.3.0 Refúgio 2.5.3 mais alto 0.10
HMS 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 HTTR2 0.2.3
IDs 1.0.1 ini 0.3.1 ipred 0.9-14
Isoband 0.2.7 iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 Knitr 1.43
etiquetagem 0.4.2 mais tarde 1.3.1 lattice 0.21-8
lava 1.7.2.1 ciclo de vida 1.0.3 ouvirv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Marcação 1.7
MASSA 7.3-60 Matriz 1.5-4.1 memoise 2.0.1
métodos 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 Modelador 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 paralelo 4.3.1
Paralelamente 1.36.0 pilar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 elogiar 1.0.0
unidades bonitas 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 Profvis 0.3.8 Progresso 1.2.2
progressor 0.13.0 promessas 1.2.0.1 proto 1.0.0
procuração 0.4-27 PS 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 RAGG 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
Leitor 2.1.4 ReadXL 1.4.3 receitas 1.0.6
revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.4.2
Reprex 2.0.2 remodelar2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversões 2.1.2
Rvest 1.0.3 Sass 0.4.6 escalas 1.2.1
seletor 0.4-2 sessioninfo 1.2.2 forma 1.4.6
brilhante 1.7.4.1 ferramentas de origem 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 espacial 7.3-15 splines 4.3.1
sqldf 0.4-11 QUADRADO 2021.1 estatísticas 4.3.1
stats4 4.3.1 stringi 1.7.12 stringr 1.5.0
sobrevivência 3.5-5 sys 3.4.2 fontes do sistema 1.0.4
tcltk 4.3.1 testeatat 3.1.10 formatação de texto 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
Tidyverse 2.0.0 mudança de hora 0.2.0 timeDate 4022.108
Tinytex 0,45 ferramentas 4.3.1 TZDB 0.4.0
urlchecker 1.0.1 usethis 2.2.2 UTF8 1.2.3
utilitários 4.3.1 uuid 1.1-0 VCTRS 0.6.3
viridisLite 0.4.2 vroom 1.6.3 Waldo 0.5.1
whisker 0.4.1 withr 2.5.0 xfun 0,39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.3.0

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Nativos
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-Nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Nativos
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-Nativos
com.github.luben ZSTD-JNI 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind JAXB-CORE 2.2.11
com.sun.xml.bind JAXB-IMPL 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib Lapack | 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.25
IO.Delta delta-compartilhamento-spark_2.12 0.7.5
io.dropwizard.metrics métricas-anotação 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics métricas-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-meias 4.1.96.Final
io.netty netty-comum 4.1.96.Final
io.netty netty-manipulador 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Janelas finais x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty transporte de rede 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-nativo-unix-comum 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna JNA 5.8.0
net.razorvine picles 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.33
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow formato de seta 12.0.1
org.apache.arrow seta-memória-núcleo 12.0.1
org.apache.arrow seta-memória-netty 12.0.1
org.apache.arrow vetor de seta 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapeado 1.11.2
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator curador-framework 2.13.0
org.apache.curator curador-receitas 2.13.0
org.apache.datasketches Datasketches-Java 3.1.0
org.apache.datasketches datasketches-memória 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-protobuf sombreado
org.apache.orc orc-núcleo 1.9.1-protobuf sombreado
org.apache.orc orc-mapreduce 1.9.1-protobuf sombreado
org.apache.orc Orc-calços 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-sombreado 4.23
org.apache.yetus anotações de audiência 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework verificador-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty cais-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket API WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-cliente 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-Comum 9.4.52.v20230823
org.eclipse.jetty.websocket servidor websocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core servidor de jersey 2.40
org.glassfish.jersey.inject Jersey-HK2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow MLFLOW-Faísca 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap calços 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.15
org.scala-lang Escala-library_2.12 2.12.15
org.scala-lang Escala-reflect_2,12 2.12.15
org.scala-lang.modules scala-coleção-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp Brisa-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten trêsdez-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1