Partilhar via

Tempo de execução do Databricks 15.2

  • Artigo

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 15.2, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em maio de 2024.

Gorjeta

Para ver as notas de versão das versões do Databricks Runtime que atingiram o fim do suporte (EoS), consulte Notas de versão do End-of-support Databricks Runtime. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.

Mudanças comportamentais

Aspirador limpa arquivos de metadados COPY INTO

Executar o VACUUM em uma tabela escrita com COPY INTO agora limpa metadados não referenciados associados ao rastreamento de arquivos ingeridos. Não há impacto na semântica operacional do COPY INTO.

Lakehouse Federation está geralmente disponível (GA)

No Databricks Runtime 15.2 e posterior, os conectores da Lakehouse Federation nos seguintes tipos de banco de dados estão geralmente disponíveis (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Sinapse do Azure (SQL Data Warehouse)
  • Databricks

Esta versão também apresenta as seguintes melhorias:

  • Suporte para autenticação de logon único (SSO) nos conectores Snowflake e Microsoft SQL Server .

  • Suporte do Azure Private Link para o conector do SQL Server a partir de ambientes de computação sem servidor. Consulte Etapa 3: Criar regras de ponto de extremidade privado.

  • Suporte para pushdowns adicionais (string, matemática e funções diversas).

  • Taxa de sucesso de pushdown melhorada em diferentes formas de consulta.

  • Recursos adicionais de depuração por pushdown:

    • A EXPLAIN FORMATTED saída exibe o texto da consulta pressionado.
    • A interface do usuário do perfil de consulta exibe o texto da consulta pressionado, os identificadores de nó federado e os tempos de execução da consulta JDBC (no modo detalhado). Consulte Exibir consultas federadas geradas pelo sistema.

BY POSITION para mapeamento de colunas usando COPY INTO com arquivos CSV sem cabeçalho

No Databricks Runtime 15.2 e posterior, você pode usar as BY POSITION palavras-chave (ou sintaxe ( col_name [ , <col_name> ... ] )alternativa) com COPY INTO para arquivos CSV sem cabeçalho para simplificar a coluna de origem para o mapeamento de coluna da tabela de destino. Consulte Parâmetros.

Reduzir o consumo de memória quando as tarefas do Spark falham com um Resubmitted erro

No Databricks Runtime 15.2 e posterior, o valor de retorno do método Spark TaskInfo.accumulables() fica vazio quando as tarefas falham com um Resubmitted erro. Anteriormente, o método retornava os valores de uma tentativa de tarefa bem-sucedida anterior. Essa alteração de comportamento afeta os seguintes consumidores:

  • Tarefas de ignição que usam a EventLoggingListener classe.
  • Ouvintes personalizados do Spark.

Para restaurar o comportamento anterior, defina spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled como false.

A visualização de versões do plano de execução de consulta adaptável está desativada

Para reduzir o consumo de memória, as versões do plano de execução de consulta adaptável (AQE) agora estão desabilitadas por padrão na interface do usuário do Spark. Para habilitar a visualização de versões do plano AQE na interface do usuário do Spark, defina como spark.databricks.sql.aqe.showPlanChangesInUI.enabledtrue.

O limite de consultas retidas é reduzido para reduzir o uso de memória da interface do usuário do Spark

No Databricks Runtime 15.2 e posterior, para reduzir a memória consumida pela interface do usuário do Spark na computação do Azure Databricks, o limite do número de consultas visíveis na interface do usuário é reduzido de 1000 para 100. Para alterar o limite, defina um novo valor usando a configuração do spark.sql.ui.retainedExecutions Spark.

DESCRIBE HISTORY agora mostra colunas de agrupamento para tabelas que usam clustering líquido

Quando você executa uma DESCRIBE HISTORY consulta, a operationParameters coluna mostra um clusterBy campo por padrão para CREATE OR REPLACE e OPTIMIZE operações. Para uma tabela Delta que usa clustering líquido, o campo é preenchido clusterBy com as colunas de agrupamento da tabela. Se a tabela não usar agrupamento líquido, o campo estará vazio.

Novos recursos e melhorias

Suporte para chaves primárias e estrangeiras é GA

O suporte para chaves primárias e estrangeiras no Databricks Runtime está geralmente disponível. A versão GA inclui as seguintes alterações nos privilégios necessários para usar chaves primárias e estrangeiras:

  • Para definir uma chave estrangeira, você deve ter o SELECT privilégio na tabela com a chave primária à qual a chave estrangeira se refere. Você não precisa possuir a tabela com a chave primária, que era exigida anteriormente.
  • Descartar uma chave primária usando a CASCADE cláusula não requer privilégios nas tabelas que definem chaves estrangeiras que fazem referência à chave primária. Anteriormente, você precisava possuir as tabelas de referência.
  • Descartar uma tabela que inclui restrições agora requer os mesmos privilégios que descartar tabelas que não incluem restrições.

Para saber como usar chaves primárias e estrangeiras com tabelas ou exibições, consulte Cláusula CONSTRAINT, Cláusula ADD CONSTRAINT e Cláusula DROP CONSTRAINT.

O agrupamento líquido é GA

O suporte para clustering líquido agora está disponível em geral usando o Databricks Runtime 15.2 e superior. Veja Utilizar clustering líquido para tabelas Delta.

O alargamento de tipo está na Pré-visualização Pública

Agora você pode habilitar o alargamento de tipo em tabelas apoiadas pelo Delta Lake. As tabelas com alargamento de tipo ativado permitem alterar o tipo de colunas para um tipo de dados mais amplo sem reescrever arquivos de dados subjacentes. Consulte Alargamento de tipos.

Cláusula de evolução de esquema adicionada à sintaxe de mesclagem SQL

Agora você pode adicionar a cláusula a uma instrução de mesclagem SQL para habilitar a WITH SCHEMA EVOLUTION evolução do esquema para a operação. Consulte Sintaxe de evolução do esquema para mesclagem.

As fontes de dados personalizadas do PySpark estão disponíveis no Public Preview

Um PySpark DataSource pode ser criado usando a API DataSource Python (PySpark), que permite ler fontes de dados personalizadas e gravar em coletores de dados personalizados no Apache Spark usando Python. Veja as fontes de dados personalizadas do PySpark

applyInPandas e mapInPandas agora disponíveis no Unity Catalog compute com modo de acesso compartilhado

Como parte de uma versão de manutenção do Databricks Runtime 14.3 LTS, applyInPandas os mapInPandas tipos UDF agora são suportados na computação do modo de acesso compartilhado executando o Databricks Runtime 14.3 e superior.

Use dbutils.widgets.getAll() para obter todos os widgets em um bloco de anotações

Use dbutils.widgets.getAll() para obter todos os valores de widget em um bloco de anotações. Isso é especialmente útil ao passar vários valores de widgets para uma consulta SQL do Spark.

Suporte de inventário de vácuo

Agora você pode especificar um inventário de arquivos a serem considerados ao executar o VACUUM comando em uma tabela Delta. Consulte os documentos do OSS Delta.

Suporte para funções de compressão Zstandard

Agora você pode usar as funções zst_compress, zstd_decompress e try_zstd_decompress para compactar e descompactar BINARY dados.

Correções de erros

Os planos de consulta na interface do usuário do SQL agora são exibidos corretamente PhotonWriteStage

Quando exibidos na interface do usuário do SQL, write os comandos em planos de consulta exibidos PhotonWriteStage incorretamente como um operador. Com esta versão, a interface do usuário é atualizada para ser exibida PhotonWriteStage como um palco. Esta é apenas uma alteração da interface do usuário e não afeta como as consultas são executadas.

O Ray é atualizado para corrigir problemas com a inicialização de clusters Ray

Esta versão inclui uma versão corrigida do Ray que corrige uma alteração de quebra que impede que os clusters Ray iniciem com o Databricks Runtime for Machine Learning. Essa alteração garante que a funcionalidade do Ray seja idêntica às versões do Databricks Runtime anteriores à 15.2.

Classe de erro corrigida para DataFrame.sort() e DataFrame.sortWithinPartitions() funções

Esta versão inclui uma atualização para o PySpark DataFrame.sort() e DataFrame.sortWithinPartitions() funções para garantir que a ZERO_INDEX classe de erro seja lançada quando 0 for passada como o argumento de índice. Anteriormente, a classe INDEX_NOT_POSITIVE de erro foi lançada.

ipywidgets é rebaixado de 8.0.4 para 7.7.2

Para corrigir erros introduzidos por uma atualização de ipywidgets para 8.0.4 no Databricks Runtime 15.0, ipywidgets é rebaixado para 7.7.2 no Databricks Runtime 15.2. Esta é a mesma versão incluída em versões anteriores do Databricks Runtime.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • GitPython de 3.1.42 a 3.1.43
    • google-api-core de 2.17.1 a 2.18.0
    • google-auth de 2.28.1 a 2.29.0
    • google-cloud-storage de 2.15.0 a 2.16.0
    • googleapis-common-protos de 1.62.0 a 1.63.0
    • ipywidgets de 8.0.4 a 7.7.2
    • mlflow-skinny de 2.11.1 a 2.11.3
    • s3transfer de 0.10.0 a 0.10.1
    • sqlparse de 0.4.4 a 0.5.0
    • typing_extensions de 4.7.1 a 4.10.0
  • Bibliotecas R atualizadas:
  • Bibliotecas Java atualizadas:
    • com.amazonaws.aws-java-sdk-autoscaling de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-config de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-core de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-directory de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-dynamoDB de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ecs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-efs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-emr de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-glacier de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-glue de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-iam de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-importexport de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-kms de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-lambda de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-logs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-rds de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-redshift de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-route53 de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-s3 de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ses de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sns de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sqs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ssm de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sts de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-support de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces de 1.12.390 a 1.12.610
    • com.amazonaws.jmespath-java de 1.12.390 a 1.12.610

Faísca Apache

O Databricks Runtime 15.2 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-47941] [SC-163568] [SS] [Conectar] Propagar erros de inicialização do trabalhador ForeachBatch aos usuários para o PySpark
  • [FAÍSCA-47412] [SC-163455][SQL] Adicione suporte de agrupamento para LPad/RPad.
  • [FAÍSCA-47907] [SC-163408][SQL] Coloque bang sob uma configuração
  • [FAÍSCA-46820] [SC-157093][PYTHON] Corrigir regressão de mensagem de erro restaurando new_msg
  • [FAÍSCA-47602] [FAÍSCA-47577][FAÍSCA-47598][FAÍSCA-47577]Gerenciadores Core/MLLib/Resource: migração de log estruturado
  • [FAÍSCA-47890] [SC-163324][CONECTAR][PYTHON] Adicione funções variantes ao Scala e ao Python.
  • [FAÍSCA-47894] [SC-163086][CORE][WEBUI] Adicionar Environment página à interface do usuário mestre
  • [FAÍSCA-47805] [SC-163459][SS] Implementando TTL para MapState
  • [FAÍSCA-47900] [SC-163326] Corrigir verificação de agrupamento implícito (UTF8_BINARY)
  • [FAÍSCA-47902] [SC-163316][SQL]Tornando as expressões do Compute Current Time* dobráveis
  • [FAÍSCA-47845] [SC-163315][SQL][PYTHON][CONECTAR] Suporte Tipo de coluna na função split para scala e python
  • [FAÍSCA-47754] [SC-162144][SQL] Postgres: Suporte à leitura de matrizes multidimensionais
  • [FAÍSCA-47416] [SC-163001][SQL] Adicionar novas funções ao CollationBenchmark #90339
  • [FAÍSCA-47839] [SC-163075][SQL] Corrigir bug agregado em RewriteWithExpression
  • [FAÍSCA-47821] [SC-162967][SQL] Implementar is_variant_null expressão
  • [FAÍSCA-47883] [SC-163184][SQL] Fique CollectTailExec.doExecute preguiçoso com o RowQueue
  • [FAÍSCA-47390] [SC-163306][SQL] PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
  • [FAÍSCA-47924] [SC-163282][CORE] Adicionar um log de depuração a DiskStore.moveFileToBlock
  • [FAÍSCA-47897] [SC-163183][SQL][3.5] Corrigir regressão de desempenho do ExpressionSet no scala 2.12
  • [FAÍSCA-47565] [SC-161786][PYTHON] Resiliência a falhas no pool de trabalhadores do PySpark
  • [FAÍSCA-47885] [SC-162989][PYTHON][CONECTAR] Torne pyspark.resource compatível com pyspark-connect
  • [FAÍSCA-47887] [SC-163122][CONECTAR] Remover importação spark/connect/common.proto não utilizada de spark/connect/relations.proto
  • [FAÍSCA-47751] [SC-161991][PYTHON][CONECTAR] Torne pyspark.worker_utils compatível com pyspark-connect
  • [FAÍSCA-47691] [SC-161760][SQL] Postgres: Suporte a matriz multidimensional no lado da escrita
  • [FAÍSCA-47617] [SC-162513][SQL] Adicionar infraestrutura de teste TPC-DS para agrupamentos
  • [FAÍSCA-47356] [SC-162858][SQL] Adicionar suporte para ConcatWs & Elt (todos os agrupamentos)
  • [FAÍSCA-47543] [SC-161234][CONECTAR][PYTHON] Inferindo dict a partir MapType do Pandas DataFrame para permitir a criação do DataFrame
  • [FAÍSCA-47863] [SC-162974][SQL] Fix startsCom & endsCom implementação com reconhecimento de agrupamento para UTI
  • [FAÍSCA-47867] [SC-162966][SQL] Variante de suporte na verificação JSON.
  • [FAÍSCA-47366] [SC-162475][SQL][PYTHON] Adicionar VariantVal para PySpark
  • [FAÍSCA-47803] [SC-162726][SQL] Suporte fundido para variante.
  • [FAÍSCA-47769] [SC-162841][SQL] Adicione schema_of_variant_agg expressão.
  • [FAÍSCA-47420] [SC-162842][SQL] Corrigir saída de teste
  • [FAÍSCA-47430] [SC-161178][SQL] Suporte GROUP BY para MapType
  • [FAÍSCA-47357] [SC-162751][SQL] Adicionar suporte para Upper, Lower, InitCap (todos os agrupamentos)
  • [FAÍSCA-47788] [SC-162729][SS] Garanta o mesmo particionamento de hash para streaming de operações com estado
  • [FAÍSCA-47776] [SC-162291][SS] Não permitir que o agrupamento de desigualdade binária seja usado no esquema de chave do operador stateful
  • [FAÍSCA-47673] [SC-162824][SS] Implementando TTL para ListState
  • [FAÍSCA-47818] [SC-162845][CONECTAR] Introduzir o cache de plano no SparkConnectPlanner para melhorar o desempenho de Analisar solicitações
  • [FAÍSCA-47694] [SC-162783][CONECTAR] Torne o tamanho máximo da mensagem configurável no lado do cliente
  • [FAÍSCA-47274] Revert "[SC-162479][PYTHON][SQL] Forneça mais usef...
  • [FAÍSCA-47616] [SC-161193][SQL] Adicionar documento de usuário para mapear tipos de dados SQL do Spark a partir do MySQL
  • [FAÍSCA-47862] [SC-162837][PYTHON][CONECTAR]Corrigir a geração de arquivos proto
  • [FAÍSCA-47849] [SC-162724][PYTHON][CONECTAR] Altere o script de liberação para liberar pyspark-connect
  • [FAÍSCA-47410] [SC-162518][SQL] Refatore UTF8String e CollationFactory
  • [FAÍSCA-47807] [SC-162505][PYTHON][ML] Torne pyspark.ml compatível com pyspark-connect
  • [FAÍSCA-47707] [SC-161768][SQL] Tratamento especial do tipo JSON para MySQL Connector/J 5.x
  • [FAÍSCA-47765] Reverter "[SC-162636][SQL] Adicionar SET COLLATION a pars...
  • [FAÍSCA-47081] [SC-162151][CONECTAR][SEGUIR] Melhorando a usabilidade do manipulador de progresso
  • [FAÍSCA-47289] [SC-161877][SQL] Permitir que as extensões registrem informações estendidas no plano explicativo
  • [FAÍSCA-47274] [SC-162479][PYTHON][SQL] Fornecer contexto mais útil para erros da API do PySpark DataFrame
  • [FAÍSCA-47765] [SC-162636][SQL] Adicionar SET COLLATION às regras do analisador
  • [FAÍSCA-47828] [SC-162722][CONECTAR][PYTHON] DataFrameWriterV2.overwrite falha com plano inválido
  • [FAÍSCA-47812] [SC-162696][CONECTAR] Suporte à serialização de SparkSession para o trabalhador ForEachBatch
  • [FAÍSCA-47253] [SC-162698][CORE] Permitir que o LiveEventBus pare sem esgotar completamente a fila de eventos
  • [FAÍSCA-47827] [SC-162625][PYTHON] Avisos ausentes para recursos preteridos
  • [FAÍSCA-47733] [SC-162628][SS] Adicionar métricas personalizadas para a parte do operador transformWithState do progresso da consulta
  • [FAÍSCA-47784] [SC-162623][SS] Mescle TTLMode e TimeoutMode em um único TimeMode.
  • [FAÍSCA-47775] [SC-162319][SQL] Suporta os tipos escalares restantes na especificação da variante.
  • [FAÍSCA-47736] [SC-162503][SQL] Adicionar suporte para AbstractArrayType
  • [FAÍSCA-47081] [SC-161758][CONECTAR] Suporte ao progresso da execução da consulta
  • [FAÍSCA-47682] [SC-162138][SQL] Suporte de elenco da variante.
  • [FAÍSCA-47802] [SC-162478][SQL] Reverter () do significado struct() de volta para o significado *
  • [FAÍSCA-47680] [SC-162318][SQL] Adicione variant_explode expressão.
  • [FAÍSCA-47809] [SC-162511][SQL] checkExceptionInExpression deve verificar erro para cada modo codegen
  • [FAÍSCA-41811] [SC-162470][PYTHON][CONECTAR] Implementar SQLStringFormatter com WithRelations
  • [FAÍSCA-47693] [SC-162326][SQL] Adicionar otimização para comparação minúscula de UTF8String usado no agrupamento de UTF8_BINARY_LCASE
  • [FAÍSCA-47541] [SC-162006][SQL] Cadeias de caracteres agrupadas em tipos complexos que suportam operações reverter, array_join, concat, mapear
  • [FAÍSCA-46812] [SC-161535][CONECTAR][PYTHON] Fazer mapInPandas / mapInArrow suporte ResourceProfile
  • [FAÍSCA-47727] [SC-161982][PYTHON] Torne o SparkConf no nível raiz para SparkSession e SparkContext
  • [FAÍSCA-47406] [SC-159376][SQL] Manipular TIMESTAMP e DATETIME em MYSQLDialect
  • [FAÍSCA-47081] Reverter "[SC-161758][CONNECT] Suporte Query Executi...
  • [FAÍSCA-47681] [SC-162043][SQL] Adicione schema_of_variant expressão.
  • [FAÍSCA-47783] [SC-162222] Adicione alguns SQLSTATEs ausentes e limpe o YY000 para usar...
  • [FAÍSCA-47634] [SC-161558][SQL] Adicionar suporte herdado para desativar a normalização da chave de mapa
  • [FAÍSCA-47746] [SC-162022] Implementar codificação de intervalo baseada em ordinal no RocksDBStateEncoder
  • [FAÍSCA-47285] [SC-158340][SQL] AdaptiveSparkPlanExec deve sempre usar o context.session
  • [FAÍSCA-47643] [SC-161534][SS][PYTHON] Adicionar teste pyspark para python streaming source
  • [FAÍSCA-47582] [SC-161943][SQL] Migrar o Catalyst logInfo com variáveis para a estrutura de log estruturada
  • [FAÍSCA-47558] [SC-162007][SS] Suporte TTL de estado para ValueState
  • [FAÍSCA-47358] [SC-160912][SQL][COLAÇÃO] Melhorar o suporte a expressões repetidas para retornar o tipo de dados correto
  • [FAÍSCA-47504] [SC-162044][SQL] Resolver AbstractDataType simpleStrings para StringTypeCollated
  • [FAÍSCA-47719] Reverter "[SC-161909][SQL] Alterar spark.sql.legacy.t...
  • [FAÍSCA-47657] [SC-162010][SQL] Implementar suporte de push down de filtro de agrupamento por fonte de arquivo
  • [FAÍSCA-47081] [SC-161758][CONECTAR] Suporte ao progresso da execução da consulta
  • [FAÍSCA-47744] [SC-161999] Adicionar suporte para bytes com valor negativo no codificador de intervalo
  • [FAÍSCA-47713] [SC-162009][SQL][CONECTAR] Corrigir uma falha de auto-junção
  • [FAÍSCA-47310] [SC-161930][SS] Adicionar micro-benchmark para operações de mesclagem para vários valores na parte de valor do armazenamento de estado
  • [FAÍSCA-47700] [SC-161774][SQL] Corrigir a formatação de mensagens de erro com treeNode
  • [FAÍSCA-47752] [SC-161993][PS][CONECTAR] Torne pyspark.pandas compatível com pyspark-connect
  • [FAÍSCA-47575] [SC-161402][FAÍSCA-47576][FAÍSCA-47654] Implementar a API logWarning/logInfo na estrutura de log estruturada
  • [FAÍSCA-47107] [SC-161201][SS][PYTHON] Implementar leitor de partição para fonte de dados de streaming python
  • [FAÍSCA-47553] [SC-161772][SS] Adicionar suporte Java para APIs do operador transformWithState
  • [FAÍSCA-47719] [SC-161909][SQL] Altere spark.sql.legacy.timeParserPolicy padrão para CORRIGIDO
  • [FAÍSCA-47655] [SC-161761][SS] Integre o temporizador com a manipulação de estado inicial para state-v2
  • [FAÍSCA-47665] [SC-161550][SQL] Use SMALLINT para escrever ShortType para MYSQL
  • [FAÍSCA-47210] [SC-161777][SQL] Adição de fundição implícita sem suporte indeterminado
  • [FAÍSCA-47653] [SC-161767][SS] Adicionar suporte para tipos numéricos negativos e codificador de chave de varredura de intervalo
  • [FAÍSCA-46743] [SC-160777][SQL] Erro de contagem após dobragem constante
  • [FAÍSCA-47525] [SC-154568][SQL] Suporte a junção de correlação de subconsulta em atributos de mapa
  • [FAÍSCA-46366] [SC-151277][SQL] Use a expressão WITH em BETWEEN para evitar expressões duplicadas
  • [FAÍSCA-47563] [SC-161183][SQL] Adicionar normalização de mapa na criação
  • [FAÍSCA-42040] [SC-161171][SQL] SPJ: Introduza uma nova API para partição de entrada V2 para relatar estatísticas de partição
  • [FAÍSCA-47679] [SC-161549][SQL] Use HiveConf.getConfVars ou Hive conf nomes diretamente
  • [FAÍSCA-47685] [SC-161566][SQL] Restaurar o suporte para Stream digitação Dataset#groupBy
  • [FAÍSCA-47646] [SC-161352][SQL] Fazer try_to_number retornar NULL para entrada malformada
  • [FAÍSCA-47366] [SC-161324][PYTHON] Adicionar pyspark e dataframe parse_json aliases
  • [FAÍSCA-47491] [SC-161176][CORE] Adicionar slf4j-api jar ao caminho da classe primeiro antes dos outros do jars diretório
  • [FAÍSCA-47270] [SC-158741][SQL] Dataset.isEmpty projetos CommandResults localmente
  • [FAÍSCA-47364] [SC-158927][CORE] Avisar PluginEndpoint quando os plugins responderem por mensagem unidirecional
  • [FAÍSCA-47280] [SC-158350][SQL] Remova a limitação de fuso horário para ORACLE TIMESTAMP WITH TIMEZONE
  • [FAÍSCA-47551] [SC-161542][SQL] Adicione variant_get expressão.
  • [FAÍSCA-47559] [SC-161255][SQL] Suporte Codegen para variante parse_json
  • [FAÍSCA-47572] [SC-161351][SQL] Enforce Window partitionSpec é ordenável.
  • [FAÍSCA-47546] [SC-161241][SQL] Melhorar a validação ao ler a variante do Parquet
  • [FAÍSCA-47543] [SC-161234][CONECTAR][PYTHON] Inferindo dict a partir MapType do Pandas DataFrame para permitir a criação do DataFrame
  • [FAÍSCA-47485] [SC-161194][SQL][PYTHON][CONECTAR] Criar coluna com agrupamentos na API de dataframe
  • [FAÍSCA-47641] [SC-161376][SQL] Melhorar o desempenho para UnaryMinus e Abs
  • [FAÍSCA-47631] [SC-161325][SQL] Remover método não utilizado SQLConf.parquetOutputCommitterClass
  • [FAÍSCA-47674] [SC-161504][CORE] Ativar spark.metrics.appStatusSource.enabled por padrão
  • [FAÍSCA-47273] [SC-161162][SS][PYTHON] implementa a interface do gravador de fluxo de dados Python.
  • [FAÍSCA-47637] [SC-161408][SQL] Use errorCapturingIdentifier em mais lugares
  • [FAÍSCA-47497] Revert "Revert "[SC-160724][SQL] Faça to_csv suporte a saída de array/struct/map/binary como strings bonitas""
  • [FAÍSCA-47492] [SC-161316][SQL] Amplie as regras de espaço em branco no lexer
  • [FAÍSCA-47664] [SC-161475][PYTHON][CONECTAR] Validar o nome da coluna com o esquema armazenado em cache
  • [FAÍSCA-47638] [SC-161339][PS][CONECTAR] Ignorar validação de nome de coluna no PS
  • [FAÍSCA-47363] [SC-161247][SS] Estado inicial sem implementação do leitor de estado para a API de estado v2.
  • [FAÍSCA-47447] [SC-160448][SQL] Permitir a leitura do Parquet TimestampLTZ como TimestampNTZ
  • [FAÍSCA-47497] Reverter "[SC-160724][SQL] Fazer to_csv suporte a saída de como cadeias bonitas array/struct/map/binary "
  • [FAÍSCA-47434] [SC-160122][WEBUI] Corrigir statistics link em StreamingQueryPage
  • [FAÍSCA-46761] [SC-159045][SQL] Cadeias de caracteres entre aspas em um caminho JSON devem suportar ? carateres
  • [FAÍSCA-46915] [SC-155729][SQL] Simplifique UnaryMinusAbs e alinhe a classe de erro
  • [FAÍSCA-47431] [SC-160919][SQL] Adicionar agrupamento padrão de nível de sessão
  • [FAÍSCA-47620] [SC-161242][PYTHON][CONECTAR] Adicionar uma função auxiliar para classificar colunas
  • [FAÍSCA-47570] [SC-161165][SS] Integre as alterações do codificador de varredura de intervalo com a implementação do temporizador
  • [FAÍSCA-47497] [SC-160724][SQL] Faça to_csv suportar a saída de array/struct/map/binary como strings bonitas
  • [FAÍSCA-47562] [SC-161166][CONECTAR] Manipulação literal do fator fora de plan.py
  • [FAÍSCA-47509] [SC-160902][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
  • [FAÍSCA-47539] [SC-160750][SQL] Faça com que o valor de retorno do método castToString seja Any => UTF8String
  • [FAÍSCA-47372] [SC-160905][SS] Adicione suporte para codificador de estado de chave baseado em verificação de intervalo para uso com o provedor de armazenamento de estado
  • [FAÍSCA-47517] [SC-160642][CORE][SQL] Prefira Utils.bytesToString para exibição de tamanho
  • [FAÍSCA-47243] [SC-158059][SS] Corrija o nome do pacote de StateMetadataSource.scala
  • [FAÍSCA-47367] [SC-160913][PYTHON][CONECTAR] Suporta fontes de dados Python com o Spark Connect
  • [FAÍSCA-47521] [SC-160666][CORE] Uso Utils.tryWithResource durante a leitura de dados aleatórios do armazenamento externo
  • [FAÍSCA-47474] [SC-160522][CORE] Reverta SPARK-47461 e adicione alguns comentários
  • [FAÍSCA-47560] [SC-160914][PYTHON][CONECTAR] Evite RPC para validar o nome da coluna com esquema armazenado em cache
  • [FAÍSCA-47451] [SC-160749][SQL] Suporte to_json (variante).
  • [FAÍSCA-47528] [SC-160727][SQL] Adicionar suporte UserDefinedType a DataTypeUtils.canWrite
  • [FAÍSCA-44708] Reverter "[SC-160734][PYTHON] Migrar test_reset_index assert_eq para usar assertDataFrameEqual"
  • [FAÍSCA-47506] [SC-160740][SQL] Adicionar suporte a todos os formatos de fonte de arquivo para tipos de dados agrupados
  • [FAÍSCA-47256] [SC-160784][SQL] Atribuir nomes a classes de erro _LEGACY_ERROR_TEMP_102[4-7]
  • [FAÍSCA-47495] [SC-160720][CORE] Corrigir jar de recurso primário adicionado ao spark.jars duas vezes no modo de cluster k8s
  • [FAÍSCA-47398] [SC-160572][SQL] Extraia uma característica para InMemoryTableScanExec para permitir a extensão da funcionalidade
  • [FAÍSCA-47479] [SC-160623][SQL] O Otimize não pode gravar dados em relações com o log de erros de vários caminhos
  • [FAÍSCA-47483] [SC-160629][SQL] Adicionar suporte para operações de agregação e junção em matrizes de cadeias de caracteres agrupadas
  • [FAÍSCA-47458] [SC-160237][CORE] Corrigir o problema com o cálculo do máximo de tarefas simultâneas para o estágio de barreira
  • [FAÍSCA-47534] [SC-160737][SQL] Mover o.a.s.variant para o.a.s.types.variant
  • [FAÍSCA-47396] [SC-159312][SQL] Adicione um mapeamento geral para TIME WITHOUT TIME ZONE ao TimestampNTZType
  • [FAÍSCA-44708] [SC-160734][PYTHON] Migrar test_reset_index assert_eq para usar assertDataFrameEqual
  • [FAÍSCA-47309] [SC-157733][SC-160398][SQL] XML: Adicionar testes de inferência de esquema para marcas de valor
  • [FAÍSCA-47007] [SC-160630][SQL] Adicionar a MapSort expressão
  • [FAÍSCA-47523] [SC-160645][SQL] Substituir preterido JsonParser#getCurrentName por JsonParser#currentName
  • [FAÍSCA-47440] [SC-160635][SQL] Corrigir envio de sintaxe sem suporte para MsSqlServer
  • [FAÍSCA-47512] [SC-160617][SS] Tipo de operação de tag usado com aquisição/liberação de bloqueio de instância de armazenamento de estado RocksDB
  • [FAÍSCA-47346] [SC-159425][PYTHON] Torne o modo daemon configurável ao criar trabalhadores do planejador Python
  • [FAÍSCA-47446] [SC-160163][CORE] Avise BlockManager antes removeBlockInternal
  • [FAÍSCA-46526] [SC-156099][SQL] Suporte LIMIT sobre subconsultas correlacionadas onde predicados apenas referenciam tabela externa
  • [FAÍSCA-47461] [SC-160297][CORE] Remover função totalRunningTasksPerResourceProfile privada de ExecutorAllocationManager
  • [FAÍSCA-47422] [SC-160219][SQL] Suporte a cadeias de caracteres agrupadas em operações de array
  • [FAÍSCA-47500] [SC-160627][PYTHON][CONECTAR] Tratamento do nome da coluna de fatores fora de plan.py
  • [FAÍSCA-47383] [SC-160144][CORE] Configuração de suporte spark.shutdown.timeout
  • [FAÍSCA-47342] [SC-159049]Reverter "[SQL] Suporte TimestampNTZ para DB2 TIMESTAMP WITH TIME ZONE"
  • [FAÍSCA-47486] [SC-160491][CONECTAR] Remover método privado ArrowDeserializers.getString não utilizado
  • [FAÍSCA-47233] [SC-154486][CONECTAR][SS][2/2] Lógica do cliente & servidor para ouvinte de consulta de streaming do lado do cliente
  • [FAÍSCA-47487] [SC-160534][SQL] Simplifique o código em AnsiTypeCoercion
  • [FAÍSCA-47443] [SC-160459][SQL] Suporte de agregação de janela para agrupamentos
  • [FAÍSCA-47296] [SC-160457][SQL][COLAÇÃO] Falhar funções não suportadas para agrupamentos não binários
  • [FAÍSCA-47380] [SC-160164][CONECTAR] Certifique-se no lado do servidor de que o SparkSession é o mesmo
  • [FAÍSCA-47327] [SC-160069][SQL] Mover o teste de simultaneidade de chaves de classificação para CollationFactorySuite
  • [FAÍSCA-47494] [SC-160495][Doc] Adicionar documento de migração para a alteração de comportamento da inferência de carimbo de data/hora do Parquet desde o Spark 3.3
  • [FAÍSCA-47449] [SC-160372][SS] Testes de unidade de refatoração e lista dividida/temporizador
  • [FAÍSCA-46473] [SC-155663][SQL] Método de reutilização getPartitionedFile
  • [FAÍSCA-47423] [SC-160068][SQL] Agrupamentos - Definir suporte de operação para cadeias de caracteres com agrupamentos
  • [FAÍSCA-47439] [SC-160115][PYTHON] Document Python Data Source API na página de referência da API
  • [FAÍSCA-47457] [SC-160234][SQL] Correção IsolatedClientLoader.supportsHadoopShadedClient para manipular o Hadoop 3.4+
  • [FAÍSCA-47366] [SC-159348][SQL] Implemente parse_json.
  • [FAÍSCA-46331] [SC-152982][SQL] Removendo CodegenFallback do subconjunto de expressões DateTime e expressão version()
  • [FAÍSCA-47395] [SC-159404] Adicionar agrupamento e agrupamento a outras APIs
  • [FAÍSCA-47437] [SC-160117][PYTHON][CONECTAR] Corrija a classe de erro para DataFrame.sort*
  • [FAÍSCA-47174] [SC-154483][CONECTAR][SS][1/2] SparkConnectListenerBusListener do lado do servidor para ouvinte de consulta de streaming do lado do cliente
  • [FAÍSCA-47324] [SC-158720][SQL] Adicionar conversão de carimbo de data/hora ausente para tipos aninhados JDBC
  • [FAÍSCA-46962] [SC-158834][SS][PYTHON] Adicionar interface para API de fonte de dados de streaming python e implementar python worker para executar fonte de dados de streaming python
  • [FAÍSCA-45827] [SC-158498][SQL] Mover verificações de tipo de dados para CreatableRelationProvider
  • [FAÍSCA-47342] [SC-158874][SQL] Suporte TimestampNTZ para DB2 TIMESTAMP COM FUSO HORÁRIO
  • [FAÍSCA-47399] [SC-159378][SQL] Desativar colunas geradas em expressões com agrupamentos
  • [FAÍSCA-47146] [SC-158247][CORE] Possível vazamento de thread ao fazer a junção de mesclagem de classificação
  • [FAÍSCA-46913] [SC-159149][SS] Adicione suporte para temporizadores baseados em tempo de processamento/evento com o operador transformWithState
  • [FAÍSCA-47375] [SC-159063][SQL] Adicionar diretrizes para mapeamento de carimbo de data/hora em JdbcDialect#getCatalystType
  • [FAÍSCA-47394] [SC-159282][SQL] Suporte TIMESTAMP COM FUSO HORÁRIO para H2Dialect
  • [FAÍSCA-45827] Reverter "[SC-158498][SQL] Mover verificações de tipo de dados para ...
  • [FAÍSCA-47208] [SC-159279][CORE] Permitir a substituição da memória aérea da base
  • [FAÍSCA-42627] [SC-158021][FAÍSCA-26494][SQL] Suporte Oracle TIMESTAMP COM FUSO HORÁRIO LOCAL
  • [FAÍSCA-47055] [SC-156916][PYTHON] Atualizar MyPy 1.8.0
  • [FAÍSCA-46906] [SC-157205][SS] Adicionar uma verificação de alteração de operador com monitoração de estado para streaming
  • [FAÍSCA-47391] [SC-159283][SQL] Remova a solução alternativa do caso de teste para JDK 8
  • [FAÍSCA-47272] [SC-158960][SS] Adicione a implementação MapState para a API de Estado v2.
  • [FAÍSCA-47375] [SC-159278][Doc][Seguimento] Corrigir um erro no doc da opção preferTimestampNTZ do JDBC
  • [FAÍSCA-42328] [SC-157363][SQL] Remover _LEGACY_ERROR_TEMP_1175 das classes de erro
  • [FAÍSCA-47375] [SC-159261][Doc][Seguimento] Corrija a descrição da opção preferTimestampNTZ no documento JDBC
  • [FAÍSCA-47344] [SC-159146] Estenda INVALID_IDENTIFIER erro além de pegar '-' em um identificador não citado e corrija "IS ! NULL" et al.
  • [FAÍSCA-47340] [SC-159039][SQL] Altere "collate" em StringType typename para minúsculas
  • [FAÍSCA-47087] [SC-157077][SQL] Aumentar a exceção do Spark com uma classe de erro na verificação do valor de configuração
  • [FAÍSCA-47327] [SC-158824][SQL] Corrigir problema de segurança de rosca no colador de UTI
  • [FAÍSCA-47082] [SC-157058][SQL] Corrigir condição de erro fora dos limites
  • [FAÍSCA-47331] [SC-158719][SS] Serialização usando classes de caso/primitivos/POJO com base no codificador SQL para API de Estado Arbitrário v2.
  • [FAÍSCA-47250] [SC-158840][SS] Adicionar validações adicionais e alterações NERF para o provedor de estado RocksDB e uso de famílias de colunas
  • [FAÍSCA-47328] [SC-158745][SQL] Renomeie UCS_BASIC agrupamento para UTF8_BINARY
  • [FAÍSCA-47207] [SC-157845][CORE] Apoio spark.driver.timeout e DriverTimeoutPlugin
  • [FAÍSCA-47370] [SC-158956][Doc] Adicionar documento de migração: inferência de tipo TimestampNTZ em arquivos Parquet
  • [FAÍSCA-47309] [SC-158827][SQL][XML] Adicionar testes de unidade de inferência de esquema
  • [FAÍSCA-47295] [SC-158850][SQL] Adicionado ICU StringSearch para o startsWith e endsWith funções
  • [FAÍSCA-47343] [SC-158851][SQL] Corrigir NPE quando sqlString o valor da variável é null string em executar imediatamente
  • [FAÍSCA-46293] [SC-150117][CONECTAR][PYTHON] Usar protobuf dependência transitiva
  • [FAÍSCA-46795] [SC-154143][SQL] Substituir UnsupportedOperationException por SparkUnsupportedOperationException em sql/core
  • [FAÍSCA-46087] [SC-149023][PYTHON] Sincronize dependências do PySpark em documentos e requisitos de desenvolvimento
  • [FAÍSCA-47169] [SC-158848][SQL] Desativar bucketing em colunas agrupadas
  • [FAÍSCA-42332] [SC-153996][SQL] Alterando o requisito para um SparkException em ComplexTypeMergingExpression
  • [FAÍSCA-45827] [SC-158498][SQL] Mover verificações de tipo de dados para CreatableRelationProvider
  • [FAÍSCA-47341] [SC-158825][Conectar] Substitua comandos por relações em alguns testes no SparkConnectClientSuite
  • [FAÍSCA-43255] [SC-158026][SQL] Substitua a classe de erro _LEGACY_ERROR_TEMP_2020 por um erro interno
  • [FAÍSCA-47248] [SC-158494][SQL][COLAÇÃO] Suporte melhorado à função string: contém
  • [FAÍSCA-47334] [SC-158716][SQL] Fazer withColumnRenamed reutilizar a implementação de withColumnsRenamed
  • [FAÍSCA-46442] [SC-153168][SQL] O DS V2 suporta PERCENTILE_CONT push down e PERCENTILE_DISC
  • [FAÍSCA-47313] [SC-158747][SQL] Adicionado scala. Tratamento MatchError dentro de QueryExecution.toInternalError
  • [FAÍSCA-45827] [SC-158732][SQL] Adicionar tipo singleton variante para Java
  • [FAÍSCA-47337] [SC-158743][SQL][PORTUÁRIO] Atualizar a versão da imagem do docker do DB2 para 11.5.8.0
  • [FAÍSCA-47302] [SC-158609][SQL] Agrupar palavra-chave como identificador
  • [FAÍSCA-46817] [SC-154196][CORE] Corrigir spark-daemon.sh o uso adicionando decommission o comando
  • [FAÍSCA-46739] [SC-153553][SQL] Adicionar a classe de erro UNSUPPORTED_CALL
  • [FAÍSCA-47102] [SC-158253][SQL] Adicionar o COLLATION_ENABLED sinalizador de configuração
  • [FAÍSCA-46774] [SC-153925][SQL][AVRO] Use mapreduce.output.fileoutputformat.compress em vez de mapred.output.compress preterido em trabalhos de gravação Avro
  • [FAÍSCA-45245] [SC-146961][PYTHON][CONECTAR] PythonWorkerFactory: Tempo limite se o trabalhador não se conectar novamente.
  • [FAÍSCA-46835] [SC-158355][SQL][Colações] Junte-se ao suporte para agrupamentos não-binários
  • [FAÍSCA-47131] [SC-158154][SQL][COLAÇÃO] Suporte à função String: contém, começa, termina com
  • [FAÍSCA-46077] [SC-157839][SQL] Considere o tipo gerado por TimestampNTZConverter em JdbcDialect.compileValue.
  • [FAÍSCA-47311] [SC-158465][SQL][PYTHON] Suprimir exceções do Python onde o PySpark não está no caminho do Python
  • [FAÍSCA-47319] [SC-158599][SQL] Melhorar o cálculo de entrada ausente
  • [FAÍSCA-47316] [SC-158606][SQL] Corrigir TimestampNTZ no Postgres Array
  • [FAÍSCA-47268] [SC-158158][SQL][Colações] Suporte para repartição com agrupamentos
  • [FAÍSCA-47191] [SC-157831][SQL] Evite pesquisas de relação desnecessárias ao desarmazenar em cache tabela/exibição
  • [FAÍSCA-47168] [SC-158257][SQL] Desativar a pressão do filtro de parquet ao trabalhar com cadeias de caracteres agrupadas não padrão
  • [FAÍSCA-47236] [SC-158015][CORE] Correção deleteRecursivelyUsingJavaIO para ignorar a entrada de arquivos não existentes
  • [FAÍSCA-47238] [SC-158466][SQL] Reduza o uso de memória do executor tornando o código gerado no WSCG uma variável de difusão
  • [FAÍSCA-47249] [SC-158133][CONECTAR] Corrigir bug em que todas as execuções de conexão são consideradas abandonadas, independentemente de seu status real
  • [FAÍSCA-47202] [SC-157828][PYTHON] Corrigir erros de digitação quebrando datetimes com tzinfo
  • [FAÍSCA-46834] [SC-158139][SQL][Colações] Suporte para agregados
  • [FAÍSCA-47277] [SC-158351][3.5] PySpark util function assertDataFrameEqual não deve suportar streaming DF
  • [FAÍSCA-47155] [SC-158473][PYTHON] Corrigir problema de classe de erro
  • [FAÍSCA-47245] [SC-158163][SQL] Melhorar o código de erro para INVALID_PARTITION_COLUMN_DATA_TYPE
  • [FAÍSCA-39771] [SC-158425][CORE] Adicione uma mensagem de aviso quando Dependency um número muito grande de blocos aleatórios for criado.
  • [FAÍSCA-47277] [SC-158329] PySpark util function assertDataFrameEqual não deve suportar streaming DF
  • [FAÍSCA-47293] [SC-158356][CORE] Crie batchSchema com sparkSchema em vez de acrescentar um por um
  • [FAÍSCA-46732] [SC-153517][CONECTAR]Faça o thread Subquery/Broadcast funcionar com o gerenciamento de artefatos do Connect
  • [FAÍSCA-44746] [SC-158332][PYTHON] Adicione mais documentação Python UDTF para funções que aceitam tabelas de entrada
  • [FAÍSCA-47120] [SC-157517][SQL] Comparação nula empurrar filtro de dados de subconsulta produz no NPE no filtro Parquet
  • [FAÍSCA-47251] [SC-158291][PYTHON] Bloquear tipos inválidos do args argumento para sql comando
  • [FAÍSCA-47251] Reverter "[SC-158121][PYTHON] Bloquear tipos inválidos do args argumento para sql o comando"
  • [FAÍSCA-47015] [SC-157900][SQL] Desativar o particionamento em colunas agrupadas
  • [FAÍSCA-46846] [SC-154308][CORE] Tornar WorkerResourceInfo a extensão Serializable explícita
  • [FAÍSCA-46641] [SC-156314][SS] Adicionar limite maxBytesPerTrigger
  • [FAÍSCA-47244] [SC-158122][CONECTAR] SparkConnectPlanner Tornar as funções internas privadas
  • [FAÍSCA-47266] [SC-158146][CONECTAR] Fazer ProtoUtils.abbreviate retornar o mesmo tipo que a entrada
  • [FAÍSCA-46961] [SC-158183][SS] Usando ProcessorContext para armazenar e recuperar identificador
  • [FAÍSCA-46862] [SC-154548][SQL] Desativar a remoção de colunas CSV no modo de várias linhas
  • [FAÍSCA-46950] [SC-155803][CORE][SQL] Alinhar not available codec classe de erro
  • [FAÍSCA-46368] [SC-153236][CORE] Suporte readyz em API de envio REST
  • [FAÍSCA-46806] [SC-154108][PYTHON] Melhorar a mensagem de erro para spark.table quando o tipo de argumento está errado
  • [FAÍSCA-47211] [SC-158008][CONECTAR][PYTHON] Corrigir agrupamento de cadeias de caracteres PySpark Connect ignorado
  • [FAÍSCA-46552] [SC-151366][SQL] Substituir UnsupportedOperationException por SparkUnsupportedOperationException em catalyst
  • [FAÍSCA-47147] [SC-157842][PYTHON][SQL] Corrigir erro de conversão de cadeia de caracteres agrupada PySpark
  • [FAÍSCA-47144] [SC-157826][CONECTAR][SQL][PYTHON] Corrija o erro de agrupamento do Spark Connect adicionando o campo protobuf collateId
  • [FAÍSCA-46575] [SC-153200][SQL][VIH] Torne HiveThriftServer2.startWithContext DevelopApi recuperável e corrija a flakiness de ThriftServerWithSparkContextInHttpSuite
  • [FAÍSCA-46696] [SC-153832][CORE] Em ResourceProfileManager, chamadas de função devem ocorrer após declarações de variáveis
  • [FAÍSCA-47214] [SC-157862][Python] Criar API UDTF para o método 'analyze' para diferenciar argumentos NULL constantes e outros tipos de argumentos
  • [FAÍSCA-46766] [SC-153909][SQL][AVRO] Suporte a pool de buffer ZSTD para fonte de dados AVRO
  • [FAÍSCA-47192] [SC-157819] Converter alguns _LEGACY_ERROR_TEMP_0035 erros
  • [FAÍSCA-46928] [SC-157341][SS] Adicione suporte para ListState na API de estado arbitrário v2.
  • [FAÍSCA-46881] [SC-154612][CORE] Suporte spark.deploy.workerSelectionPolicy
  • [FAÍSCA-46800] [SC-154107][CORE] Suporte spark.deploy.spreadOutDrivers
  • [FAÍSCA-45484] [SC-146014][SQL] Corrigir o bug que usa o codec de compressão de parquet incorreto lz4raw
  • [FAÍSCA-46791] [SC-154018][SQL] Suporte Java set em JavaTypeInference
  • [FAÍSCA-46332] [SC-150224][SQL] Migrar CatalogNotFoundException para a classe de erro CATALOG_NOT_FOUND
  • [FAÍSCA-47164] [SC-157616][SQL] Tornar o valor padrão do tipo mais amplo Literal estreito de v2 comportar-se da mesma forma que v1
  • [FAÍSCA-46664] [SC-153181][CORE] Melhore Master para recuperar rapidamente em caso de zero trabalhadores e aplicativos
  • [FAÍSCA-46759] [SC-153839][SQL][AVRO] Codec xz e zstandard suportam nível de compressão para arquivos avro

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Consulte Atualizações de manutenção do Databricks Runtime 15.2.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Escala: 2.12.15
  • Píton: 3.11.0
  • R: 4.3.2
  • Lago Delta: 3.2.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AstTokens 2.0.5 Astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 Backcall 0.2.0
preto 23.3.0 pisca-pisca 1.4 boto3 1.34.39
botocore 1.34.39 Ferramentas de cache 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 Normalizador de Charset 2.0.4
clicar 8.0.4 Cloudpickle 2.2.1 Comm 0.1.2
contorno 1.0.5 criptografia 41.0.3 cycler 0.11.0
Quisto 0.29.32 Databricks-SDK 0.20.0 dbus-python 1.2.18
depuração 1.6.7 decorador 5.1.1 Distlib 0.3.8
pontos de entrada 0.4 execução 0.8.3 facetas-visão geral 1.1.1
filelock 3.13.1 Fonttools 4.25.0 GitDB 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 Google-Auth 2.29.0
google-nuvem-core 2.4.1 google-nuvem-armazenamento 2.16.0 Google-CRC32C 1.5.0
google-retomable-media 2.7.0 googleapis-comuns-protos 1.63.0 Grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadados 6.0.0 ipyflow-núcleo 0.0.198 Ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Isodato 0.6.1 Jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 Joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 porta-chaves 23.5.0 Kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-em linha 0.1.6 mlflow-magro 2.11.3
mais-itertools 8.10.0 mypy-extensões 0.4.3 Ninho-Asyncio 1.5.6
numpy 1.23.5 OAuthlib 3.2.0 embalagem 23.2
pandas 1.5.3 Parso 0.8.3 PathSpec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Travesseiro 9.4.0 pip 23.2.1 plataformadirs 3.10.0
enredo 5.9.0 prompt-toolkit 3.0.36 Proto-Plus 1.23.0
protobuf 4.24.1 PSUTIL 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 puro-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-módulos 0.2.8 Pyccolo 0.0.52
pycparser 2.21 Pidântico 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 Pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6,0 Pyzmq 23.2.0
pedidos 2.31.0 RSA 4,9 s3transferir 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
Armazenamento Secreto 3.3.1 setuptools 68.0.0 seis 1.16.0
smmap 5.0.1 SQLPARSE 0.5.0 ssh-import-id 5.11
dados de pilha 0.2.0 statsmodels 0.14.0 tenacidade 8.2.2
ThreadPoolCtl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traços 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
Ujson 5.4.0 Upgrades autônomos 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 largura de wc 0.2.5
roda 0.38.4 zipp | 3.11.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 14.0.0.2 AskPass 1.2.0 asserçãoat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 arranque 1.3-28
brew 1.0-10 Brio 1.1.4 vassoura 1.0.5
BSLIB 0.6.1 cachem 1.0.8 Chamador 3.7.3
acento circunflexo 6.0-94 Cellranger 1.1.0 crono 2.3-61
classe 7.3-22 cli 3.6.2 Clipr 0.8.0
relógio 0.7.0 cluster 2.1.4 codetools 0.2-19
espaço em cores 2.1-0 marca comum 1.9.1 compilador 4.3.2
configuração 0.3.2 conflituosos 1.2.0 CPP11 0.4.7
lápis de cor 1.5.2 credenciais 2.0.1 curl 5.2.0
data.table 1.15.0 conjuntos de dados 4.3.2 DBI 1.2.1
DBPlyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 resumo 0.6.34
Iluminação reduzida 0.4.3 dplyr 1.1.4 DTPlyr 1.3.1
E1071 1.7-14 reticências 0.3.2 evaluate 0.23
Fãsi 1.0.6 Farver 2.1.1 mapa rápido 1.1.1
fontawesome 0.5.2 FORCATS 1.0.0 foreach 1.5.2
externa 0.8-85 forjar 0.2.0 FS 1.6.3
Futuro 1.33.1 future.apply 1.11.1 gargarejo 1.5.2
Genéricos 0.1.3 Gert 2.0.1 ggplot2 3.4.4
GH 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 Globais 0.16.2 colar 1.7.0
GoogleDrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
gráficos 4.3.2 grDevices 4.3.2 grelha 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 capacete 1.3.1 Refúgio 2.5.4
mais alto 0.10 HMS 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
HTTR2 1.0.0 IDs 1.0.1 ini 0.3.1
ipred 0.9-14 Isoband 0.2.7 iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 suco suculento 0.1.0
KernSmooth 2.23-21 Knitr 1.45 etiquetagem 0.4.3
mais tarde 1.3.2 lattice 0.21-8 lava 1.7.3
ciclo de vida 1.0.4 ouvirv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Marcação 1.12 MASSA 7.3-60
Matriz 1.5-4.1 memoise 2.0.1 métodos 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
Mlflow 2.10.0 ModelMetrics 1.2.2.2 Modelador 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 paralelo 4.3.2
Paralelamente 1.36.0 pilar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 elogiar 1.0.0
unidades bonitas 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 Profvis 0.3.8 Progresso 1.2.3
progressor 0.14.0 promessas 1.2.1 proto 1.0.0
procuração 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 RAGG 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactável 0.4.4
reactR 0.5.0 Leitor 2.1.5 ReadXL 1.4.3
receitas 1.0.9 revanche 2.0.0 revanche2 2.1.2
Controles remotos 2.4.2.1 Reprex 2.1.0 remodelar2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversões 2.1.2 Rvest 1.0.3 Sass 0.4.8
escalas 1.3.0 seletor 0.4-2 sessioninfo 1.2.2
forma 1.4.6 brilhante 1.8.0 ferramentas de origem 0.1.7-1
sparklyr 1.8.4 espacial 7.3-15 splines 4.3.2
sqldf 0.4-11 QUADRADO 2021.1 estatísticas 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
sobrevivência 3.5-5 swagger 3.33.1 sys 3.4.2
fontes do sistema 1.0.5 tcltk 4.3.2 testeatat 3.2.1
formatação de texto 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 Tidyverse 2.0.0 mudança de hora 0.3.0
timeDate 4032.109 Tinytex 0.49 ferramentas 4.3.2
TZDB 0.4.0 urlchecker 1.0.1 usethis 2.2.2
UTF8 1.2.4 utilitários 4.3.2 uuid 1.2-0
V8 4.4.1 VCTRS 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
Zeallot 0.1.0 zip 2.3.1

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Nativos
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-Nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Nativos
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-Nativos
com.github.luben ZSTD-JNI 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger criador de perfil 1.1.1
com.ibm.icu ICU4J 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind JAXB-CORE 2.2.11
com.sun.xml.bind JAXB-IMPL 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.4.3
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib Lapack | 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.25
IO.Delta delta-compartilhamento-client_2.12 1.0.5
io.dropwizard.metrics métricas-anotação 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics métricas-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-meias 4.1.96.Final
io.netty netty-comum 4.1.96.Final
io.netty netty-manipulador 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Janelas finais x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty transporte de rede 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-nativo-unix-comum 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna JNA 5.8.0
net.razorvine picles 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow formato de seta 15.0.0
org.apache.arrow seta-memória-núcleo 15.0.0
org.apache.arrow seta-memória-netty 15.0.0
org.apache.arrow vetor de seta 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapeado 1.11.3
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator curador-framework 2.13.0
org.apache.curator curador-receitas 2.13.0
org.apache.datasketches Datasketches-Java 3.1.0
org.apache.datasketches datasketches-memória 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-modelo-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-núcleo 1.9.2-protobuf sombreado
org.apache.orc orc-mapreduce 1.9.2-protobuf sombreado
org.apache.orc Orc-calços 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-sombreado 4.23
org.apache.yetus anotações de audiência 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework verificador-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-coleções 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty cais-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket API WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-cliente 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-Comum 9.4.52.v20230823
org.eclipse.jetty.websocket servidor websocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core servidor de jersey 2.40
org.glassfish.jersey.inject Jersey-HK2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.8.0
org.mlflow mlflow-spark_2,12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap calços 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.15
org.scala-lang Escala-library_2.12 2.12.15
org.scala-lang Escala-reflect_2,12 2.12.15
org.scala-lang.modules scala-coleção-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp Brisa-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j SLF4J-Simples 1.7.25
org.threeten trêsdez-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1