Compartilhar via

Databricks Runtime 11.1 (EoS)

  • Artigo

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões compatíveis do Databricks Runtime, consulte Versões e compatibilidade de notas sobre a versão do Databricks Runtime.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 11.1 da plataforma Apache Spark 3.3.0. O Databricks lançou essa versão em julho de 2022.

Novos recursos e aprimoramentos

Photon em GA

O Photon agora está disponível em geral, começando com o Databricks Runtime 11.1. O Photon é o mecanismo de consulta vetorizado nativo no Azure Databricks, escrito para ser diretamente compatível com APIs do Apache Spark, de modo que funcione com o seu código já existente. Ele foi desenvolvido em C++, para aproveitar componentes de hardware modernos, e usa as técnicas mais recentes no processamento de consultas vetorizadas para aproveitar o paralelismo de dados e de nível de instrução em CPUs, aprimorando o desempenho em dados e aplicativos do mundo real, tudo de forma nativa no seu data lake.

O Photon integra um runtime de alto desempenho que executa suas atuais chamadas de SQL e de DataFrame API mais rapidamente e reduz o custo total por carga de trabalho. O Photon é usado por padrão em SQL warehouses do Databricks.

Novos recursos e aprimoramentos:

  • Novo operador de classificação vetorizada
  • Novas funções de janela vetorizadas
  • Novos tipos e tamanhos de instância em todas as nuvens

Limitações:

  • Não há suporte para UDFs do Scala/Python pelo Photon
  • O RDD não tem suporte do Photon
  • O Streaming Estruturado não tem suporte do Photon

Para obter mais informações, consulte os seguintes comunicados do Photon.

Novo operador de classificação vetorizada

O photon agora dá suporte a uma classificação vetorizada para quando uma consulta contém SORT_BY, CLUSTER_BYou uma função de janela com um ORDER BY.

Limitações: o Photon não dá suporte a uma cláusula global ORDER BY. Classificações para avaliação de janela serão fotonizados, mas a classificação global continuará sendo executada no Spark.

Photon: novas funções de janela vetorizadas

O Photon agora dá suporte à avaliação de função de janela vetorizada para muitos tipos de quadros e funções. As novas funções de janela incluem: row_number, rank, dense_rank, lag, lead, percent_rank, ntile e nth_value. Tipos de quadro de janela com suporte: execução (UNBOUNDED PRECEDING AND CURRENT ROW), não associado (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), crescimento (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) e redução (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Limitações:

  • O Photon dá suporte apenas ROWS a versões de todos os tipos de quadro.
  • O photon ainda não dá suporte ao tipo de quadro deslizante (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: Tipos de instância com suporte

  • dds_v5
  • ds_v5
  • eas_v4
  • eds_v4
  • eds_v5
  • es_v5
  • las_v3
  • ls_v3

Alterar o feed de dados agora pode lidar automaticamente com carimbos de data/hora fora do intervalo

O CDF (feed de dados de alteração) agora tem um novo modo para fornecer carimbos de data/hora ou versões após a versão de uma confirmação mais recente sem gerar erros. Esse modo está desabilitado por padrão. Você pode habilitá-lo definindo a configuração spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled como true.

Descrever e mostrar funções SQL agora mostram nomes do Catálogo do Unity em sua saída (Visualização Pública)

Os comandos DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAIN e SHOW CREATE TABLE agora sempre mostram o nome do catálogo em sua saída.

Inferência e evolução de esquema para arquivos Parquet no Carregador Automático (versão prévia pública)

Agora, o Carregador Automático dá suporte à inferência de esquemas e à evolução em arquivos Parquet. Assim como os formatos JSON, CSV e Avro, agora você pode usar a coluna de dados resgatada para resgatar dados inesperados que podem aparecer em seus arquivos Parquet. Isso inclui dados que não podem ser analisados no tipo de dados esperado, colunas com capitalização diferente ou colunas adicionais que não fazem parte do esquema esperado. Você pode configurar o Carregador Automático para evoluir o esquema automaticamente ao encontrar a adição de novas colunas nos dados de entrada. Confira Configurar a inferência e a evolução de esquema no Carregador Automático.

O Carregador Automático já dá suporte à evolução de esquema para o Avro (GA)

Confira Configurar a inferência e a evolução de esquema no Carregador Automático.

Suporte do Delta Lake para substituições de partição dinâmica

O Delta Lake agora permite que o modo de substituição de partição dinâmica substitua todos os dados existentes em cada partição lógica para a qual a gravação confirmará novos dados. Confira Substituir dados seletivamente com o Delta Lake.

Suporte ao esquema de informações para objetos criados no catálogo do Unity

O esquema de informações fornece uma API autodescritiva baseada em SQL para os metadados de vários objetos de banco de dados, incluindo tabelas e exibições, restrições e rotinas. No esquema de informações, você encontra um conjunto de exibições que descrevem os objetos conhecidos pelo catálogo do esquema que você tem o privilégio necessário para ver. O esquema de informações do catálogo SYSTEM retorna informações sobre objetos em todos os catálogos no metastore. Consulte Esquema de informações.

Restrições informativas em tabelas do Delta Lake com o catálogo do Unity (visualização pública)

Agora, você pode definir restrições de chave primária e chave estrangeira informativas nas tabelas do Delta Lake com o catálogo do Unity. Restrições informativas não são aplicadas. Consulte a cláusula CONSTRAINT.

O Catálogo do Unity é GA

O Catálogo do Unity agora está em disponibilidade geral, começando com o Databricks Runtime 11.1. Veja O que é o Catálogo do Unity?.

O Compartilhamento Delta é GA

O Compartilhamento Delta agora está em disponibilidade geral, começando com o Databricks Runtime 11.1.

O Compartilhamento Delta de Databricks para Databricks é totalmente gerenciado sem a necessidade de trocar tokens. Você pode criar e gerenciar provedores, destinatários e compartilhamentos na interface do usuário ou com APIs REST e SQL.

Alguns recursos incluem restringir o acesso do destinatário, consultar dados com listas de acesso IP e restrições de região e delegar o gerenciamento de compartilhamento Delta a não administradores. Você também pode consultar alterações nos dados ou compartilhar versões incrementais com os Feeds de dados de alterações. Confira O que é o Compartilhamento Delta?.

Alterações de comportamento

Redação de propriedades confidenciais para DESCREVER TABELA e MOSTRAR PROPRIEDADES DE TABELA

As propriedades confidenciais são editadas em DataFrames e na saída dos DESCRIBE TABLE comandos e SHOW TABLE PROPERTIES .

Os clusters de trabalho assumem como padrão o modo de acesso de usuário único com o Databricks Runtime 11.1 e superior

Para poderem ser usados com o Catálogo do Unity, os clusters de trabalho usando o Databricks Runtime 11.1 e superior criados por meio da interface do usuário de trabalhos ou da API de trabalhos usarão como padrão o modo de acesso de usuário único. O modo de acesso de usuário único é compatível com a maioria das linguagens de programação, recursos de cluster e recursos de governança de dados. Você continua podendo configurar o modo de acesso compartilhado por meio da interface do usuário ou da API, mas as linguagens ou recursos poderão ficar limitados.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • filelock de 3.6.0 a 3.7.1
    • plotly de 5.6.0 a 5.8.2
    • protobuf de 3.20.1 a 4.21.2
  • Bibliotecas do R atualizadas:
    • chron de 2.3-56 a 2.3-57
    • DBI de 1.1.2 a 1.1.3
    • dbplyr de 2.1.1 a 2.2.0
    • e1071 de 1.7-9 a 1.7-11
    • future de 1.25.0 a 1.26.1
    • globals de 0.14.0 a 0.15.1
    • hardhat de 0.2.0 a 1.1.0
    • ipred de 0.9-12 a 0.9-13
    • openssl de 2.0.0 a 2.0.2
    • parallelly de 1.31.1 a 1.32.0
    • processx de 3.5.3 a 3.6.1
    • progressr de 0.10.0 a 0.10.1
    • proxy de 0.4-26 a 0.4-27
    • ps de 1.7.0 a 1.7.1
    • randomForest de 4.7-1 a 4.7-1.1
    • roxygen2 de 7.1.2 a 7.2.0
    • Rserve de 1.8-10 a 1.8-11
    • RSQLite de 2.2.13 a 2.2.14
    • sparklyr de 1.7.5 a 1.7.7
    • tinytex de 0.38 a 0.40
    • usethis de 2.1.5 a 2.1.6
    • xfun de 0.30 a 0.31
  • Bibliotecas do Java atualizadas:
    • io.delta.delta-sharing-spark_2.12 de 0.4.0 a 0.5.0

Apache Spark

O Databricks Runtime 11.2 inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 11.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-40054] [SQL] Restaure a sintaxe de tratamento de erro de try_cast()
  • [SPARK-39489] [CORE] Melhore o desempenho do registro em log de eventos JsonProtocol usando Jackson em vez de Json4s
  • [SPARK-39319] [CORE][SQL] Faça contextos de consulta como parte de SparkThrowable
  • [SPARK-40085] [SQL] Use a classe de erro INTERNAL_ERROR em vez de IllegalStateException para indicar bugs
  • [SPARK-40001] [SQL] Faça as gravações NULL em colunas JSON DEFAULT gravarem 'null' no armazenamento
  • [SPARK-39635] [SQL] Suporte métricas de driver na API de métrica personalizada DS v2
  • [SPARK-39184] [SQL] Manipule a matriz de resultados subdimensionada em sequências de data e com carimbo de data/hora
  • [SPARK-40019] [SQL] Refatore o comentário do containsNull do Tipo de matriz e refatore as lógicas não entendidas na expressão collectionOperator sobre containsNull
  • [SPARK-39989] [SQL] Suporte estatísticas de coluna de estimativa se elas forem expressões dobráveis
  • [SPARK-39926] [SQL] Corrija bugs na coluna de suporte PADRÃO para verificações Parquet não vetoriais
  • [SPARK-40052] [SQL] Manipule buffers de bytes diretos em VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Corrija o tipo de intervalo de destino em erros de estouro de conversão
  • [SPARK-39835] [SQL] Corrija a classificação global de remoção EliminateSorts abaixo da classificação local
  • [SPARK-40002] [SQL] Não reduza o limite por meio da janela usando a função NTILE
  • [SPARK-39976] [SQL] ArrayIntersect deve manipular null na expressão esquerda corretamente
  • [SPARK-39985] [SQL] Habilite valores de coluna PADRÃO implícitos em inserções de DataFrames
  • [SPARK-39776] [SQL] A cadeia de caracteres detalhada JOIN deve adicionar o tipo Junção
  • [SPARK-38901] [SQL] O DS V2 dá suporte à propagação de funções diversas
  • [SPARK-40028] [SQL][FollowUp] Aprimore exemplos de funções de cadeia de caracteres
  • [SPARK-39983] [CORE][SQL] Não armazene em cache as relações de transmissão não serializadas no driver
  • [SPARK-39812] [SQL] Simplifique o código que constrói AggregateExpression com toAggregateExpression
  • [SPARK-40028] [SQL] Adicione exemplos binários para expressões de cadeia de caracteres
  • [SPARK-39981] [SQL] Acione a exceção QueryExecutionErrors.castingCauseOverflowErrorInTableInsert na conversão
  • [SPARK-40007] [PYTHON][SQL] Adicione 'mode' às funções
  • [SPARK-40008] [SQL] Suporte à conversão de integrais para intervalos ANSI
  • [SPARK-40003] [PYTHON][SQL] Adicione 'median' às funções
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand deve armazenar novamente em cache a relação de resultado
  • [SPARK-39951] [SQL] Atualize a verificação de coluna do Parquet V2 para campos aninhados
  • [SPARK-39775] [CORE][AVRO] Desabilite a validação de valores padrão ao analisar esquemas Avro
  • [SPARK-33236] [shuffle] Backport para DBR 11.x: habilite o serviço shuffle baseado em push para armazenar o estado em DB nível NM para reinicialização de preservação do trabalho
  • [SPARK-39836] [SQL] Simplifique V2ExpressionBuilder extraindo o método comum.
  • [SPARK-39867] [SQL] O limite global não deve herdar OrderPreservingUnaryNode
  • [SPARK-39873] [SQL] Remova OptimizeLimitZero e mescle em EliminateLimits
  • [SPARK-39961] [SQL] Traduza a propagação de DS V2 Converter se a conversão for segura
  • [SPARK-39872] [SQL] Alterar para usar BytePackerForLong#unpack8Values com a API de entrada da matriz em VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Remova AliasHelper ou PredicateHelper desnecessários para algumas regras
  • [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL] Aplique projeção quando os atributos de grupo estiverem vazios
  • [SPARK-39900] [SQL] Enderece condição parcial ou negada no pushdown de predicado do formato binário
  • [SPARK-39904] [SQL] Renomeie inferDate para prefersDate e esclareça a semântica da opção na fonte de dados CSV
  • [SPARK-39958] [SQL] Adicione log de aviso quando não for possível carregar o objeto de métrica personalizado
  • [SPARK-39936] [SQL] Armazene esquema em propriedades para exibições do Spark
  • [SPARK-39932] [SQL] WindowExec deve limpar o buffer de partição final
  • [SPARK-37194] [SQL] Evite classificação desnecessária na gravação v1 se não for partição dinâmica
  • [SPARK-39902] [SQL] Adicione detalhes de verificação ao nó de verificação do plano Spark no SparkUI
  • [SPARK-39865] [SQL] Mostre mensagens de erro adequadas nos erros de estouro da inserção de tabela
  • [SPARK-39940] [SS] Atualize tabela de catálogo na consulta de streaming com o coletor DSv1
  • [SPARK-39827] [SQL] Use a classe de erro ARITHMETIC_OVERFLOW no estouro int em add_months()
  • [SPARK-39914] [SQL] Adicione filtro DS V2 à conversão de filtro V1
  • [SPARK-39857] [SQL] Backport manual DBR 11.x; V2ExpressionBuilder usa o tipo de dados LiteralValue incorreto para o predicado In Nº 43454
  • [SPARK-39840] [SQL][PYTHON] Fator PythonArrowInput como uma simetria para PythonArrowOutput
  • [SPARK-39651] [SQL] Remova a condição de filtro se a comparação com rand for determinística
  • [SPARK-39877] [PYTHON] Adicione a opção transformar colunas em linhas à API de DataFrame do PySpark
  • [SPARK-39847] [WARMFIX][SS] Corrija condição de corrida em RocksDBLoader.loadLibrary() se o thread do chamador for interrompido
  • [SPARK-39909] [SQL] Organize a verificação de informações de pushdown para JDBCV2Suite
  • [SPARK-39834] [SQL][SS] Inclua as estatísticas de origem e as restrições para LogicalRDD se ele vier do DataFrame
  • [SPARK-39849] [SQL] Dataset.as(StructType) preenche novas colunas ausentes com valor nulo
  • [SPARK-39860] [SQL] Mais expressões devem estender o Predicado
  • [SPARK-39823] [SQL][PYTHON] Renomeie Dataset.as como Dataset.to e adicione DataFrame.to no PySpark
  • [SPARK-39918] [SQL][MINOR] Substitua a palavra "não comparável" por "incomparável" na mensagem de erro
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder usa o tipo de dados LiteralValue incorreto para o predicado In
  • [SPARK-39862] [SQL] Backport manual para PR 43654 visando o DBR 11.x: Atualizar SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para permitir/negar ALTER TABLE … Usar comandos ADD COLUMN separadamente.
  • [SPARK-39844] [SQL] Backport manual para PR 43652 visando DBR 11.x
  • [SPARK-39899] [SQL] Corrija passagem de parâmetros de mensagem para InvalidUDFClassException
  • [SPARK-39890] [SQL] Faça TakeOrderedAndProjectExec herdar AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Suporte CharType no PySpark
  • [SPARK-38864] [SQL] Adicione unpivot/melt ao Conjunto de dados
  • [SPARK-39864] [SQL] Registre preguiçosamente ExecutionListenerBus
  • [SPARK-39808] [SQL] Suporte o MODO de função de agregação
  • [SPARK-39839] [SQL] Tratar o caso especial de decimal de comprimento variável nulo com offsetAndSize diferente de zero na verificação de integridade estrutural de UnsafeRow
  • [SPARK-39875] [SQL] Altere método protected na classe final para private ou package-visible
  • [SPARK-39731][SQL] Corrija problemas em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com política de analisador de tempo CORRIGIDA
  • [SPARK-39805] [SS] Pretere Trigger.Once e promova Trigger.AvailableNow
  • [SPARK-39784] [SQL] Coloque valores literais no lado direito do filtro da fonte de dados depois de traduzir a Expressão Catalyst para o filtro da fonte de dados
  • [SPARK-39672] [SQL][3.1] Corrija a remoção do projeto antes do filtro com subconsulta correlacionada
  • [SPARK-39552] [SQL] Unifique v1 e v2 DESCRIBE TABLE
  • [SPARK-39806] [SQL] O acesso _metadata na tabela particionada pode travar uma consulta
  • [SPARK-39810] [SQL] Catalog.tableExists deve lidar com namespace aninhado
  • [SPARK-37287] [SQL] Retire partição dinâmica e classificação de bucket do FileFormatWriter
  • [SPARK-39469] [SQL] Infira o tipo de data para inferência de esquema CSV
  • [SPARK-39148] [SQL] O pushdown de agregação do DS V2 pode funcionar com OFFSET ou LIMIT
  • [SPARK-39818] [SQL] Corrigir o bug em tipos ARRAY, STRUCT e MAP com valores DEFAULT com campos NULL
  • [SPARK-39792] [SQL] Adicione DecimalDivideWithOverflowCheck para a média decimal
  • [SPARK-39798] [SQL] Substitua toSeq.toArray por .toArray[Any] no construtor de GenericArrayData
  • [SPARK-39759] [SQL] Implemente listIndexes no JDBC (dialeto H2)
  • [SPARK-39385] [SQL] Dá suporte a pushdown REGR_AVGX e REGR_AVGY
  • [SPARK-39787] [SQL] Use a classe de erro no erro de análise da função to_timestamp
  • [SPARK-39760] [PYTHON] Suporte Varchar no PySpark
  • [SPARK-39557] [SQL] Backport manual para DBR 11.x: Suporte a ARRAY, STRUCT, tipos MAP como valores DEFAULT
  • [SPARK-39758] [SQL][3.3] Corrija NPE das funções regexp em padrões inválidos
  • [SPARK-39749] [SQL] Modo ANSI SQL: use representação de cadeia de caracteres simples na conversão de Decimal para Cadeia de caracteres
  • [SPARK-39704] [SQL] Implementar createIndex e dropIndex e indexExists no JDBC (dialeto H2)
  • [SPARK-39803][SQL] Usar LevenshteinDistance em vez de StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Dar suporte ao tipo TimestampNTZ na fonte de dados JDBC
  • [SPARK-39781] [SS] Adicionar suporte para fornecer max_open_files ao provedor de repositório de estado rocksdb
  • [SPARK-39719] [R] Implementar databaseExists/getDatabase no namespace 3L de suporte do SparkR
  • [SPARK-39751] [SQL] Renomeie a métrica de investigação de chave de agregação de hash
  • [SPARK-39772] [SQL] O namespace deve ser nulo quando o banco de dados for nulo nos construtores antigos
  • [SPARK-39625] [SPARK-38904][SQL] Adicionar Dataset.as(StructType)
  • [SPARK-39384] [SQL] Compile funções internas de agregação de regressão linear para dialeto JDBC
  • [SPARK-39720] [R] Implemente tableExists/getTable no SparkR para namespace 3L
  • [SPARK-39744] [SQL] Adicione a função REGEXP_INSTR
  • [SPARK-39716] [R] Faça currentDatabase/setCurrentDatabase/listCatalogs no namespace 3L de suporte do SparkR
  • [SPARK-39788] [SQL] Renomeie catalogName como dialectName para JdbcUtils
  • [SPARK-39647] [CORE] Registre o executor no ESS antes de registrar o BlockManager
  • [SPARK-39754] [CORE][SQL] Remova import não utilizado ou {} desnecessário
  • [SPARK-39706] [SQL] Defina coluna ausente com defaultValue como constante em ParquetColumnVector
  • [SPARK-39699] [SQL] Torne CollapseProject mais inteligente sobre expressões de criação de coleção
  • [SPARK-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC devem dar suporte ao filtro de agregação
  • [SPARK-39579] [SQL][PYTHON][R] Torne ListFunctions/getFunction/functionExists compatível com o namespace de três camadas
  • [SPARK-39627] [SQL] O pushdown do JDBC V2 deve unificar a API de compilação
  • [SPARK-39748] [SQL][SS] Inclua o plano lógico de origem para LogicalRDD se ele vier do DataFrame
  • [SPARK-39385] [SQL] Traduza funções de agregação de regressão linear para pushdown
  • [SPARK-39695] [SQL] Adicionar a função REGEXP_SUBSTR
  • [SPARK-39667] [SQL] Adicione outra solução alternativa quando não houver memória suficiente para compilar e transmitir a tabela
  • [SPARK-39666] [ES-337834][SQL] Use UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode em ExpressionEncoder
  • [SPARK-39643] [SQL] Proibir expressões de subconsulta em valores DEFAULT
  • [SPARK-38647] [SQL] Adicione combinação de SupportsReportOrdering na interface para Verificação (DataSourceV2)
  • [SPARK-39497][SQL] Aprimore a exceção de análise da coluna de chave de mapa ausente
  • [SPARK-39661] [SQL] Evite criar um agente SLF4J desnecessário
  • [SPARK-39713][SQL] Modo ANSI: adicione sugestão de uso de try_element_at para o erro INVALID_ARRAY_INDEX
  • [SPARK-38899] [SQL] O DS V2 dá suporte a pushdown de funções datetime
  • [SPARK-39638] [SQL] Altere para usar ConstantColumnVector e armazenar colunas de partição em OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Limpe ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) de ColumnVectorUtils
  • [SPARK-39231] [SQL] Use ConstantColumnVector em vez de On/OffHeapColumnVector para armazenar colunas de partição em VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog não deve lançar NoSuchDatabaseException em loadNamspaceMetadata
  • [SPARK-39447] [SQL] Evite AssertionError em AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Retrabalhar MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec deve respeitar a ordenação de saída filho
  • [SPARK-39606] [SQL] Use estatísticas filho para estimar o operador de pedido
  • [SPARK-39611] [PYTHON][PS] Corrija aliases errados em array_ufunc
  • [SPARK-39656] [SQL][3.3] Corrija namespace errado em DescribeNamespaceExec
  • [SPARK-39675] [SQL] Alterne a configuração 'spark.sql.codegen.factoryMode' de finalidade de teste para a finalidade interna
  • [SPARK-39139] [SQL] O DS V2 dá suporte ao envio de DS V2 UDF
  • [SPARK-39434][SQL] Forneça o contexto da consulta de erro de runtime quando o índice de matriz estiver fora do limite
  • [SPARK-39479] [SQL] DS V2 dá suporte a pushdown de funções matemáticas (não ANSI)
  • [SPARK-39618] [SQL] Adicionar a função REGEXP_COUNT
  • [SPARK-39553] [CORE] A ordem aleatória do cancelamento de registro de vários threads não deve gerar NPE ao usar o Scala 2.13
  • [SPARK-38755] [PYTHON][3.3] Adicione arquivo para cuidar das funções gerais do pandas ausentes
  • [SPARK-39444] [SQL] Adicione OptimizeSubqueries à lista nonExcludableRules
  • [SPARK-39316] [SQL] Mescle PromotePrecision e CheckOverflow em aritmética binária decimal
  • [SPARK-39505] [UI] Escape conteúdo do log renderizado na interface do usuário
  • [SPARK-39448] [SQL] Adicione ReplaceCTERefWithRepartition à lista nonExcludableRules
  • [SPARK-37961] [SQL] Substitua maxRows/maxRowsPerPartition para alguns operadores lógicos
  • [SPARK-35223] Reverta Adicionar IssueNavigationLink
  • [SPARK-39633] [SQL] Dê suporte ao carimbo de data/hora em segundos para TimeTravel usando opções de Dataframe
  • [SPARK-38796] [SQL] Atualize a documentação para cadeias de caracteres de formato de número com as funções {try_}to_number
  • [SPARK-39650] [SS] Corrija esquema de valor incorreto na eliminação de duplicação de streaming com a compatibilidade com versões anteriores
  • [SPARK-39636] [CORE][UI] Corrija vários bugs no JsonProtocol, afetando o heap StorageLevels e tarefa/executor ResourceRequests
  • [SPARK-39432] [SQL] Retorne ELEMENT_AT_BY_INDEX_ZERO de element_at(*, 0)
  • [SPARK-39349] Adicione um método CheckError centralizado para a garantia de qualidade do caminho do erro
  • [SPARK-39453] [SQL] O DS V2 dá suporte a funções não agregadas em diversos envios (não ANSI)
  • [SPARK-38978] [SQL] O DS V2 dá suporte ao operador OFFSET de envio
  • [SPARK-39567] [SQL] Dê suporte a intervalos ANSI nas funções percentil
  • [SPARK-39383] [SQL] Dê suporte a colunas DEFAULT em ALTER TABLE ALTER COLUMNS para fontes de dados V2
  • [SPARK-39396] [SQL] Corrigir a exceção de logon LDAP 'código de erro 49 – credenciais inválidas'
  • [SPARK-39548][SQL] O comando CreateView com uma consulta de cláusula de janela atingiu uma definição de janela errada. Problema não encontrado
  • [SPARK-39575][AVRO] AdicionearByteBuffer#rewind após ByteBuffer#get no Avr…
  • [SPARK-39543] A opção de DataFrameWriterV2 deve ser passada para propriedades de armazenamento se for feito o fallback para v1
  • [SPARK-39564] [SS] Exponha as informações da tabela de catálogo ao plano lógico na consulta de streaming
  • [SPARK-39582] [SQL] Corrija o marcador "Since" para array_agg
  • [SPARK-39388] [SQL] Reutilize orcSchema ao reduzir predicados Orc
  • [SPARK-39511] [SQL] Melhore o limite local de pushdown 1 para o lado direito da semi/anti junção à esquerda se a condição de junção estiver vazia
  • [SPARK-38614] [SQL] Não fazer pushdown do limite pela janela que está usando percent_rank
  • [SPARK-39551] [SQL] Adicione verificação de plano inválido AQE
  • [SPARK-39383] [SQL] Dar suporte a colunas DEFAULT em ALTER TABLE ADD COLUMNS para fontes de dados V2
  • [SPARK-39538] [SQL] Evitar a criação de um agente SLF4J desnecessário
  • [SPARK-39383] [SQL] Backport manual para DBR 11.x: refatorar o suporte à coluna DEFAULT para ignorar a passagem do Analisador primário
  • [SPARK-39397] [SQL] Libere o AliasAwareOutputExpression para dar suporte a alias com expressão
  • [SPARK-39496] [SQL] Manipule struct nulo em Inline.eval
  • [SPARK-39545] [SQL] Substitua o método concat pelo ExpressionSet no Scala 2.13 para melhorar o desempenho
  • [SPARK-39340] [SQL] A propagação de agregação do DS v2 deve permitir pontos no nome das colunas de nível superior
  • [SPARK-39488] [SQL] Simplifique o tratamento de erros de TempResolvedColumn
  • [SPARK-38846] [SQL] Adicione mapeamento de dados explícito entre Teradata Numeric Type e Spark DecimalType
  • [SPARK-39520] [SQL] Substitua o método -- pelo ExpressionSet no Scala 2.13
  • [SPARK-39470] [SQL] Dê suporte à conversão de intervalos ANSI para decimais
  • [SPARK-39477] [SQL] Remova informações de "Número de consultas" dos arquivos finais do SQLQueryTestSuite
  • [SPARK-39419][SQL] Corrija um erro em que ArraySort lança uma exceção quando o comparador retorna nulo
  • [SPARK-39061] [SQL] Definir um anulável corretamente para atributos de saída Inline
  • [SPARK-39320] [SQL] Dar suporte à função de agregação MEDIAN
  • [SPARK-39261] [CORE] Aprimorar a formatação de nova linha para mensagens de erro
  • [SPARK-39355][SQL] A coluna única usa aspas para construir UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE deve redigir propriedades
  • [SPARK-37623] [SQL] Dar suporte à função de agregação ANSI: regr_intercept
  • [SPARK-39374] [SQL] Aprimorar a mensagem de erro da lista de colunas especificada pelo usuário
  • [SPARK-39255] [SQL][3.3] Aprimorar as mensagens de erro
  • [SPARK-39321] [SQL] Refatorar TryCast para usar RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Aceitar a matriz NumPy em createDataFrame
  • [SPARK-39267] [SQL] Limpe o símbolo desnecessário de DSL
  • [SPARK-39171] [SQL] Unifique a expressão de Conversão
  • [SPARK-28330] [SQL] Dê suporte a ANSI SQL: cláusula de deslocamento de resultado na expressão de consulta
  • [SPARK-39203] [SQL] Regenere o local da tabela para URI absoluto com base no URI do banco de dados
  • [SPARK-39313] [SQL] toCatalystOrdering deverá falhar se V2Expression não puder ser traduzido
  • [SPARK-39301] [SQL][PYTHON] Aproveite LocalRelation e respeite o tamanho do lote do Arrow em createDataFrame com otimização do Arrow
  • [SPARK-39400] [SQL] spark-sql deve remover o diretório de recurso hive em todos os casos

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 11.1.

Ambiente do sistema

  • Sistema operacional: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Antergos Linux 2015.10 (atualização cumulativa de ISO) argon2-cffi 20.1.0 async-generator 1,10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
black 22.3.0 bleach 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 clique 8.0.3
criptografia 3.4.8 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
entrypoints 0.3 facets-overview 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
notebook 6.4.5 numpy 1.20.3 empacotando 21.0
pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.4.0 pip 21.2.4
platformdirs 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 solicitações 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do instantâneo CRAN da Microsoft em 15/08/2022.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
askpass 1,1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 1.0.0
bslib 0.4.0 cachem 1.0.6 callr 3.7.1
sinal de interpolação 6.0-93 cellranger 1.1.0 chron 2.3-57
classe 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credenciais 1.3.2
curl 4.3.2 data.table 1.14.2 conjuntos de dados 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 ellipsis 0.3.2 evaluate 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.27.0 future.apply 1.9.0 gargle 1.2.0
Genéricos 0.1.3 gert 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.0 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 gower 1.0.0 elemento gráfico 4.1.3
grDevices 4.1.3 grade 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 hardhat 1.2.0
haven 2.5.0 highr 0,9 hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.39 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 ciclo de vida 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1,1 MASS 7.3-56 Matriz 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 pillar 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
progress 1.2.2 progressr 0.10.1 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
recipes 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.2
scales 1.2.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.0 survival 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0,40 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 vroom 1.5.7 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1