Partilhar via

Tempo de execução do Databricks 12.0 (EoS)

  • Artigo

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 12.0, desenvolvido pelo Apache Spark 3.3.1.

A Databricks lançou esta versão em dezembro de 2022.

Novos recursos e melhorias

E/S preditiva é GA

A E/S preditiva está agora disponível para o público em geral. Para obter mais informações, consulte O que é E/S preditiva?.

Photon writer suporta compressão zstd

O gravador nativo de fótons agora suporta o codec de compactação zstd quando zstd é habilitado pela configuração spark.sql.parquet.compression.codec como zstd.

Suporte para perfil de recurso de tarefa em nível de estágio para clusters autônomos

Agora você pode usar o agendamento em nível de estágio em clusters autônomos quando a alocação dinâmica estiver desabilitada. Para usar esse recurso, especifique os recursos da tarefa com ResourceProfileBuilder para cada estágio.

Suporte SQL para substituição seletiva com REPLACE WHERE

Agora você pode substituir seletivamente os dados correspondentes a uma expressão arbitrária em uma tabela Delta usando o seguinte padrão.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Consulte Substituição seletiva arbitrária com replaceWhere.

Marcas d'água agora são suportadas em SQL

Agora você pode especificar marcas d'água usando a interface SQL do Delta Live Tables e em consultas SQL em DataFrames de streaming. Ver cláusula WATERMARK.

Criação de perfil de memória PySpark

A criação de perfil de memória agora está habilitada para funções definidas pelo usuário do PySpark. Isso fornece informações sobre incremento de memória, uso de memória e número de ocorrências para cada linha de código em uma função definida pelo usuário.

Poda dinâmica para DELETE e UPDATE

Ao usar a computação habilitada para Photon, DELETE e UPDATE agora use a remoção dinâmica de arquivos e partições onde melhora o desempenho. Por exemplo, a remoção dinâmica é habilitada quando uma tabela de origem menor é usada para atualizar ou excluir linhas em uma tabela maior.

Métricas de exclusão em nível de linha para operações de linguagem de manipulação de dados particionados

Com predicados particionados, os usuários agora podem auditar quantas linhas são excluídas ao executar operações de linguagem de manipulação de dados (DML), como DELETE, TRUNCATEe replaceWhere.

Correções de erros

Corrigido um problema com a análise JSON no Auto Loader em que todas as colunas eram deixadas como strings. Anteriormente, cloudFiles.inferColumnTypes não foi definido ou definido como false e o JSON continha objetos aninhados.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • argon2-cffi de 20.1.0 a 21.3.0
    • attrs de 21.2.0 a 21.4.0
    • backports.entry-points-selecionável de 1.1.1 a 1.2.0
    • lixívia de 4.0.0 a 4.1.0
    • boto3 de 1.21.18 a 1.21.32
    • Botocore de 1.24.18 a 1.24.32
    • CFFI de 1.14.6 a 1.15.0
    • Clique de 8.0.3 para 8.0.4
    • cycler de 0.10.0 a 0.11.0
    • Cython de 0.29.24 a 0.29.28
    • depuração de 1.4.1 a 1.5.1
    • decorador de 5.1.0 a 5.1.1
    • pontos de entrada de 0,3 a 0,4
    • IDNA de 3.2 a 3.3
    • ipykernel de 6.12.1 a 6.15.3
    • ipython de 7.32.0 a 8.5.0
    • ipywidgets de 7.7.0 a 7.7.2
    • Jedi de 0.18.0 a 0.18.1
    • joblib de 1.0.1 a 1.1.0
    • jsonschema de 3.2.0 a 4.4.0
    • kiwisolver de 1.3.1 a 1.3.2
    • matplotlib de 3.4.3 a 3.5.1
    • nbclient de 0.5.3 a 0.5.13
    • nbconvert de 6.1.0 para 6.4.4
    • nbformat de 5.1.3 a 5.3.0
    • nest-asyncio de 1.5.1 a 1.5.5
    • notebook de 6.4.5 a 6.4.8
    • numpy de 1.20.3 a 1.21.5
    • embalagem de 21,0 a 21,3
    • pandas de 1.3.4 a 1.4.2
    • pandocfilters de 1.4.3 a 1.5.0
    • parso de 0.8.2 a 0.8.3
    • Almofada de 8.4.0 a 9.0.1
    • platformdirs de 2.5.2 a 2.5.4
    • plotly de 5.9.0 a 5.6.0
    • Prometheus-cliente de 0.11.0 a 0.13.1
    • Protobuf de 4.21.5 a 3.19.4
    • pycparser de 2,20 a 2,21
    • Pigmentos de 2.10.0 a 2.11.2
    • pyodbc de 4.0.31 a 4.0.32
    • pyzmq de 22.2.1 a 22.3.0
    • Pedidos de 2.26.0 a 2.27.1
    • s3transfer de 0.5.2 a 0.5.0
    • scikit-learn de 0.24.2 a 1.0.2
    • Scipy de 1.7.1 a 1.7.3
    • statsmodels de 0.12.2 a 0.13.2
    • terminado de 0.9.4 a 0.13.1
    • tomli de 2.0.1 a 1.2.2
    • traços de 5.1.0 a 5.1.1
    • urllib3 de 1.26.7 a 1.26.9
    • widgetsnbextensão de 3.6.0 a 3.6.1
  • Bibliotecas R atualizadas:
    • base de 4.1.3 a 4.2.2
    • Fermente de 1.0-7 a 1.0-8
    • BSLIB de 0.4.0 a 0.4.1
    • chamador de 3.7.2 a 3.7.3
    • Chron de 2.3-57 a 2.3-58
    • CLI de 3.3.0 a 3.4.1
    • cluster de 2.1.3 a 2.1.4
    • marca comum de 1.8.0 a 1.8.1
    • compilador de 4.1.3 a 4.2.2
    • CPP11 de 0.4.2 a 0.4.3
    • giz de cera de 1.5.1 a 1.5.2
    • curvatura de 4.3.2 a 4.3.3
    • data.table de 1.14.2 a 1.14.4
    • conjuntos de dados de 4.1.3 a 4.2.2
    • desc de 1.4.1 a 1.4.2
    • Devtools de 2.4.4 a 2.4.5
    • resumo de 0.6.29 a 0.6.30
    • e1071 de 1.7-11 a 1.7-12
    • avaliar de 0,16 a 0,18
    • fontawesome de 0.3.0 a 0.4.0
    • futuro de 1.28.0 a 1.29.0
    • future.apply de 1.9.1 a 1.10.0
    • gargarejo de 1.2.0 a 1.2.1
    • Gert de 1.8.0 a 1.9.1
    • ggplot2 de 3.3.6 a 3.4.0
    • GH de 1.3.0 a 1.3.1
    • gitcreds de 0.1.1 a 0.1.2
    • gráficos de 4.1.3 a 4.2.2
    • grDevices de 4.1.3 a 4.2.2
    • grelha de 4.1.3 a 4.2.2
    • httpuv de 1.6.5 a 1.6.6
    • isoband de 0.2.5 a 0.2.6
    • jsonlite de 1.8.0 a 1.8.3
    • lava de 1.6.10 a 1.7.0
    • ciclo de vida de 1.0.1 a 1.0.3
    • lubridato de 1.8.0 a 1.9.0
    • markdown de 1,1 para 1,3
    • MASSA de 7,3-56 a 7,3-58
    • Matriz de 1,4-1 a 1,5-1
    • Métodos de 4.1.3 a 4.2.2
    • mgcv de 1.8-40 a 1.8-41
    • nlme de 3.1-157 a 3.1-160
    • nnet de 7,3-17 a 7,3-18
    • openssl de 2.0.2 a 2.0.4
    • paralelo de 4.1.3 a 4.2.2
    • pkgload de 1.3.0 a 1.3.1
    • processx de 3.7.0 a 3.8.0
    • ps de 1.7.1 a 1.7.2
    • ronronar de 0.3.4 a 0.3.5
    • ragg de 1.2.2 a 1.2.4
    • RcppEigen de 0.3.3.9.2 a 0.3.3.9.3
    • Readr de 2.1.2 a 2.1.3
    • receitas de 1.0.1 a 1.0.3
    • RLANG de 1.0.5 a 1.0.6
    • rmarkdown de 2,16 para 2,18
    • parte de 4.1.16 a 4.1.19
    • RSQLite de 2.2.16 a 2.2.18
    • brilhante de 1.7.2 a 1.7.3
    • SparkR de 3.3.0 a 3.3.1
    • splines de 4.1.3 a 4.2.2
    • Estatísticas de 4.1.3 a 4.2.2
    • stats4 de 4.1.3 a 4.2.2
    • SYS de 3.4 a 3.4.1
    • tcltk de 4.1.3 a 4.2.2
    • ensaio de 3.1.4 a 3.1.5
    • Tidyr de 1.2.0 a 1.2.1
    • tidyselect de 1.1.2 a 1.2.0
    • horaData de 4021.104 a 4021.106
    • tinytex de 0,41 a 0,42
    • Ferramentas de 4.1.3 a 4.2.2
    • utils de 4.1.3 a 4.2.2
    • VCTRS de 0.4.1 a 0.5.0
    • vroom de 1.5.7 a 1.6.0
    • xfun de 0,32 a 0,34
    • yaml de 2.3.5 a 2.3.6
    • zip de 2.2.0 a 2.2.2
  • Bibliotecas Java atualizadas:
    • com.fasterxml.jackson.core.jackson-databind de 2.13.4 a 2.13.4.2
    • org.apache.parquet.parquet-coluna de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-comum de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-codificação de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.yetus.audience-anotações de 0.5.0 a 0.13.0

Faísca Apache

O Databricks Runtime 12.0 inclui o Apache Spark 3.3.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.3 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-40844] [SC-116996][12.x][12.0][12.0.0] Reverter "[SC-113542][SS] Inverter o valor padrão de Kafka offset fetching config"
  • [FAÍSCA-40646] [SC-116061] Reverter "[SC-113379][SQL] Corrigir o retorno de resultados parciais na fonte de dados JSON e funções JSON"
  • [FAÍSCA-41195] [SC-116305][SQL] Apoie o PIVOT/UNPIVOT com crianças juntas
  • [FAÍSCA-41178] [SC-116139][SQL] Corrigir a precedência da regra do analisador entre JOIN e vírgula
  • [FAÍSCA-41072] [SC-116140][SC-116044][SC-115852][SQL][SS] Adicione a classe STREAM_FAILED de erro a StreamingQueryException
  • [FAÍSCA-40921] Reverter "[SC-115140][SC-114585][SQL] Adicionar QUANDO NÃO CORRESPONDIDO PELA CLÁUSULA SOURCE para MERGE INTO
  • [FAÍSCA-37980] [SC-115758] [SQL] Estender a coluna METADADOS para oferecer suporte a índices de linha para arquivos Parquet
  • [FAÍSCA-41055] [SC-115582][SQL] Renomear _LEGACY_ERROR_TEMP_2424 para GROUP_BY_AGGREGATE
  • [FAÍSCA-41101] [SC-115849][PYTHON][PROTOBUF] Suporte de nome de classe de mensagem para PYSPARK-PROTOBUF
  • [FAÍSCA-40956] [SC-115867] Equivalente SQL para comando de substituição de Dataframe
  • [FAÍSCA-41095] [SC-115659][SQL] Converter operadores não resolvidos em erros internos
  • [FAÍSCA-41144] [SC-115866][SQL] Dica não resolvida não deve causar falha de consulta
  • [FAÍSCA-41137] [SC-115858][SQL] Renomear LATERAL_JOIN_OF_TYPE para INVALID_LATERAL_JOIN_TYPE
  • [FAÍSCA-40998] [SC-114754][SQL] Renomeie a classe _LEGACY_ERROR_TEMP_0040 de erro para INVALID_IDENTIFIER
  • [FAÍSCA-41015] [SC-115130][SQL][PROTOBUF] Verificação nula UnitTest para gerador de dados
  • [FAÍSCA-40769] [SC-114923][CORE][SQL] Migrar falhas de verificação de tipo de expressões agregadas para classes de erro
  • [FAÍSCA-41043] [SC-115183][SQL] Renomeie a classe _LEGACY_ERROR_TEMP_2429 de erro para NUM_COLUMNS_MISMATCH
  • [FAÍSCA-40777] [SC-114855][SQL][PROTOBUF] Protobuf importar suporte e mover classes de erro.
  • [FAÍSCA-41019] [SC-114987][SQL] Fornecer um contexto de consulta para failAnalysis()
  • [FAÍSCA-41027] [SC-115131][SQL] Utilizar UNEXPECTED_INPUT_TYPE em vez de MAP_FROM_ENTRIES_WRONG_TYPE
  • [FAÍSCA-40476] [SC-115868][SC-111163][ML][SQL] Reduzir o tamanho aleatório da ELA
  • [FAÍSCA-41134] [SC-115851][SQL] Melhorar a mensagem de erro de erros internos
  • [FAÍSCA-37980] Revert " [SQL] Estender a coluna METADATA para suportar índices de linha para arquivos Parquet
  • [FAÍSCA-41109] [SC-115788][SQL] Renomeie a classe de erro _LEGACY_ERROR_TEMP_1216 para INVALID_LIKE_PATTERN
  • [FAÍSCA-40984] [SC-115844][CORE][SQL] Utilizar NON_FOLDABLE_INPUT em vez de FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [FAÍSCA-41029] [SC-115828][SQL] Otimizar o uso do construtor de GenericArrayData para Scala 2.13
  • [FAÍSCA-40697] [SC-113648][SQL] Adicionar preenchimento de caracteres do lado de leitura para cobrir arquivos de dados externos
  • [FAÍSCA-40978] [SC-114574][SQL] Migrar failAnalysis() sem contexto para classes de erro
  • [FAÍSCA-40663] [SC-114586][SQL] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2251-2275
  • [FAÍSCA-38959] [SC-115672][SC-112707][SQL] DS V2: Suporta filtragem de grupo de tempo de execução em comandos de nível de linha
  • [FAÍSCA-40372] [SC-115668][SQL] Migrar falhas de verificações de tipo de matriz para classes de erro
  • [FAÍSCA-41038] [SC-115371][SQL] Renomear MULTI_VALUE_SUBQUERY_ERROR para SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [FAÍSCA-40965] [SC-114443][SQL] Renomeie a classe _LEGACY_ERROR_TEMP_1208 de erro para FIELD_NOT_FOUND
  • [FAÍSCA-40748] [SC-114696][SQL] Migrar falhas de verificação de tipo de condições para classes de erro
  • [FAÍSCA-40371] [SC-114557][SQL] Migrar falhas de verificação de tipo de NthValue e NTile para classes de erro
  • [FAÍSCA-41092] [SC-115547][SQL] Não use identificador para corresponder a unidades de intervalo
  • [FAÍSCA-41009] [SC-115360][SQL] Renomeie a classe _LEGACY_ERROR_TEMP_1070 de erro para LOCATION_ALREADY_EXISTS
  • [FAÍSCA-37980] [SQL] Estender a coluna METADADOS para oferecer suporte a índices de linha para arquivos Parquet
  • [FAÍSCA-40967] [SC-114448][SQL] Migrar failAnalysis() para classes de erro
  • [FAÍSCA-34265] [SC-115486][SC-113788][PYTHON][SQL] Instrumente UDFs Python usando métricas SQL
  • [FAÍSCA-41012] [SC-114873][SQL] Renomear _LEGACY_ERROR_TEMP_1022 para ORDER_BY_POS_OUT_OF_RANGE
  • [FAÍSCA-41042] [SC-115142][SQL] Renomear PARSE_CHAR_MISSING_LENGTH para DATATYPE_MISSING_SIZE
  • [FAÍSCA-40752] [SC-114442][SQL] Migrar falhas de verificação de tipo de expressões misc para classes de erro
  • [FAÍSCA-37945] [SC-115534][SQL][CORE] Usar classes de erro nos erros de execução de operações aritméticas
  • [FAÍSCA-40374] [SC-114705][SQL] Migrar falhas de verificação de tipo de criadores de tipos para classes de erro
  • [FAÍSCA-41056] [SC-115354][R] Corrigir novo comportamento de R_LIBS_SITE introduzido na R 4.2
  • [FAÍSCA-41041] [SC-115357][SQL] Integre-se _LEGACY_ERROR_TEMP_1279 em TABLE_OR_VIEW_ALREADY_EXISTS
  • [FAÍSCA-40663] [SC-114852][SQL] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2201-2225
  • [FAÍSCA-41020] [SC-114984][SQL] Renomeie a classe _LEGACY_ERROR_TEMP_1019 de erro para STAR_GROUP_BY_POS
  • [FAÍSCA-41035] [SC-115233][SQL] Não corrija filhos dobráveis de funções agregadas em RewriteDistinctAggregates
  • [FAÍSCA-39778] [SC-114353][SQL] Melhorar classes de erro e mensagens
  • [FAÍSCA-40798] [SC-113782][SQL] Alterar partição deve verificar o valor follow storeAssignmentPolicy
  • [FAÍSCA-40810] [SC-113533][SQL] Use SparkIllegalArgumentException em vez de IllegalArgumentException em CreateDatabaseCommand & AlterDatabaseSetLocationCommand
  • [FAÍSCA-40921] [SC-115140][SC-114585][SQL] Adicionar cláusula QUANDO NÃO CORRESPONDIDO PELA ORIGEM para MESCLAR EM
  • [FAÍSCA-40360] [SC-114965] ALREADY_EXISTS e NOT_FOUND exceções
  • [FAÍSCA-41007] [SC-115085][SQL] Adicionar serializador ausente para java.math.BigInteger
  • [FAÍSCA-40751] [SC-114254][SQL] Migrar falhas de verificação de tipo de funções de alta ordem para classes de erro
  • [FAÍSCA-40248] [SC-114704][SQL] Use um número maior de bits para criar o filtro Bloom
  • [FAÍSCA-41040] [SC-115145][SS] Corrigir falha de consulta de streaming de auto-união ao usar readStream.table
  • [FAÍSCA-32380] [SC-114966][SQL] Fixação do acesso à mesa HBase via Hive a partir do Spark
  • [FAÍSCA-40749] [SC-114860][SQL] Migrar falhas de verificação de tipo de geradores para classes de erro
  • [FAÍSCA-40925] [SC-114445][SQL][SS][WARMFIX][12.x] Corrigir operador stateful re...
  • [FAÍSCA-40654] [SC-112783] Remover linhas de log temporárias
  • [FAÍSCA-40742] [SC-114913][SC-112646][CORE][SQL] Corrigir avisos de compilação Java relacionados ao tipo genérico
  • [FAÍSCA-40657] [SC-113642][Escolha a dedo] Adicionar suporte para classes Java no Protob...
  • [FAÍSCA-40898] [SC-113932][SQL] Citar nomes de funções em erros de incompatibilidade de tipo de dados
  • [FAÍSCA-40760] [SC-113750][SQL] Migrar falhas de verificação de tipo de expressões de intervalo para classes de erro
  • [FAÍSCA-36114] [SC-113771][SQL] Suporte a subconsultas com predicados de não igualdade correlacionados
  • [FAÍSCA-40856] [SC-113738][SQL] Atualizar o modelo de erro do WRONG_NUM_PARAMS
  • [FAÍSCA-40759] [SC-114251][SQL] Migrar falhas de verificação de tipo da janela de tempo para classes de erro
  • [FAÍSCA-40750] [SC-113812][SQL] Migrar falhas de verificação de tipo de expressões matemáticas para classes de erro
  • [FAÍSCA-40756] [SC-113749][SQL] Migrar falhas de verificação de tipo de expressões de cadeia de caracteres para classes de erro
  • [FAÍSCA-40768] [SC-113640][SQL] Migrar falhas de verificação de tipo de bloom_filter_agg() para classes de erro
  • [FAÍSCA-40369] [SC-113402][CORE][SQL] Migrar as falhas de verificação de tipo de chamadas via reflexão para classes de erro
  • [FAÍSCA-39445] [SQL] Remova a janela se windowExpressions estiver vazia na remoção de coluna
  • [FAÍSCA-40761] [SC-113245][SQL] Migrar falhas de verificação de tipo de expressões de percentil para classes de erro
  • [FAÍSCA-40361] [SC-112789][SQL] Migrar falhas de verificação de tipo aritmético para classes de erro
  • [FAÍSCA-40714] [SC-112576][SQL] Remover PartitionAlreadyExistsException
  • [FAÍSCA-40702] [SC-112437][SQL] Corrigir especificações de partição em PartitionsAlreadyExistException
  • [FAÍSCA-40358] [SC-112631][SQL] Migrar falhas de verificação de tipo de coleção para classes de erro
  • [FAÍSCA-40910] [SC-114259][SQL] Substitua UnsupportedOperationException por SparkUnsupportedOperationException
  • [FAÍSCA-39876] [SC-112429][SQL] Adicionar UNPIVOT à sintaxe SQL
  • [FAÍSCA-39783] [SC-113389][SQL] Citação qualifiedName para corrigir backticks para candidatos a coluna em mensagens de erro
  • [FAÍSCA-40663] [SC-112520][SQL] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2026-2282
  • [FAÍSCA-40975] [SC-114555][SQL] Renomeie a classe _LEGACY_ERROR_TEMP_0021 de erro para UNSUPPORTED_TYPED_LITERAL
  • [FAÍSCA-37935] [SC-114472][SQL] Eliminar campos separados de subclasses de erro
  • [FAÍSCA-40944] [SC-114530][SQL] Relaxe a restrição de pedidos para as opções de coluna CREATE TABLE
  • [FAÍSCA-40815] [SC-114528][SQL] Adicionar DelegateSymlinkTextInputFormat ao bug de solução alternativa SymlinkTextInputSplit
  • [FAÍSCA-40933] [SC-114441][SQL] Reimplemente df.stat. {cov, corr} com funções sql incorporadas
  • [FAÍSCA-40932] [SC-114439][CORE] Corrigir mensagens de problema para allGather são substituídas
  • [FAÍSCA-39312] [SQL] Use parquet nativo em predicado para no filtro empurrar para baixo
  • [FAÍSCA-40862] [SC-114352][SQL] Suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery
  • [FAÍSCA-40963] [SC-114446][SQL] Definir anulável corretamente no projeto criado por ExtractGenerator
  • [FAÍSCA-40663] [SC-112295][SQL] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2000-2024
  • [FAÍSCA-40892] [SC-114347][SQL][SS] Afrouxar a exigência de window_time regra - permitir várias chamadas de window_time
  • [FAÍSCA-40540] [SC-111639][SQL] Migrar erros de compilação para classes de erro: _LEGACY_ERROR_TEMP_1100-1347
  • [FAÍSCA-40924] [SC-114258][SQL] Correção para Unhex quando a entrada tem um número ímpar de símbolos
  • [FAÍSCA-40821] [SC-113754][SQL][CORE][PYTHON][SS] Introduza window_time função para extrair o tempo do evento da coluna da janela
  • [FAÍSCA-40800] [SC-113772][SQL] Sempre expressões embutidas em OptimizeOneRowRelationSubquery
  • [FAÍSCA-40900] [SC-114006][SQL] Reimplementar frequentItems com operações de dataframe
  • [FAÍSCA-40735] [SC-114022][SC-112657] Invoque consistentemente bash com /usr/bin/env bash em scripts para tornar o código mais portátil
  • [FAÍSCA-40773] [SC-113091][SQL] Refatorar checkCorrelationsInSubquery
  • [FAÍSCA-40615] [SC-113400][SQL] Verifique os tipos de dados não suportados ao decorar subconsultas
  • [FAÍSCA-40660] [SC-112293][CORE][SQL] Alternar para XORShiftRandom para distribuir elementos
  • [FAÍSCA-40540] [SC-113926][SC-111331][SQL] Migrar erros de compilação para classes de erro
  • [FAÍSCA-40551] [SC-113135][SQL] DataSource V2: Adicionar APIs para operações de nível de linha baseadas em delta
  • [FAÍSCA-39391] [SC-110676][CORE] Reutilizar classes de particionador
  • [FAÍSCA-40368] [SC-113396][SQL] Migrar falhas de verificação do tipo Bloom Filter para classes de erro
  • [FAÍSCA-39146] [SC-111814][CORE][SQL] Introduzir singleton local para ObjectMapper que possa ser reutilizado
  • [FAÍSCA-40357] [SC-113786][SC-111352][SQL] Migrar falhas de verificação de tipo de janela para classes de erro
  • [FAÍSCA-40874] [SC-113756][PYTHON] Corrigir transmissões em UDFs Python quando a criptografia estiver ativada
  • [FAÍSCA-40359] [SC-113770][SC-111146][SQL] A verificação de tipo de migração falha em expressões CSV/JSON para classes de erro
  • [FAÍSCA-40880] [SC-113764][SQL] Reimplementar summary com operações de dataframe
  • [FAÍSCA-40877] [SC-113763][SQL] Reimplementar crosstab com operações de dataframe
  • [FAÍSCA-40382] [SC-113098][SQL] Agrupar expressões agregadas distintas por crianças semanticamente equivalentes em RewriteDistinctAggregates
  • [FAÍSCA-40826] [SC-113532][SS] Adicionar ponto de verificação adicional renomear arquivo de verificação
  • [FAÍSCA-40829] [SC-113426][SQL] ARMAZENADO COMO serde no modo de exibição CREATE TABLE LIKE não funciona
  • [FAÍSCA-40844] [SC-113542][SS] Inverter o valor padrão de Kafka offset fetching config
  • [FAÍSCA-40488] [SC-113568][SC-111160] Não encapsular exceções lançadas quando a gravação da fonte de dados falhar
  • [FAÍSCA-40560] [SC-113631][SC-111335][SQL] Renomear message para messageTemplate no STANDARD formato de erros
  • [FAÍSCA-40618] [SC-113096][SQL] Corrigir bug na regra MergeScalarSubqueries com subconsultas aninhadas usando o rastreamento de referência
  • [FAÍSCA-40530] [SC-113528][SC-111332][SQL] Adicionar APIs de desenvolvedor relacionadas a erros
  • [FAÍSCA-40806] [SC-113250][SQL] Correção de erro de digitação: CREATE TABLE -> REPLACE TABLE
  • [FAÍSCA-40646] [SC-113379][SQL] Corrigir o retorno de resultados parciais na fonte de dados JSON e nas funções JSON
  • [FAÍSCA-40654] [Escolha a dedo][SC-112783][SQL] Suporte Protobuf para Spark - de...
  • [FAÍSCA-40753] [SC-113539][SQL] Corrigir bug no caso de teste para operação de diretório de catálogo
  • [FAÍSCA-40765] [SC-113056][SQL] Otimizar a operação redundante de fs no CommandUtils#calculateSingleLocationSize#getPathSize método
  • [FAÍSCA-40114] [ES-479282][R][11.X] Suporte a seta 9.0.0 com SparkR
  • [FAÍSCA-40479] [SC-110935][SQL] Migrar erro de tipo de entrada inesperado para uma classe de erro
  • [FAÍSCA-40473] [SC-113388][SC-111141][SQL] Migrar erros de análise para classes de erro
  • [FAÍSCA-39853] [SC-111867][CORE] Suporte ao perfil de recurso de tarefa de nível de estágio para cluster autônomo quando a alocação dinâmica estiver desabilitada (porta traseira do PR-47157)
  • [FAÍSCA-40407] [SC-111161][SQL] Corrigir a possível distorção de dados causada por df.repartition
  • [FAÍSCA-40425] [SC-110840][SQL] DROP TABLE não precisa fazer pesquisa de tabela
  • [FAÍSCA-40703] [SC-113242][SQL] Introduza o shuffle no SinglePartition para melhorar o paralelismo
  • [FAÍSCA-40640] [SC-113138][CORE] SparkHadoopUtil para definir a origem das opções de configuração do hadoop/hive
  • [FAÍSCA-39062] [11.x][CORE] Adicionar suporte de agendamento de recursos em nível de estágio para cluster autônomo
  • [FAÍSCA-33861] [SC-109877]Reverter "[SQL] Simplificar condicional no predicado"
  • [FAÍSCA-40667] [SC-113136][SQL] Opções de fonte de dados do arquivo de refatoramento
  • [FAÍSCA-40370] [SC-110677][SQL] A verificação de tipo de migração falha para classes de erro no CAST
  • [FAÍSCA-40611] [SC-113105][SQL] Melhorar o desempenho de setInterval & getInterval for UnsafeRow
  • [FAÍSCA-40733] [SC-113126][SQL] Faça com que o conteúdo de SERDEPROPERTIES no resultado de ShowCreateTableAsSerdeCommand ter uma ordem fixa
  • [FAÍSCA-40585] [SC-112180][SQL] Suporta identificadores de aspas duplas
  • [FAÍSCA-40772] [SC-112992][SQL] Melhorar spark.sql.adaptive.skewJoin.skewedPartitionFactor para apoiar Double valores
  • [FAÍSCA-40565] [SC-112417][SQL] Não envie filtros não determinísticos para fontes de arquivos V2
  • [FAÍSCA-8731] [SC-112784] Beeline não funciona com a opção -e quando iniciado em segundo plano
  • [FAÍSCA-35242] [SC-111398][SQL] Suporte à alteração do banco de dados padrão do catálogo de sessões
  • [FAÍSCA-40426] [SC-110672][SQL] Retornar um mapa de SparkThrowable.getMessageParameters
  • [FAÍSCA-40494] [SC-112655][SC-111025][CORE][SQL][ML][MLLIB] Otimizar o desempenho do padrão de keys.zipWithIndex.toMap código
  • [FAÍSCA-40521] [SC-112430][SQL] O retorno só existe partições na PartitionsAlreadyExistException partição create do Hive
  • [FAÍSCA-40705] [SC-112567][SQL] Manipular caso de uso de matriz mutável ao converter linha em JSON para Scala 2.13
  • [FAÍSCA-39895] [SC-112590][SQL][PYTHON] Suporte a queda de várias colunas
  • [FAÍSCA-40607] [SC-112296][CORE][SQL][MLLIB][SS] Remover operações redundantes de interpolador de cadeia de caracteres
  • [FAÍSCA-40420] [SC-112604][SC-110569][SQL] Classificar parâmetros de mensagem de erro por nomes nos formatos JSON
  • [FAÍSCA-40403] [SC-110564][SQL] Calcular o tamanho da matriz não segura usando longs para evitar o tamanho negativo na mensagem de erro
  • [FAÍSCA-40482] [SC-110831][SQL] Reverter SPARK-24544 Print actual failure cause when look up function failed
  • [FAÍSCA-40400] [SC-112555][SC-110397][SQL] Passar parâmetros de mensagem de erro para exceções como mapas
  • [FAÍSCA-40628] [SC-112414][SQL] Não empurre a condição complexa semi/anti-junção esquerda através do projeto
  • [FAÍSCA-40562] [SC-111455][SQL] Adicionar spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [FAÍSCA-40501] [SC-111333][SQL] Adicionar PushProjectionThroughLimit para Optimizer
  • [FAÍSCA-39200] [SC-111244][CORE] Tornar o armazenamento de fallback legível no conteúdo
  • [FAÍSCA-38717] [SC-111241][SQL] Manipular o comportamento de preservação da caixa de especificação do bucket do Hive
  • [FAÍSCA-40385] [SC-111123][SQL] Corrigir caminho interpretado para construtor de objeto complementar
  • [FAÍSCA-40216] [SC-112413][SQL] Extraia o método comum ParquetUtils.prepareWrite para eliminar a duplicação de código em ParquetFileFormat e ParquetWrite
  • [FAÍSCA-40636] [SC-112160][CORE] Corrigir erros permaneceram embaralhados log em BlockManagerDecommissioner
  • [FAÍSCA-40617] [SC-112009] Corrigir a condição de corrida no processamento das entradas stageTCMP do ExecutorMetricsPoller
  • [FAÍSCA-40618] [SC-112046][SQL] Corrigir bug na regra MergeScalarSubqueries com subconsultas aninhadas
  • [FAÍSCA-40612] [SC-111933][CORE] Corrigindo o principal usado para renovação de token de delegação em gerenciadores de recursos não-YARN
  • [FAÍSCA-40595] [SC-111662][SQL] Melhorar a mensagem de erro para relações CTE não utilizadas
  • [FAÍSCA-40314] [SC-111879][SQL][PYTHON] Adicione ligações scala e python para inline e inline_outer
  • [FAÍSCA-40416] [SC-110945][SQL] Mover mensagens de erro CheckAnalysis da expressão de subconsulta para usar a nova estrutura de erro
  • [FAÍSCA-40318] [SC-111865][SC-109986][SQL] try_avg() deve lançar as exceções de seu filho
  • [FAÍSCA-40509] [SC-111644][SS][PYTHON] Adicionar exemplo para applyInPandasWithState
  • [FAÍSCA-40310] [SC-111329][SC-109842][SQL] try_sum() deve lançar as exceções de seu filho
  • [FAÍSCA-40016] [SQL] Remova o TryEval desnecessário na implementação do try_sum()
  • [FAÍSCA-40527] [SC-111224][SQL] Manter nomes de campo struct ou chaves de mapa em CreateStruct
  • [FAÍSCA-38098] [SC-111178][PYTHON] Adicionar suporte para ArrayType de StructType aninhado à conversão baseada em seta
  • [FAÍSCA-40324] [SC-111359][SC-110293][SQL] Fornecer contexto de consulta em AnalysisException
  • [FAÍSCA-40492] [SC-111324][SS] Faça manutenção antes de descarregar o StateStore de streaming
  • [FAÍSCA-40487] [SC-111124][SQL] Tornar defaultJoin em BroadcastNestedLoopJoinExec em execução em paralelo
  • [FAÍSCA-40474] [SC-111273][SQL] Corrigir a inferência do esquema CSV e o comportamento de análise de dados em colunas com datas e carimbos de data/hora mistos
  • [FAÍSCA-40508] [SC-111066][SQL] Tratar particionamento desconhecido como UnknownPartitioning
  • [FAÍSCA-40496] [SC-111234][SC-111013][SQL] Corrigir configurações para controlar "enableDateTimeParsingFallback"
  • [FAÍSCA-40435] [SC-111214][SS][PYTHON] Adicionar suítes de teste para applyInPandasWithState no PySpark
  • [FAÍSCA-40434] [SC-111125][SS][PYTHON] Implementar applyInPandasWithState no PySpark

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 12.0.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Escala: 2.12.14
  • Píton: 3.9.5
  • R: 4.2.2
  • Lago Delta: 2.2.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Argônio2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0 AstTokens 2.0.5
ATRs 21.4.0 Backcall 0.2.0 backports.pontos de entrada-selecionáveis 1.2.0
sopa bonita4 4.11.1 preto 22.3.0 lixívia 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 Normalizador de Charset 2.0.4
clicar 8.0.4 criptografia 3.4.8 cycler 0.11.0
Quisto 0.29.28 dbus-python 1.2.16 depuração 1.5.1
decorador 5.1.1 DeUsedXML 0.7.1 Distlib 0.3.6
pontos de entrada 0.4 execução 0.8.3 facetas-visão geral 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 Fonttools 4.25.0
idna 3.3 Ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 Jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 Joblib 1.1.0
jsonschema 4.4.0 jupyter-cliente 6.1.12 jupyter_core 4.11.2
Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0 Kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-em linha 0.1.2
Mistune 0.8.4 mypy-extensões 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 Ninho-Asyncio 1.5.5
bloco de notas 6.4.8 numpy 1.21.5 embalagem 21,3
pandas 1.4.2 PandocFilters 1.5.0 Parso 0.8.3
PathSpec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Travesseiro 9.0.1 pip 21.2.4
plataformadirs 2.5.4 enredo 5.6.0 Prometheus-cliente 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 PSUTIL 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 puro-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 Pyodbc 4.0.32 pyparsing 3.0.4
pirsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
Pyzmq 22.3.0 pedidos 2.27.1 pedidos-unixsocket 0.2.0
s3transferir 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Enviar2Lixo 1.8.0 setuptools 58.0.4
seis 1.16.0 Soupsieve 2.3.1 ssh-import-id 5.10
dados de pilha 0.2.0 statsmodels 0.13.2 tenacidade 8.0.1
terminado 0.13.1 caminho de teste 0.5.0 ThreadPoolCtl 2.2.0
tokenize-rt 4.2.1 Tomli 1.2.2 tornado 6.1
traços 5.1.1 typing_extensions 4.1.1 Upgrades autônomos 0.1
urllib3 1.26.9 virtualenv 20.8.0 largura de wc 0.2.5
WebEncodings 0.5.1 roda 0.37.0 widgetsnbextension 3.6.1

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2022-11-11.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 10.0.0 AskPass 1.1 asserçãoat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
arranque 1.3-28 brew 1.0-8 Brio 1.1.3
vassoura 1.0.1 BSLIB 0.4.1 cachem 1.0.6
Chamador 3.7.3 acento circunflexo 6.0-93 Cellranger 1.1.0
crono 2.3-58 classe 7.3-20 cli 3.4.1
Clipr 0.8.0 relógio 0.6.1 cluster 2.1.4
codetools 0.2-18 espaço em cores 2.0-3 marca comum 1.8.1
compilador 4.2.2 configuração 0.3.1 CPP11 0.4.3
lápis de cor 1.5.2 credenciais 1.3.2 curl 4.3.3
data.table 1.14.4 conjuntos de dados 4.2.2 DBI 1.1.3
DBPlyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 resumo 0.6.30 Iluminação reduzida 0.4.2
dplyr 1.0.10 DTPlyr 1.2.2 E1071 1.7-12
reticências 0.3.2 evaluate 0,18 Fãsi 1.0.3
Farver 2.1.1 mapa rápido 1.1.0 fontawesome 0.4.0
FORCATS 0.5.2 foreach 1.5.2 externa 0.8-82
forjar 0.2.0 FS 1.5.2 Futuro 1.29.0
future.apply 1.10.0 gargarejo 1.2.1 Genéricos 0.1.3
Gert 1.9.1 ggplot2 3.4.0 GH 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 Globais 0.16.1
colar 1.6.2 GoogleDrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 gráficos 4.2.2 grDevices 4.2.2
grelha 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 capacete 1.2.0 Refúgio 2.5.1
mais alto 0,9 HMS 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
IDs 1.0.1 ini 0.3.1 ipred 0.9-13
Isoband 0.2.6 iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 Knitr 1.40
etiquetagem 0.4.2 mais tarde 1.3.0 lattice 0.20-45
lava 1.7.0 ciclo de vida 1.0.3 ouvirv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Marcação 1.3
MASSA 7.3-58 Matriz 1.5-1 memoise 2.0.1
métodos 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 Modelador 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 paralelo 4.2.2
Paralelamente 1.32.1 pilar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 elogiar 1.0.0
unidades bonitas 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 Profvis 0.3.7 Progresso 1.2.2
progressor 0.11.0 promessas 1.2.0.1 proto 1.0.0
procuração 0.4-27 PS 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 RAGG 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
Leitor 2.1.3 ReadXL 1.4.1 receitas 1.0.3
revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.4.2
Reprex 2.0.2 remodelar2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversões 2.1.2
Rvest 1.0.3 Sass 0.4.2 escalas 1.2.1
seletor 0.4-2 sessioninfo 1.2.2 forma 1.4.6
brilhante 1.7.3 ferramentas de origem 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 espacial 7.3-11 splines 4.2.2
sqldf 0.4-11 QUADRADO 2021.1 estatísticas 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
sobrevivência 3.4-0 sys 3.4.1 fontes do sistema 1.0.4
tcltk 4.2.2 testeatat 3.1.5 formatação de texto 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
Tidyverse 1.3.2 mudança de hora 0.1.1 timeDate 4021.106
Tinytex 0.42 ferramentas 4.2.2 TZDB 0.3.0
urlchecker 1.0.1 usethis 2.1.6 UTF8 1.2.2
utilitários 4.2.2 uuid 1.1-0 VCTRS 0.5.0
viridisLite 0.4.1 vroom 1.6.0 Waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.13.4
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben ZSTD-JNI 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib Lapack | 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.21
IO.Delta delta-compartilhamento-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics métricas-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-comum 4.1.74.Final
io.netty netty-manipulador 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty transporte de rede 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-nativo-unix-comum 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna JNA 5.8.0
net.razorvine picles 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato de seta 7.0.0
org.apache.arrow seta-memória-núcleo 7.0.0
org.apache.arrow seta-memória-netty 7.0.0
org.apache.arrow vetor de seta 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapeado 1.11.0
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator curador-framework 2.13.0
org.apache.curator curador-receitas 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-DATABRICKS
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy hera 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc orc-núcleo 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc Orc-calços 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-encoding 1.12.3-databricks-0001
org.apache.parquet parquet-formato-estruturas 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.20
org.apache.yetus anotações de audiência 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-juta 3.6.2
org.checkerframework verificador-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty cais-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket API WebSocket 9.4.46.v20220331
org.eclipse.jetty.websocket Websocket-cliente 9.4.46.v20220331
org.eclipse.jetty.websocket Websocket-Comum 9.4.46.v20220331
org.eclipse.jetty.websocket servidor websocket 9.4.46.v20220331
org.eclipse.jetty.websocket Websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core servidor de jersey 2.36
org.glassfish.jersey.inject Jersey-HK2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow MLFLOW-Faísca 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap calços 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.14
org.scala-lang Escala-library_2.12 2.12.14
org.scala-lang Escala-reflect_2,12 2.12.14
org.scala-lang.modules scala-coleção-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp Brisa-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark não utilizado 1.0.0
org.threeten trêsdez-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1