Tempo de execução do Databricks 10.2 (EoS)
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 10.2 e o Databricks Runtime 10.2 Photon, com tecnologia Apache Spark 3.2.0. A Databricks lançou esta versão em dezembro de 2021. Photon está em Visualização Pública.
Novos recursos e melhorias
- Usar arquivos em repositórios com o Spark Streaming
- Databricks Utilities adiciona um comando update mount
- Delta Lake suporta renomeação de colunas (Visualização pública)
- O histórico da tabela Delta Lake adiciona informações de versão do Databricks Runtime
- Databricks Utilities adiciona as informações de tempo de modificação mais recentes quando os diretórios são listados
- O Spark SQL adiciona uma
approx_top_kfunção para retornar os principais itens e suas contagens - Trigger.AvailableNow agora disponível em Python e Scala
- O Auto Loader agora suporta a evolução do esquema para Avro (Public Preview)
Usar arquivos em repositórios com o Spark Streaming
Agora você pode acessar Arquivos no Repos do Spark Streaming.
Databricks Utilities adiciona um comando update mount
O novo dbutils.fs.updateMount comando é semelhante ao dbutils.fs.mount, mas este novo comando atualiza um ponto de montagem existente em vez de criar um novo. Consulte o comando updateMount (dbutils.fs.updateMount).
Delta Lake suporta renomeação de colunas (Visualização pública)
Delta Lake agora suporta a renomeação de colunas. Para renomear a coluna de uma tabela Delta, você deve atualizar a versão da tabela Delta e, em seguida, definir o modo de mapeamento de coluna como mapeamento de nomes. Consulte Renomear e soltar colunas com o mapeamento de colunas Delta Lake.
O histórico da tabela Delta Lake adiciona informações de versão do Databricks Runtime
Quando uma gravação agora é feita em uma tabela Delta, as informações sobre a versão do Databricks Runtime que fez a gravação também são registradas. Para obter as informações de versão, execute o DESCRIBE HISTORY comando na tabela e, em seguida, veja a engineInfo coluna na saída. Consulte DESCREVER HISTÓRICO e Trabalhar com o histórico da tabela Delta Lake.
Databricks Utilities adiciona as informações de tempo de modificação mais recentes quando os diretórios são listados
O dbutils.fs.ls comando para listar o conteúdo de um diretório agora gera um modificationTime campo. Este campo contém o tempo de modificação mais recente para cada arquivo ou diretório listado. Consulte o comando ls (dbutils.fs.ls).
O Spark SQL adiciona uma approx_top_k função para retornar os principais itens e suas contagens
A nova approx_top_k função retorna os valores de item que ocorrem com mais freqüência, juntamente com suas contagens aproximadas, para a expressão especificada. Alguns exemplos incluem:
df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')
display(df)
import pyspark.sql.functions as F
df = spark.createDataFrame([
(0,), (1,), (1,), (2,), (2,), (2,)
]).select(F.expr('approx_top_k(_1, 10)'))
display(df)
O resultado da execução de qualquer um dos exemplos é:
[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]
Consulte approx_top_k função agregada.
Trigger.AvailableNow agora disponível em Python e Scala
Essa alteração suporta as consultas Trigger.AvailableNow de streaming de origem Delta em Python e Scala. O Databricks Runtime 10.1 introduziu suporte para esse gatilho no Scala. O Databricks Runtime 10.2 agora também suporta esse gatilho em Python. Veja a cobertura de Trigger.AvailableNow em O que é Auto Loader?.
O Auto Loader agora suporta a evolução do esquema para Avro (Public Preview)
Consulte Configurar inferência e evolução de esquema no Auto Loader.
Atualizações da biblioteca
- Bibliotecas Python atualizadas:
- filelock de 3.3.1 a 3.4.0
- plotly de 5.3.0 a 5.3.1
- Bibliotecas R atualizadas:
- base de 4.1.1 a 4.1.2
- compilador de 4.1.1 a 4.1.2
- conjuntos de dados de 4.1.1 a 4.1.2
- gráficos de 4.1.1 a 4.1.2
- grDevices de 4.1.1 a 4.1.2
- grelha de 4.1.1 a 4.1.2
- Métodos de 4.1.1 a 4.1.2
- paralelo de 4.1.1 a 4.1.2
- Reserve de 1.8-8 a 1.8-10
- splines de 4.1.1 a 4.1.2
- Estatísticas de 4.1.1 a 4.1.2
- stats4 de 4.1.1 a 4.1.2
- tcltk de 4.1.1 a 4.1.2
- Ferramentas de 4.1.1 a 4.1.2
- utils de 4.1.1 a 4.1.2
- backports de 1.2.1 a 1.4.0
- Vassoura de 0.7.9 a 0.7.10
- CLI de 3.0.1 a 3.1.0
- CPP11 de 0.4.0 a 0.4.1
- giz de cera de 1.4.1 a 1.4.2
- Credenciais de 1.3.1 a 1.3.2
- futuro de 1.22.1 a 1.23.0
- Gert de 1.4.1 a 1.4.3
- glmnet de 4.1-2 a 4.1-3
- cola de 1.4.2 a 1.5.0
- memoise de 2.0.0 a 2.0.1
- paralelamente de 1.28.1 a 1.29.0
- Readr de 2.0.2 a 2.1.0
- sessioninfo de 1.1.1 a 1.2.1
- stringi de 1.7.5 a 1.7.6
- Tibble de 3.1.5 a 3.1.6
- tinytex de 0,34 a 0,35
- TZDB de 0.1.2 a 0.2.0
- usethis de 2.1.2 a 2.1.3
- uuid de 0.1-4 a 1.0-3
- vroom de 1.5.5 a 1.5.6
- xfun de 0,27 a 0,28
- Bibliotecas Java atualizadas:
- com.fasterxml.jackson de 2.12.2 a 2.12.3
- io.airlift.aircompressor de 0,19 a 0,21
- io.netty.netty-all de 4.1.63.Final a 4.1.68.Final
- joda-time.joda-time de 2.10.5 a 2.10.10
- org.apache.commons.commons-compress de 1.20 a 1.21
- org.apache.orc de 1.6.10 a 1.6.12
- org.eclipse.jetty de 9.4.40.v20210413 a 9.4.43.v20210629
- org.scalanlp.breeze-macros_2.12 de 1.0 a 1.2
- org.scalanlp.breeze_2.12 de 1.0 a 1.2
- org.org.typelevel.algebra_2.12 de 2.0.0 a 2.0.1
- org.typelevel.cats-kernel_2.12 de 2.0.0 a 2.0.1
Faísca Apache
O Databricks Runtime 10.2 inclui o Apache Spark 3.2.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-37447] [SQL] Cache LogicalPlan.isStreaming() resultar em um val preguiçoso
- [FAÍSCA-37468] [SQL] Suporte a intervalos ANSI e TimestampNTZ para UnionEstimation
- [FAÍSCA-37464] [SQL] SCHEMA e DATABASE devem ser simplesmente aliases de NAMESPACE
- [FAÍSCA-37452] [SQL] Char e Varchar quebram a compatibilidade com versões anteriores entre v3.1 e v2
- [FAÍSCA-36861] [SQL] Usar
yyyy-MM-ddcomo padrão de data na descoberta de partições - [FAÍSCA-37456] [SQL] CREATE NAMESPACE deve qualificar o local para o comando v2
- [FAÍSCA-37357] [SQL] Adicionar fator de partição pequeno para reequilibrar partições
- [FAÍSCA-37446] [SQL] Use reflexão para getWithoutRegisterFns para permitir diferentes versões do Hive para criação
- [FAÍSCA-37444] [SQL] ALTER NAMESPACE ... SET LOCATION deve lidar com a localização vazia consistentemente nos comandos v1 e v2
- [FAÍSCA-36357] [SQL] Suporte pushdown Timestamp sem fuso horário para orc
- [FAÍSCA-36346] [SQL] Suporte TimestampNTZ tipo na fonte do arquivo Orc
- [FAÍSCA-36646] [SQL] Empurre para baixo grupo por coluna de partição para agregação
- [FAÍSCA-34960] [SQL] Pressão agregada para baixo para ORC
- [FAÍSCA-37386] [SQL] Simplifique o OptimizeSkewedJoin para não executar o avaliador de custos
- [FAÍSCA-36073] [SQL] Correções e melhorias do EquivalentExpressions
- [FAÍSCA-35352] [SQL] Adicionar geração de código para junção de mesclagem de classificação externa completa
- [FAÍSCA-37292] [SQL] Remove a junção externa se ela tiver apenas DISTINCT no lado transmitido com alias
- [FAÍSCA-37371] [SQL] UnionExec deve apoiar colunar se todas as crianças apoiarem colunar
- [FAÍSCA-36645] [SQL] Agregado (Mín./Máx./Contagem) empurra para baixo para Parquet
- [FAÍSCA-37379] [SQL] Adicionar poda de padrão de árvore à regra CTESubstitution
- [FAÍSCA-37332] [SQL] Permitir intervalos ANSI em
ALTER TABLE .. ADD COLUMNS - [FAÍSCA-37224] [SS] Otimize o caminho de gravação no provedor de armazenamento de estado RocksDB
- [FAÍSCA-37304] [SQL] Permitir intervalos ANSI na v2
ALTER TABLE .. REPLACE COLUMNS - [FAÍSCA-36924] [SQL] CAST entre intervalos ANSI e IntegralType
- [FAÍSCA-37289] [SQL] Remover
partitionSchemaOptionfunção - [FAÍSCA-37270] [SQL] Corrigir push foldable em CaseWhen ramificações se elseValue estiver vazio
- [FAÍSCA-35345] [SQL] Adicionar testes de Parquet ao BloomFilterBenchmark
- [FAÍSCA-37341] [SQL] Evite buffer desnecessário e copie na junção de mesclagem de classificação externa completa
- [FAÍSCA-37266] [SQL] Ver texto só pode ser consultas SELECT
- [FAÍSCA-37288] [PYTHON][3.2] Backport desde a atualização da anotação
- [FAÍSCA-37262] [SQL] Não registre agregados vazios e agrupe por no JDBCScan
- [FAÍSCA-37283] [SQL] Não tente armazenar uma tabela V1 que contenha intervalos ANSI no formato compatível com Hive
- [FAÍSCA-37221] [SQL] A API collect-like no SparkPlan deve suportar a saída colunar
- [FAÍSCA-37202] [SQL] Use AnalysisContext para controlar funções temporárias referidas
- [FAÍSCA-37023] [CORE] Evite buscar o status de mesclagem quando shuffleMergeEnabled for false para um shuffleDependency durante a nova tentativa
- [FAÍSCA-37307] [CORE] Não obtenha conexão JDBC para partições vazias
- [FAÍSCA-37267] [SQL] Suporte a OptimizeSkewInRebalancePartitions otimizar nó não-raiz
- [FAÍSCA-36799] [SQL] Passar queryNome de execução na CLI
- [FAÍSCA-37261] [SQL] Permitir a adição de partições com intervalos ANSI no DSv2
- [FAÍSCA-37203] [SQL] Corrija NotSerializableException ao observar com TypedImperativeAggregate
- [FAÍSCA-37199] [SQL] Adicionar campo determinístico a QueryPlan
- [FAÍSCA-37253] [PYTHON]
try_simplify_tracebacknão deve falhar quandotb_frame.f_linenoé Nenhum - [FAÍSCA-37214] [SQL] Falha na análise de consulta anterior com identificadores inválidos
- [FAÍSCA-37240] [SQL] Manipule intervalos ANSI por
ColumnVectorUtils.populate() - [FAÍSCA-35437] [SQL] Usar expressões para filtrar partições do Hive no lado do cliente
- [FAÍSCA-32940] [SQL] Coletar, primeiro e último devem ser determinísticos funções agregadas
- [FAÍSCA-37231] [SQL] Gravações/leituras dinâmicas de partições de intervalo ANSI
- [FAÍSCA-37038] [SQL] DSV2 Amostra Push Down
- [FAÍSCA-36665] [SQL] Adicionar mais simplificações Não operador
- [FAÍSCA-37150] [SQL] Migrar DESCRIBE NAMESPACE para usar o comando V2 por padrão
- [FAÍSCA-37196] [SQL] HiveDecimal enforcePrecisionScale failed return null
- [FAÍSCA-37212] [SQL] Melhorar a implementação de pushdown agregado.
- [FAÍSCA-37190] [SQL] Melhorar mensagens de erro para Cast no modo ANSI
- [FAÍSCA-37161] [SQL] RowToColumnConverter suporte AnsiIntervalType
- [FAÍSCA-37160] [SQL] Adicionar uma configuração para, opcionalmente, desativar o preenchimento para o tipo char
- [FAÍSCA-36554] [SQL][PYTHON] Expor make_date expressão em functions.scala
- [FAÍSCA-37200] [SQL] Suporte índice de queda para Fonte de Dados V2
- [FAÍSCA-37179] [SQL] Modo ANSI: adicione uma configuração para permitir a transmissão entre Datetime e Numeric
- [FAÍSCA-37168] [SQL] Melhorar mensagens de erro para funções e operadores SQL no modo ANSI
- [FAÍSCA-36935] [SQL] Estenda o ParquetSchemaConverter para calcular a repetição do Parquet e o nível de definição
- [FAÍSCA-37066] [SQL] Melhorar a mensagem de erro para mostrar o caminho do arquivo quando não foi possível ler o próximo arquivo
- [FAÍSCA-32567] [SQL] Adicionar geração de código para junção de hash externa embaralhada completa
- [FAÍSCA-37176] [SQL] Sincronizar a lógica de identificador de exceção do método JsonInferSchema#infer com o método JacksonParser#parse
- [FAÍSCA-37149] [SQL] Melhorar mensagens de erro para exceções de estouro aritmético no modo ANSI
- [FAÍSCA-37136] [SQL] Remover código sobre a função buildin hive, mas não implementar no spark
- [FAÍSCA-16280] [SPARK-37082] [SQL] Implementa histogram_numeric função de agregação que suporta agregação parcial.
- [FAÍSCA-36975] [SQL] Corrigir as métricas das chamadas do cliente hive no HiveClientImpl
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 10.2.
Ambiente do sistema
- Sistema Operacional: Ubuntu 20.04.3 LTS
- Java: Zulu 8.58.0.13-CA-linux64
- Escala: 2.12.14
- Píton: 3.8.10
- R: 4.1.2
- Lago Delta: 1.1.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (Laminação ISO) | Appdirs | 1.4.4 | Argônio2-CFFI | 20.1.0 |
| gerador assíncrono | 1.10 | ATRs | 20.3.0 | Backcall | 0.2.0 |
| Bidico | 0.21.4 | lixívia | 3.3.0 | boto3 | 1.16.7 |
| botocore | 1.19.7 | certifi | 2020.12.5 | cffi | 1.14.5 |
| chardet | 4.0.0 | cycler | 0.10.0 | Quisto | 0.29.23 |
| dbus-python | 1.2.16 | decorador | 5.0.6 | DeUsedXML | 0.7.1 |
| Distlib | 0.3.3 | distro-info | 0,23ubuntu1 | pontos de entrada | 0.3 |
| facetas-visão geral | 1.0.0 | filelock | 3.4.0 | idna | 2.10 |
| Ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | Jedi | 0.17.2 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | Joblib | 1.0.1 | jsonschema | 3.2.0 |
| jupyter-cliente | 6.1.12 | Jupyter-core | 4.7.1 | Jupyterlab-Pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | Kiwisolver | 1.3.1 | coalas | 1.8.2 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.2 | Mistune | 0.8.4 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | nbformat | 5.1.3 |
| Ninho-Asyncio | 1.5.1 | bloco de notas | 6.3.0 | numpy | 1.19.2 |
| embalagem | 20.9 | pandas | 1.2.4 | PandocFilters | 1.4.3 |
| Parso | 0.7.0 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Travesseiro | 8.2.0 | pip | 21.0.1 |
| enredo | 5.3.1 | Prometheus-cliente | 0.10.1 | prompt-toolkit | 3.0.17 |
| protobuf | 3.17.2 | psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| pyarrow | 4.0.0 | pycparser | 2,20 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | pyparsing | 2.4.7 | pirsistent | 0.17.3 |
| python-apt | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 | Python-Engineio | 4.3.0 |
| python-socketio | 5.4.1 | pytz | 2020.5 | Pyzmq | 20.0.0 |
| pedidos | 2.25.1 | pedidos-unixsocket | 0.2.0 | s3transferir | 0.3.7 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
| Enviar2Lixo | 1.5.0 | setuptools | 52.0.0 | seis | 1.15.0 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | tenacidade | 8.0.1 |
| terminado | 0.9.4 | caminho de teste | 0.4.4 | ThreadPoolCtl | 2.1.0 |
| tornado | 6.1 | traços | 5.0.5 | Upgrades autônomos | 0.1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | largura de wc | 0.2.5 |
| WebEncodings | 0.5.1 | roda | 0.36.2 | widgetsnbextension | 3.5.1 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 30-11-2021.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| AskPass | 1.1 | asserçãoat | 0.2.1 | backports | 1.4.0 |
| base | 4.1.2 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.2 | arranque | 1.3-28 |
| brew | 1.0-6 | Brio | 1.1.2 | vassoura | 0.7.10 |
| BSLIB | 0.3.1 | cachem | 1.0.6 | Chamador | 3.7.0 |
| acento circunflexo | 6.0-90 | Cellranger | 1.1.0 | crono | 2.3-56 |
| classe | 7.3-19 | cli | 3.1.0 | Clipr | 0.7.1 |
| cluster | 2.1.2 | codetools | 0.2-18 | espaço em cores | 2.0-2 |
| marca comum | 1.7 | compilador | 4.1.2 | configuração | 0.3.1 |
| CPP11 | 0.4.1 | lápis de cor | 1.4.2 | credenciais | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | conjuntos de dados | 4.1.2 |
| DBI | 1.1.1 | DBPlyr | 2.1.1 | desc | 1.4.0 |
| devtools | 2.4.2 | diffobj | 0.3.5 | resumo | 0.6.28 |
| dplyr | 1.0.7 | DTPlyr | 1.1.0 | E1071 | 1.7-9 |
| reticências | 0.3.2 | evaluate | 0.14 | Fãsi | 0.5.0 |
| Farver | 2.1.0 | mapa rápido | 1.1.0 | fontawesome | 0.2.2 |
| FORCATS | 0.5.1 | foreach | 1.5.1 | externa | 0.8-81 |
| forjar | 0.2.0 | FS | 1.5.0 | Futuro | 1.23.0 |
| future.apply | 1.8.1 | gargarejo | 1.2.0 | Genéricos | 0.1.1 |
| Gert | 1.4.3 | ggplot2 | 3.3.5 | GH | 1.3.0 |
| gitcreds | 0.1.1 | glmnet | 4.1-3 | Globais | 0.14.0 |
| colar | 1.5.0 | GoogleDrive | 2.0.0 | googlesheets4 | 1.0.0 |
| gower | 0.2.2 | gráficos | 4.1.2 | grDevices | 4.1.2 |
| grelha | 4.1.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | Refúgio | 2.4.3 | mais alto | 0,9 |
| HMS | 1.1.1 | htmltools | 0.5.2 | htmlwidgets | 1.5.4 |
| httpuv | 1.6.3 | httr | 1.4.2 | hwriter | 1.3.2 |
| hwriterPlus | 1.0-3 | IDs | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-12 | Isoband | 0.2.5 | iteradores | 1.0.13 |
| jquerylib | 0.1.4 | jsonlite | 1.7.2 | KernSmooth | 2.23-20 |
| Knitr | 1.36 | etiquetagem | 0.4.2 | mais tarde | 1.3.0 |
| lattice | 0.20-45 | lava | 1.6.10 | ciclo de vida | 1.0.1 |
| ouvirv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.1 |
| Marcação | 1.1 | MASSA | 7.3-54 | Matriz | 1.3-4 |
| memoise | 2.0.1 | métodos | 4.1.2 | mgcv | 1.8-38 |
| mime | 0,12 | ModelMetrics | 1.2.2.2 | Modelador | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.5 | paralelo | 4.1.2 |
| Paralelamente | 1.29.0 | pilar | 1.6.4 | pkgbuild | 1.2.0 |
| pkgconfig | 2.0.3 | pkgload | 1.2.3 | plogr | 0.2.0 |
| plyr | 1.8.6 | elogiar | 1.0.0 | unidades bonitas | 1.1.1 |
| pROC | 1.18.0 | processx | 3.5.2 | prodlim | 2019.11.13 |
| Progresso | 1.2.2 | progressor | 0.9.0 | promessas | 1.2.0.1 |
| proto | 1.0.0 | procuração | 0.4-26 | PS | 1.6.0 |
| purrr | 0.3.4 | r2d3 | 0.2.5 | R6 | 2.5.1 |
| randomForest | 4.6-14 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.7 | RcppEigen | 0.3.3.9.1 |
| Leitor | 2.1.0 | ReadXL | 1.3.1 | receitas | 0.1.17 |
| revanche | 1.0.1 | revanche2 | 2.1.2 | Controles remotos | 2.4.1 |
| Reprex | 2.0.1 | remodelar2 | 1.4.4 | rlang | 0.4.12 |
| rmarkdown | 2.11 | RODBC | 1.3-19 | roxygen2 | 7.1.2 |
| rpart | 4.1-15 | rprojroot | 2.0.2 | Rserve | 1.8-10 |
| RSQLite | 2.2.8 | rstudioapi | 0,13 | rversões | 2.1.1 |
| Rvest | 1.0.2 | Sass | 0.4.0 | escalas | 1.1.1 |
| seletor | 0.4-2 | sessioninfo | 1.2.1 | forma | 1.4.6 |
| brilhante | 1.7.1 | ferramentas de origem | 0.1.7 | sparklyr | 1.7.2 |
| SparkR | 3.2.0 | espacial | 7.3-11 | splines | 4.1.2 |
| sqldf | 0.4-11 | QUADRADO | 2021.1 | estatísticas | 4.1.2 |
| stats4 | 4.1.2 | stringi | 1.7.6 | stringr | 1.4.0 |
| sobrevivência | 3.2-13 | sys | 3.4 | tcltk | 4.1.2 |
| TeachingDemos | 2.10 | testeatat | 3.1.0 | tibble | 3.1.6 |
| tidyr | 1.1.4 | tidyselect | 1.1.1 | Tidyverse | 1.3.1 |
| timeDate | 3043.102 | Tinytex | 0,35 | ferramentas | 4.1.2 |
| TZDB | 0.2.0 | usethis | 2.1.3 | UTF8 | 1.2.2 |
| utilitários | 4.1.2 | uuid | 1.0-3 | VCTRS | 0.3.8 |
| viridisLite | 0.4.0 | vroom | 1.5.6 | Waldo | 0.3.1 |
| whisker | 0.4 | withr | 2.4.2 | xfun | 0.28 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 | zip | 2.2.0 |
Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | transmissão em fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2,12 | 0.4.15-10 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anotações | 2.12.3 |
| com.fasterxml.jackson.core | jackson-core | 2.12.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.12.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.12.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.12.3 |
| com.fasterxml.jackson.module | jackson-módulo-scala_2.12 | 2.12.3 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | ZSTD-JNI | 1.5.0-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | Tink | 1.6.0 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | criador de perfil | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.istack | istack-commons-tempo de execução | 3.0.8 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | Escala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.8.0 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | ARPACK | 1.3.2 |
| dev.ludovic.netlib | Blas | 1.3.2 |
| dev.ludovic.netlib | Lapack | | 1.3.2 |
| colmeia-2.3__hadoop-3.2 | JETS3T-0,7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.ponte aérea | compressor de ar | 0.21 |
| IO.Delta | delta-compartilhamento-spark_2.12 | 0.2.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | métricas-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.68.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recoletor | 0.12.0 |
| jacarta.anotação | Jacarta.Anotação-API | 1.3.5 |
| jacarta.servlet | jacarta.servlet-api | 4.0.3 |
| jacarta.validação | Jacarta.validation-api | 2.0.2 |
| jakarta.ws.rs | Jacarta.ws.rs-api | 2.1.6 |
| javax.activation | ativação | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transação | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.10 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-árvores | colmeia-2.3__hadoop-3.2 | liball_deps_2.12 |
| net.java.dev.jna | JNA | 5.8.0 |
| net.razorvine | pirolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.13.3 |
| net.floco de neve | faísca-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | Remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 2.0.0 |
| org.apache.arrow | seta-memória-núcleo | 2.0.0 |
| org.apache.arrow | seta-memória-netty | 2.0.0 |
| org.apache.arrow | vetor de seta | 2.0.0 |
| org.apache.avro | avro | 1.10.2 |
| org.apache.avro | avro-ipc | 1.10.2 |
| org.apache.avro | avro-mapeado | 1.10.2 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-texto | 1.6 |
| org.apache.curator | curador-cliente | 2.13.0 |
| org.apache.curator | curador-framework | 2.13.0 |
| org.apache.curator | curador-receitas | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.1-Databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.1 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-cliente | 2.3.9 |
| org.apache.hive | colmeia-lamp-comum | 2.3.9 |
| org.apache.hive | Colmeia-Serde | 2.3.9 |
| org.apache.hive | colmeias-calços | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | colmeia-calços-0,23 | 2.3.9 |
| org.apache.hive.shims | colmeia-calços-comum | 2.3.9 |
| org.apache.hive.shims | colmeia-shims-scheduler | 2.3.9 |
| org.apache.htrace | htrace-core4 | 4.1.0-incubação |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | hera | 2.5.0 |
| org.apache.mesos | mesos-sombreado-protobuf | 1.4.0 |
| org.apache.orc | orc-núcleo | 1.6.12 |
| org.apache.orc | orc-mapreduce | 1.6.12 |
| org.apache.orc | Orc-calços | 1.6.12 |
| org.apache.parquet | parquet-column | 1.12.0-DATABRICKS-0003 |
| org.apache.parquet | parquet-common | 1.12.0-DATABRICKS-0003 |
| org.apache.parquet | parquet-encoding | 1.12.0-DATABRICKS-0003 |
| org.apache.parquet | parquet-formato-estruturas | 1.12.0-DATABRICKS-0003 |
| org.apache.parquet | parquet-hadoop | 1.12.0-DATABRICKS-0003 |
| org.apache.parquet | parquet-jackson | 1.12.0-DATABRICKS-0003 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-sombreado | 4.20 |
| org.apache.yetus | anotações de audiência | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-juta | 3.6.2 |
| org.checkerframework | verificador-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-continuation | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-http | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-io | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-jndi | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-plus | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-proxy | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-security | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-server | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlet | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlets | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util | 9.4.43.v20210629 |
| org.eclipse.jetty | cais-util-ajax | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-webapp | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-xml | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | API WebSocket | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | Websocket-cliente | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | Websocket-Comum | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | servidor websocket | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | Websocket-servlet | 9.4.43.v20210629 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | localizador hk2 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jacarta.inject | 2.6.1 |
| org.glassfish.jaxb | jaxb-tempo de execução | 2.3.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
| org.glassfish.jersey.core | jersey-client | 2.34 |
| org.glassfish.jersey.core | jersey-common | 2.34 |
| org.glassfish.jersey.core | servidor de jersey | 2.34 |
| org.glassfish.jersey.inject | Jersey-HK2 | 2.34 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | anotações | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | JSON4S-ast_2.12 | 3.7.0-M11 |
| org.json4s | JSON4S-core_2.12 | 3.7.0-M11 |
| org.json4s | JSON4S-jackson_2,12 | 3.7.0-M11 |
| org.json4s | JSON4S-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | LZ4-Java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.2.19 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | calços | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2.12 | 2.12.14 |
| org.scala-lang | Escala-library_2.12 | 2.12.14 |
| org.scala-lang | Escala-reflect_2,12 | 2.12.14 |
| org.scala-lang.modules | scala-coleção-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | Escala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | Brisa-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.threeten | trêsdez-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | gatos-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | torre-macros_2.12 | 0.17.0 |
| org.typelevel | torre-platform_2.12 | 0.17.0 |
| org.typelevel | torre-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | mosca-selvagem-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |