Tempo de execução do Databricks 8.4 (EoS)
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 8.4 e o Databricks Runtime 8.4 Photon, com tecnologia Apache Spark 3.1.2. A Databricks lançou esta versão em julho de 2021. Photon está em Visualização Pública.
Novos recursos e melhorias
- Recursos e melhorias do Delta Lake
- Recursos e melhorias do Auto Loader
- Atualizações do conector
- Correções de erros
Recursos e melhorias do Delta Lake
- Feed de dados de alteração de tabela delta (GA)
- Carregue tabelas Delta compartilhadas facilmente com o Databricks Runtime
- Mais tabelas se beneficiam da remoção dinâmica de arquivos
- Melhor desempenho com ajuste automático do tamanho do arquivo de destino
- Mais maneiras de especificar tabelas em
DeltaTable.forName - Streaming robusto de gravações em várias tabelas usando
foreachBatch - Melhor desempenho da consulta de leitura em determinadas cargas de trabalho devido a pontos de verificação ajustados
- Criar
GroupStatepara testar funções de Streaming Estruturado definidas pelo usuário
Feed de dados de alteração de tabela delta (GA)
O feed de dados de alteração da tabela Delta agora está disponível para o público em geral. Ele representa as alterações de nível de linha entre diferentes versões da tabela. Quando habilitado, informações adicionais são registradas sobre alterações no nível da linha para cada operação de gravação na tabela. Consulte Usar feed de dados de alteração do Delta Lake no Azure Databricks.
Carregue tabelas Delta compartilhadas facilmente com o Databricks Runtime
O Apache Spark Connector para Delta Sharing 0.1.0 está agora em Databricks Runtime. Você pode carregar uma tabela compartilhada usando spark.read.format("deltaSharing").load(uri) diretamente sem anexar o conector Delta Sharing Spark ao cluster.
Mais tabelas se beneficiam da remoção dinâmica de arquivos
O recurso de remoção dinâmica de arquivos foi ajustado para ser acionado em tabelas com menos arquivos. Consulte Remoção dinâmica de ficheiros.
Melhor desempenho com ajuste automático do tamanho do arquivo de destino
O tamanho do arquivo de destino para tabelas Delta agora é ajustado automaticamente com base no tamanho da tabela. Anteriormente, o tamanho do arquivo de destino para OPTIMIZE e OPTIMIZE ZORDER BY era de 1GB. Com o ajuste automático baseado no tamanho da tabela, as tabelas Delta de até 2,56 TB usarão 256 MB como tamanho de destino. Tabelas maiores que 10TB usarão 1GB como antes. As tabelas entre esses tamanhos usarão tamanhos de destino que crescem proporcionalmente com o tamanho da tabela.
Consulte Configurar o Delta Lake para controlar o tamanho do arquivo de dados.
Mais maneiras de especificar tabelas em DeltaTable.forName
DeltaTable.forName agora suporta o uso delta.`<path>` para identificar tabelas.
Streaming robusto de gravações em várias tabelas usando foreachBatch
As gravações de streaming Delta idempotentes dentro do foreachBatch() comando agora são suportadas. Para obter detalhes, consulte Idempotent multi-table writes.
Melhor desempenho da consulta de leitura em determinadas cargas de trabalho devido a pontos de verificação ajustados
O Delta Lake agora ajusta a frequência com que faz checkpoints aprimorados. Em vez de marcar pontos de verificação em um intervalo fixo, a Delta agora ajusta dinamicamente a frequência do ponto de verificação com base em determinados gatilhos de eventos. Isso melhora o desempenho da consulta de leitura em cargas de trabalho nas quais algumas otimizações de pulo de dados não podiam ser aplicadas antes. Para usar essas otimizações, atualize seus trabalhos que gravam no Delta Lake para o Databricks Runtime 8.4. Consulte Habilitar pontos de verificação aprimorados para consultas de streaming estruturado.
Criar GroupState para testar funções de Streaming Estruturado definidas pelo usuário
Até agora, apenas o mecanismo de Streaming Estruturado podia criar instâncias do GroupState. Assim, qualquer teste de unidade da função definida pelo usuário exigia a execução de uma consulta de streaming no Apache Spark.
Agora você pode criar instâncias de uso do GroupState TestGroupState.create(…). Isso permite que você teste uma função definida pelo usuário em testes de unidade simples que não exigem a execução do Spark. Consulte Testar a função de atualização mapGroupsWithState. Especificamente, ele produz instâncias do tipo TestGroupState que estende a interface GroupState com métodos adicionais para introspeção do estado interno após a função definida pelo usuário ter sido aplicada.
Recursos e melhorias do Auto Loader
- Configurar o preenchimento para capturar arquivos perdidos
- Espaço de armazenamento limitado para fluxos de grandes volumes
- Configuração simplificada com suporte sem caminho
Configurar o preenchimento para capturar arquivos perdidos
O Auto Loader agora suporta a execução de backfills de forma assíncrona para capturar quaisquer arquivos que possam ter sido perdidos com notificações de arquivos. Os sistemas de armazenamento de arquivos e os sistemas de notificação não podem garantir 100% da entrega de todos os eventos de arquivos. Portanto, o Databricks recomenda habilitar preenchimentos periódicos para capturar todos os seus dados com o Auto Loader. Use a cloudFiles.backfillInterval opção para agendar preenchimentos regulares sobre seus dados. Consulte Opções comuns do carregador automático.
Espaço de armazenamento limitado para fluxos de grandes volumes
Agora você pode configurar o Auto Loader para expirar e remover entradas no RocksDB para vincular sua pegada de armazenamento no local do ponto de verificação. O Databricks não recomenda que você use a menos que você esteja ingerindo dados na ordem de milhões de arquivos por hora. Definir essa opção incorretamente ou tentar ajustá-la pode levar a muitos problemas de qualidade de dados, como arquivos não processados sendo ignorados ou duplicados de alguns arquivos em vez de exatamente uma vez processamento. Para obter detalhes, consulte Retenção de eventos.
Configuração simplificada com suporte sem caminho
Baldes S3
Agora você pode fornecer a fila SQS que recebe eventos de vários caminhos ou buckets do S3.
Se você fornecer a URL da fila SQS, a path opção não será necessária para este caso de uso.
O Auto Loader constrói caminhos do S3 usando o bucket e a chave dos eventos do S3. Se você quiser ler os arquivos através de pontos de montagem DBFS, você pode usar cloudFiles.pathRewrites para alterar prefixos de caminho para DBFS. Isso não é necessário, a menos que você esteja acessando dados em contas diferentes com AssumeRoleo .
Consulte Opções de notificação de arquivo.
Contêineres do Azure Data Lake Storage Gen2
Agora você pode fornecer a fila do Azure que recebe eventos de vários contêineres.
Se você fornecer o nome da fila do Azure, a path opção não será necessária.
Por padrão, o Auto Loader constrói caminhos do Azure Data Lake Storage Gen2 usando o contêiner e a chave nos eventos de arquivo.
Se você quiser usar caminhos WASB ou pontos de montagem DBFS, você pode usar cloudFiles.pathRewrites para alterar prefixos de caminho.
Consulte Opções de notificação de arquivo.
Atualizações do conector
- O conector Snowflake Spark foi atualizado para v2.9.0.
- A criptografia KMS agora é suportada
UNLOADna instrução do conector Redshift.
Correções de erros
- Corrigido um problema para clusters habilitados com controle de acesso à tabela onde
select * from folderpode mostrar o conteúdo da pasta mesmo se o usuário não tiver permissão de acesso a arquivos. - Os proprietários de bancos de dados não administradores agora podem descartar tabelas não pertencentes em bancos de dados. Isso corrige o problema em que os proprietários do banco de dados não podiam descartar um banco de dados se tabelas não pertencentes existissem no banco de dados.
Atualizações da biblioteca
- Bibliotecas Python atualizadas:
- certifi atualizado de 2020.12.5 para 2021.5.30
- destilado atualizado de 0.3.1 para 0.3.2
- Koalas atualizado de 1.8.0 para 1.8.1
- protobuf atualizado de 3.17.0 para 3.17.3
- Bibliotecas R atualizadas:
- base de 4.0.4 a 4.1.0
- inicialização de 1.3-27 a 1.3-28
- classe de 7.3-18 a 7.3-19
- cluster de 2.1.1 a 2.1.2
- compilador de 4.0.4 a 4.1.0
- conjuntos de dados de 4.0.4 a 4.1.0
- gráficos de 4.0.4 a 4.1.0
- grDevices de 4.0.4 a 4.1.0
- grelha de 4.0.4 a 4.1.0
- KernSmooth de 2.23-18 a 2.23-20
- rede de 0,20-41 a 0,20-44
- MASSA de 7,3-53,1 a 7,3-54
- Matriz de 1,3-2 a 1,3-3
- Métodos de 4.0.4 a 4.1.0
- mgcv de 1.8-33 a 1.8-35
- nnet de 7,3-15 a 7,3-16
- paralelo de 4.0.4 a 4.1.0
- Reserve de 1.8-7 a 1.8-8
- SparkR de 3.1.1 a 3.1.2
- splines de 4.0.4 a 4.1.0
- Estatísticas de 4.0.4 a 4.1.0
- stats4 de 4.0.4 a 4.1.0
- sobrevida de 3,2-7 a 3,2-11
- tcltk de 4.0.4 a 4.1.0
- Ferramentas de 4.0.4 a 4.1.0
- utils de 4.0.4 a 4.1.0
- Bibliotecas Java atualizadas:
- Flocos de neve-JDBC de 3.12.8 a 3.13.3
- faísca-snowflake_2.12 de 2.8.1-spark_3.0 a 2.9.0-spark_3.1
- RoaringBitmap de 0.9.0 a 0.9.14
- calços de 0.9.0 a 0.9.14
- rocksdbjni de 6.2.2 a 6.20.3
Faísca Apache
O Databricks Runtime 8.4 inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.3 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-35792] [SQL] View não deve capturar configurações usadas em
RelationConversions - [FAÍSCA-35700] [SQL] Leia char / varchar orc tabela com criado e escrito por sistemas externos
- [FAÍSCA-35636] [SQL] As teclas do Lambda não devem ser referenciadas fora da função lambda
- [FAÍSCA-35800] [Escolha a dedo] Melhorando a capacidade de teste do GroupState introduzindo o TestGroupState
- [FAÍSCA-35391] Corrigir fuga de memória em ExecutorAllocationListener
- [FAÍSCA-35799] [Escolha a dedo] Corrigir a métrica allUpdatesTimeMs em FlatMapGroupsWithStateExec
- [FAÍSCA-35763] [SS] Remover a dependência de enumeração da subclasse StateStoreCustomMetric
- [SPARK-35791 [SQL] Libere o mapa em andamento corretamente para a junção ANTI com reconhecimento de NULL
- [FAÍSCA-35695] [SQL] Coletar métricas observadas de subárvores de execução adaptáveis e em cache
- [FAÍSCA-35767] [SQL] Evite executar o plano infantil duas vezes no CoalesceExec
- [FAÍSCA-35746] [UI] Corrigir taskid na linha do tempo do evento da tarefa da página do palco
- [FAÍSCA-35673] [SQL] Corrija a dica definida pelo usuário e a dica não reconhecida na subconsulta.
- [FAÍSCA-35714] [CORE] Correção de bug para deadlock durante o desligamento do executor
- [FAÍSCA-35689] [SS] Adicionar aviso de log quando keyWithIndexToValue retorna valor nulo
- [FAÍSCA-35589] [CORE][3.1] BlockManagerMasterEndpoint não deve ignorar o ficheiro aleatório apenas de índice durante a atualização
- [FAÍSCA-35643] [PYTHON] Corrigir referência ambígua em functions.py coluna()
- [FAÍSCA-35652] [SQL] joinWith em duas tabelas geradas a partir da mesma
- [FAÍSCA-35679] [SQL] estouro instantToMicros
- [FAÍSCA-35602] [SS] Atualizar esquema de estado para poder aceitar JSON de longo comprimento
- [FAÍSCA-35653] [SQL] Corrigir caminho interpretado CatalystToExternalMap falha para Map com classes de caso como chaves ou valores
- [FAÍSCA-35296] [SQL] Permita que Dataset.observe funcione mesmo se CollectMetricsExec em uma tarefa lida com várias partições.
- [FAÍSCA-35659] [SS] Evite gravar null em StateStore
- [FAÍSCA-35665] [SQL] Resolver UnresolvedAlias em CollectMetrics
- [FAÍSCA-35558] Otimiza para recuperação multi-quantil
- [FAÍSCA-35621] [SQL] Adicionar remoção de id de regra à regra TypeCoercion
- [FAÍSCA-35077] [SQL] Migrar para transformWithPruning para regras do otimizador de sobras
- [FAÍSCA-35610] [CORE] Corrigir o vazamento de memória introduzido pelo gancho de desligamento de parada do Executor
- [FAÍSCA-35544] [SQL] Adicionar poda de padrão de árvore às regras do Analyzer
- [FAÍSCA-35566] [SS] Corrigir linhas de saída StateStoreRestoreExec
- [FAÍSCA-35454] [SQL][3.1] Um LogicalPlan pode corresponder a vários IDs de conjuntos de dados
- [FAÍSCA-35538] [SQL] Migrar sites de chamada transformAllExpressions para usar transformAllExpressionsWithPruning
- [FAÍSCA-35106] [Núcleo][SQL] Evite falhar na renomeação causada pela inexistência do diretório de destino
- [FAÍSCA-35287] [SQL] Permitir que RemoveRedundantProjects preserve ProjectExec que gera UnsafeRow para DataSourceV2ScanRelation
- [FAÍSCA-35495] [R] Alterar o mantenedor do SparkR para CRAN
- [FAÍSCA-27991] [CORE] Adiar a solicitação de busca no Netty OOM
- [FAÍSCA-35171] [R] Declarar o pacote de markdown como uma dependência do pacote SparkR
- [FAÍSCA-35454] [SQL] Um LogicalPlan pode corresponder a várias ids de conjunto de dados
- [FAÍSCA-35298] [SQL] Migrar para transformWithPruning para regras em Optimizer.scala
- [FAÍSCA-35480] [SQL] Faça percentile_approx trabalhar com o pivô
- [FAÍSCA-35093] [SQL] A AQE agora usa o plano newQueryStage como chave para procurar trocas armazenadas em cache para reutilização
- [FAÍSCA-35146] [SQL] Migrar para transformWithPruning ou resolveWithPruning para regras em finishAnalysis.scala
- [FAÍSCA-35411] [SQL] Adicionar informações essenciais ao serializar TreeNode para json
- [FAÍSCA-35294] [SQL] Adicione poda transversal de árvore em regras com arquivos dedicados no otimizador
- [FAÍSCA-34897] [SQL][3.1] Suporte a esquemas de reconciliação com base no índice após a remoção de coluna aninhada
- [FAÍSCA-35144] [SQL] Migrar para transformWithPruning para regras de objeto
- [FAÍSCA-35155] [SQL] Adicionar remoção de id de regra às regras do Analyzer
- [FAÍSCA-35382] [PYTHON] Corrija problemas de nome de variável lambda em funções DataFrame aninhadas em APIs Python.
- [FAÍSCA-35359] [SQL] Inserir dados com o tipo de dados char/varchar falhará quando o comprimento dos dados exceder a limitação de comprimento
- [FAÍSCA-35381] [R] Corrigir problemas de nome de variável lambda em funções de ordem superior aninhadas em APIs R
Ambiente do sistema
- Sistema Operacional: Ubuntu 18.04.5 LTS
- Java: Zulu 8.54.0.21-CA-linux64
- Escala: 2.12.10
- Píton: 3.8.8
- R: 4.1.0 (18/05/2021)
- Lago Delta 1.0.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| Appdirs | 1.4.4 | asn1crypto | 1.4.0 | Backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | Brotlipia | 0.7.0 |
| certifi | 2021.5.30 | cffi | 1.14.3 | chardet | 3.0.4 |
| criptografia | 3.1.1 | cycler | 0.10.0 | Quisto | 0.29.21 |
| decorador | 4.4.2 | Distlib | 0.3.2 | docutils | 0.15.2 |
| pontos de entrada | 0.3 | facetas-visão geral | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | Ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | Jedi | 0.17.2 | jmespath | 0.10.0 |
| Joblib | 0.17.0 | jupyter-cliente | 6.1.7 | Jupyter-core | 4.6.3 |
| Kiwisolver | 1.3.0 | coalas | 1.8.1 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | Parso | 0.7.0 |
| patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| pip | 20.2.4 | enredo | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | Meias PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | Pyzmq | 19.0.2 |
| pedidos | 2.24.0 | A tentar... | 1.3.3 | s3transferir | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | seis | 1.15.0 | statsmodels | 0.12.0 |
| ThreadPoolCtl | 2.1.0 | tornado | 6.0.4 | traços | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | largura de wc | 0.2.5 |
| roda | 0.35.1 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2020-11-02.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| AskPass | 1.1 | asserçãoat | 0.2.1 | backports | 1.2.1 |
| base | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| arranque | 1.3-28 | brew | 1.0-6 | Brio | 1.1.0 |
| vassoura | 0.7.2 | Chamador | 3.5.1 | acento circunflexo | 6.0-86 |
| Cellranger | 1.1.0 | crono | 2.3-56 | classe | 7.3-19 |
| cli | 2.2.0 | Clipr | 0.7.1 | cluster | 2.1.2 |
| codetools | 0.2-18 | espaço em cores | 2.0-0 | marca comum | 1.7 |
| compilador | 4.1.0 | configuração | 0.3 | CoVR | 3.5.1 |
| CPP11 | 0.2.4 | lápis de cor | 1.3.4 | credenciais | 1.3.0 |
| conversa cruzada | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| conjuntos de dados | 4.1.0 | DBI | 1.1.0 | DBPlyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| resumo | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| reticências | 0.3.1 | evaluate | 0.14 | Fãsi | 0.4.1 |
| Farver | 2.0.3 | mapa rápido | 1.0.1 | FORCATS | 0.5.0 |
| foreach | 1.5.1 | externa | 0.8-81 | forjar | 0.2.0 |
| FS | 1.5.0 | Futuro | 1.21.0 | Genéricos | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | GH | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | Globais | 0.14.0 |
| colar | 1.4.2 | gower | 0.2.2 | gráficos | 4.1.0 |
| grDevices | 4.1.0 | grelha | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | Refúgio | 2.3.1 |
| mais alto | 0.8 | HMS | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | Isoband | 0.2.3 | iteradores | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-20 | Knitr | 1.30 |
| etiquetagem | 0.4.2 | mais tarde | 1.1.0.1 | lattice | 0.20-44 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | ciclo de vida | 0.2.0 |
| ouvirv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| Marcação | 1.1 | MASSA | 7.3-54 | Matriz | 1.3-3 |
| memoise | 1.1.0 | métodos | 4.1.0 | mgcv | 1.8-35 |
| mime | 0,9 | ModelMetrics | 1.2.2.2 | Modelador | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | paralelo | 4.1.0 |
| Paralelamente | 1.22.0 | pilar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | elogiar | 1.0.0 | unidades bonitas | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| Progresso | 1.2.2 | promessas | 1.1.1 | proto | 1.0.0 |
| PS | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| Leitor | 1.4.0 | ReadXL | 1.3.1 | receitas | 0.1.15 |
| revanche | 1.0.1 | revanche2 | 2.1.2 | Controles remotos | 2.2.0 |
| Reprex | 0.3.0 | remodelar2 | 1.4.4 | Rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversões | 2.0.2 | Rvest | 0.3.6 | escalas | 1.1.1 |
| seletor | 0.4-2 | sessioninfo | 1.1.1 | forma | 1.4.5 |
| brilhante | 1.5.0 | ferramentas de origem | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | espacial | 7.3-11 | splines | 4.1.0 |
| sqldf | 0.4-11 | QUADRADO | 2020.5 | estatísticas | 4.1.0 |
| stats4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| sobrevivência | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
| TeachingDemos | 2.10 | testeatat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | Tidyverse | 1.3.0 |
| timeDate | 3043.102 | Tinytex | 0.28 | ferramentas | 4.1.0 |
| usethis | 2.0.0 | UTF8 | 1.1.4 | utilitários | 4.1.0 |
| uuid | 0.1-4 | VCTRS | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | whisker | 0.4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | transmissão em fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2,12 | 0.4.15-10 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anotações | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-módulo-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | ZSTD-JNI | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | criador de perfil | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | Escala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| colmeia-2.3__hadoop-2,7 | JETS3T-0,7 | liball_deps_2.12 |
| colmeia-2.3__hadoop-2,7 | Zookeeper-3,4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.ponte aérea | compressor de ar | 0.10 |
| IO.Delta | delta-compartilhamento-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | métricas-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recoletor | 0.12.0 |
| jacarta.anotação | Jacarta.Anotação-API | 1.3.5 |
| jacarta.validação | Jacarta.validation-api | 2.0.2 |
| jakarta.ws.rs | Jacarta.ws.rs-api | 2.1.6 |
| javax.activation | ativação | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transação | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-árvores | colmeia-2.3__hadoop-2,7 | liball_deps_2.12 |
| net.java.dev.jna | JNA | 5.8.0 |
| net.razorvine | pirolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.13.3 |
| net.floco de neve | faísca-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | Remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 2.0.0 |
| org.apache.arrow | seta-memória-núcleo | 2.0.0 |
| org.apache.arrow | seta-memória-netty | 2.0.0 |
| org.apache.arrow | vetor de seta | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-texto | 1.6 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | curador-framework | 2.7.1 |
| org.apache.curator | curador-receitas | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-cliente | 2.3.7 |
| org.apache.hive | colmeia-lamp-comum | 2.3.7 |
| org.apache.hive | Colmeia-Serde | 2.3.7 |
| org.apache.hive | colmeias-calços | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | colmeia-calços-0,23 | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-comum | 2.3.7 |
| org.apache.hive.shims | colmeia-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.mesos | mesos-sombreado-protobuf | 1.4.0 |
| org.apache.orc | orc-núcleo | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | Orc-calços | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-DATABRICKS9 |
| org.apache.parquet | parquet-common | 1.10.1-DATABRICKS9 |
| org.apache.parquet | parquet-encoding | 1.10.1-DATABRICKS9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-DATABRICKS9 |
| org.apache.parquet | parquet-jackson | 1.10.1-DATABRICKS9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-sombreado | 4.15 |
| org.apache.yetus | anotações de audiência | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | cais-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | localizador hk2 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jacarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | servidor de jersey | 2.30 |
| org.glassfish.jersey.inject | Jersey-HK2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | JSON4S-ast_2.12 | 3.7.0-M5 |
| org.json4s | JSON4S-core_2.12 | 3.7.0-M5 |
| org.json4s | JSON4S-jackson_2,12 | 3.7.0-M5 |
| org.json4s | JSON4S-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | LZ4-Java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | calços | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2.12 | 2.12.10 |
| org.scala-lang | Escala-library_2.12 | 2.12.10 |
| org.scala-lang | Escala-reflect_2,12 | 2.12.10 |
| org.scala-lang.modules | scala-coleção-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | Escala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | Brisa-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.threeten | trêsdez-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | gatos-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | torre-macros_2.12 | 0,17,0-m1 |
| org.typelevel | torre-platform_2.12 | 0,17,0-m1 |
| org.typelevel | torre-util_2.12 | 0,17,0-m1 |
| org.typelevel | spire_2.12 | 0,17,0-m1 |
| org.wildfly.openssl | mosca-selvagem-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |