Partilhar via

Tempo de execução do Databricks 13.0 (EoS)

  • Artigo

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.0, alimentado pelo Apache Spark 3.4.0.

A Databricks lançou esta versão em abril de 2023.

Novos recursos e melhorias

As expressões H3 agora suportam geografias lineares

As h3_coverash3 funções e h3_coverash3string agora suportam geografias lineares (linestring e multilinestring). As funções produzem um conjunto de cobertura mínimo de células H3 na resolução especificada. Veja h3_coverash3 e h3_coverash3string.

Gânglios substituídos por métricas de cluster

Para as versões 13 e superiores do Databricks Runtime, as métricas do Ganglia são substituídas pelas métricas de cluster do Azure Databricks. Para as versões 12 e inferiores do Databricks Runtime, você pode continuar a usar as métricas do Gânglios. Se você tiver um fluxo de trabalho que depende das métricas do Ganglia que não podem ser satisfeitos com as métricas de cluster, entre em contato com sua equipe de conta do Azure Databricks. Consulte Exibir métricas de computação.

Spark 3.4.0 lançado

O Apache Spark 3.4.0 já está disponível para o público em geral. Consulte Spark Release 3.4.0.

O Photon retorna um erro se um arquivo for modificado entre o planejamento e a execução da consulta

As consultas de fóton agora retornam um erro se um arquivo for atualizado entre o planejamento e a execução da consulta. Antes dessa alteração, o Photon lia um arquivo mesmo que seu tempo de modificação mudasse entre o planejamento e a execução da consulta, o que poderia levar a resultados imprevisíveis.

Novos recursos para E/S preditiva

Photon agora suporta quadros deslizantes, para os modos ROWS e RANGE, usando {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Suporte estendido para recursos de E/S preditiva

Suporte estendido de fóton para fontes de dados de cache CSV, AVRO e DataFrame quando seu esquema contém exclusivamente colunas escalares. O suporte também é estendido para tipos aninhados, como mapas, estruturas e matrizes.

Use o conector Databricks para se conectar a outro espaço de trabalho Databricks

O conector do Azure Databricks permite que você se conecte a recursos de computação configurados em outro espaço de trabalho e retorne resultados ao seu espaço de trabalho atual do Azure Databricks. O driver JDBC do Azure Databricks agora está incluído no Databricks Runtime. Consulte Usar o conector Databricks para se conectar a outro espaço de trabalho Databricks.

Opções adicionais do Kafka para Streaming estruturado com cluster compartilhado no Unity Catalog

Agora você pode usar as configurações kakfa.ssl.truststore.location e kafak.ssl.keystore.location armazenar certificados Kafka em locais externos gerenciados pelo Unity Catalog ao usar o Streaming estruturado em clusters de acesso compartilhado. Não é possível usar locais na raiz DBFS.

Ignorar modificações de tabela Delta com Streaming Estruturado

Agora você pode usar skipChangeCommits para ignorar confirmações de alteração de dados na tabela Delta para UPDATE, MERGEe DELETE operações. Isso substitui ignoreChangeso , que agora está obsoleto. Consulte Ignorar atualizações e exclusões.

Recurso CREATE TABLE LIKE para tabelas Delta

CREATE TABLE LIKE agora é suportado ao usar tabelas Delta.

Novos campos de coluna de metadados indicando o início e o comprimento do bloco de arquivos

Agora você pode obter as seguintes informações de metadados para arquivos de entrada com a _metadata coluna: file_block_start e file_block_length. Para obter mais informações, consulte Coluna de metadados de arquivo.

Novas funções geoespaciais H3

As novas expressões h3_coverash3 e h3_coverash3string estão disponíveis para processamento geoespacial quando o Photon está ativado. Ver funções geoespaciais H3.

Novas funções internas do SQL

Foram adicionadas as seguintes funções:

%sql em blocos de anotações Python

Todos os resultados não vazios %sql em notebooks Python agora estão acessíveis usando _sqldf o sistema de cache de saída do IPython. Isso simplifica o uso do resultado do DataFrame em Python. Esta é uma mudança de comportamento de versões anteriores do DBR, como anteriormente, _sqldf nem sempre foi reatribuído.

_sqldf não é reatribuído em um resultado de %sql célula se a célula foi executada usando a execução de célula SQL paralela.

%pip não reinicia automaticamente o Python

Depois de executar %pip comandos dentro de blocos de anotações Python que modificam o virtualEnv, o Databricks não reinicia mais automaticamente o processo do Python. Para reiniciar o processo Python, chame dbutils.library.restartPython(). Com essa alteração, %pip os comandos no Databricks se comportam de forma semelhante ao Jupyter Notebooks e são consistentes com !pip os %sh pip comandos. Databricks recomenda %pip em vez de !pip ou %sh pip.

As bibliotecas Python com escopo de cluster são instaladas usando um usuário não-root

As bibliotecas agora são instaladas usando um usuário não-root que é responsável pelas instalações da biblioteca. Se você quiser configurar o comportamento de instalação do pip em scripts init, use o [arquivo https://pip.pypa.io/en/stable/topics/configuration/#configuration-filesde nível global ).

Correções de erros

  • Nos %sh comandos, foram feitas as seguintes correções:
    • A saída contendo caracteres não UTF-8 agora é suportada.
    • Os subprocessos são agora interrompidos quando o comando é cancelado.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • asttokens de 2.0.5 a 2.2.1
    • preto de 22.3.0 a 22.6.0
    • boto3 de 1.21.32 a 1.24.28
    • botocore de 1.24.32 a 1.27.28
    • certifi de 2021.10.8 a 2022.9.14
    • CFFI de 1.15.0 a 1.15.1
    • Criptografia de 3.4.8 a 37.0.1
    • Cython de 0.29.28 a 0.29.32
    • dbus-python de 1.2.16 a 1.2.18
    • docstring-to-markdown de 0,11 a 0,12
    • Execução de 0.8.3 a 1.2.0
    • facetas-visão geral de 1.0.0 a 1.0.2
    • fastjsonschema de 2.16.2 a 2.16.3
    • filelock de 3.9.0 a 3.10.7
    • ipykernel de 6.15.3 a 6.17.1
    • ipython de 8.5.0 a 8.10.0
    • joblib de 1.1.1 a 1.2.0
    • jsonschema de 4.4.0 a 4.16.0
    • jupyter-client de 6.1.12 a 7.3.4
    • kiwisolver de 1.3.2 a 1.4.2
    • matplotlib de 3.5.1 a 3.5.2
    • matplotlib-em linha de 0.1.2 a 0.1.6
    • nbformat de 5.3.0 a 5.5.0
    • notebook de 6.4.8 a 6.4.12
    • pandas de 1.4.2 a 1.4.4
    • Almofada de 9.0.1 a 9.2.0
    • pip de 21.2.4 a 22.2.2
    • platformdirs de 2.6.2 a 2.5.2
    • plotly de 5.6.0 a 5.9.0
    • Prometheus-cliente de 0.13.1 a 0.14.1
    • prompt-toolkit de 3.0.20 a 3.0.36
    • psutil de 5.8.0 a 5.9.0
    • Pyflakes de 2.5.0 a 3.0.1
    • PyGObject de 3.36.0 a 3.42.1
    • pyparsing de 3.0.4 a 3.0.9
    • pyright de 1.1.283 a 1.1.294
    • python-lsp-server de 1.6.0 a 1.7.1
    • pytz de 2021.3 a 2022.1
    • pyzmq de 22.3.0 a 23.2.0
    • Pedidos de 2.27.1 a 2.28.1
    • corda de 0.22.0 a 1.7.0
    • s3transfer de 0.5.0 a 0.6.0
    • scikit-learn de 1.0.2 a 1.1.1
    • Scipy de 1.7.3 a 1.9.1
    • setuptools de 61.2.0 a 63.4.1
    • ssh-import-id de 5.10 a 5.11
    • dados de pilha de 0.2.0 a 0.6.2
    • TestPath de 0.5.0 a 0.6.0
    • tomli de 1.2.2 a 2.0.1
    • ujson de 5.1.0 a 5.4.0
    • urllib3 de 1.26.9 a 1.26.11
    • virtualenv de 20.8.0 a 20.16.3
    • whatthepatch de 1.0.4 a 1.0.2
    • roda de 0.37.0 a 0.37.1
  • Bibliotecas R atualizadas:
    • seta de 10.0.0 para 10.0.1
    • bit de 4.0.4 a 4.0.5
    • Vassoura de 1.0.1 a 1.0.3
    • bslib de 0.4.1 a 0.4.2
    • Chron de 2.3-58 a 2.3-59
    • CLI de 3.4.1 a 3.6.0
    • espaço de cores de 2.0-3 a 2.1-0
    • curvatura de 4.3.3 a 5.0.0
    • data.table de 1.14.4 a 1.14.6
    • DBPlyr de 2.2.1 a 2.3.0
    • resumo de 0.6.30 a 0.6.31
    • dplyr de 1.0.10 a 1.1.0
    • e1071 de 1.7-12 a 1.7-13
    • avaliar de 0,18 a 0,20
    • fansi de 1.0.3 a 1.0.4
    • fontawesome de 0.4.0 a 0.5.0
    • forcats de 0.5.2 a 1.0.0
    • FS de 1.5.2 a 1.6.1
    • futuro de 1.29.0 a 1.31.0
    • gargarejo de 1.2.1 a 1.3.0
    • Gert de 1.9.1 a 1.9.2
    • glmnet de 4.1-4 a 4.1-6
    • globais de 0.16.1 a 0.16.2
    • Gower de 1.0.0 a 1.0.1
    • maior de 0,9 a 0,10
    • htmltools de 0.5.3 a 0.5.4
    • htmlwidgets de 1.5.4 a 1.6.1
    • httpuv de 1.6.6 a 1.6.8
    • isoband de 0.2.6 a 0.2.7
    • jsonlite de 1.8.3 a 1.8.4
    • knitr de 1,40 a 1,42
    • lava de 1.7.0 a 1.7.1
    • ouvir de 0.8.0 a 0.9.0
    • lubridato de 1.9.0 a 1.9.1
    • markdown de 1,3 para 1,5
    • Modelador de 0.1.9 a 0.1.10
    • openssl de 2.0.4 a 2.0.5
    • paralelamente de 1.32.1 a 1.34.0
    • pkgbuild de 1.3.1 a 1.4.0
    • pkgdown de 2.0.6 para 2.0.7
    • pkgload de 1.3.1 a 1.3.2
    • plyr de 1.8.7 a 1.8.8
    • progredir de 0.11.0 a 0.13.0
    • ronronar de 0.3.5 a 1.0.1
    • ragg de 1.2.4 a 1.2.5
    • Rcpp de 1.0.9 a 1.0.10
    • readxl de 1.4.1 a 1.4.2
    • receitas de 1.0.3 a 1.0.4
    • rmarkdown de 2,18 para 2,20
    • RODBC de 1.3-19 a 1.3-20
    • roxigen2 de 7.2.1 a 7.2.3
    • RSQLite de 2.2.18 a 2.2.20
    • sass de 0.4.2 a 0.4.5
    • brilhante de 1.7.3 a 1.7.4
    • sourcetools de 0.1.7 a 0.1.7-1
    • Sparklyr de 1.7.8 a 1.7.9
    • SparkR de 3.3.2 a 3.4.0
    • espacial de 7,3-11 a 7,3-15
    • stringi de 1.7.8 a 1.7.12
    • stringr de 1.4.1 a 1.5.0
    • sobrevivência de 3,4-0 a 3,5-3
    • ensaio de 3.1.5 a 3.1.6
    • Tidyr de 1.2.1 a 1.3.0
    • mudança de hora de 0.1.1 para 0.2.0
    • timeData de 4021.106 a 4022.108
    • tinytex de 0,42 a 0,44
    • utf8 de 1.2.2 a 1.2.3
    • VCTRS de 0.5.0 a 0.5.2
    • vroom de 1.6.0 a 1.6.1
    • whisker de 0,4 a 0,4.1
    • xfun de 0,34 a 0,37
    • yaml de 2.3.6 a 2.3.7
  • Bibliotecas Java atualizadas:
    • com.amazonaws.aws-java-sdk-autoscaling de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cloudformation de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cloudfront de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-codedeploy de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cognitosync de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-config de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-core de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-datapipeline de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-directconnect de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-directory de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-dynamoDB de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-ec2 de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-ecs de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-efs de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-elasticache de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-emr de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-glacier de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-glue de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-iam de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-importexport de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-kinesis de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-kms de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-lambda de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-logs de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-machinelearning de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-opsworks de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-rds de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-redshift de 1.12.189 para 1.12.390
    • com.amazonaws.aws-java-sdk-route53 de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-s3 de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-ses de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-simpledb de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-sns de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-sqs de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-ssm de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-storagegateway de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-sts de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-support de 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-workspaces de 1.12.189 a 1.12.390
    • com.amazonaws.jmespath-java de 1.12.189 a 1.12.390
    • com.fasterxml.jackson.core.jackson-anotações de 2.13.4 a 2.14.2
    • com.fasterxml.jackson.core.jackson-core de 2.13.4 a 2.14.2
    • com.fasterxml.jackson.core.jackson-databind de 2.13.4.2 a 2.14.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.4 a 2.14.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.4 a 2.14.2
    • com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.4 a 2.14.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.4 a 2.14.2
    • com.github.luben.zstd-jni de 1.5.2-1 a 1.5.2-5
    • com.google.code.gson.gson de 2.8.6 a 2.8.9
    • com.google.crypto.tink.tink de 1.6.1 a 1.7.0
    • com.h2database.h2 de 2.0.204 a 2.1.214
    • com.jcraft.jsch de 0.1.50 a 0.1.55
    • com.ning.compress-lzf de 1.1 a 1.1.2
    • commons-fileupload.commons-fileupload de 1.3.3 a 1.5
    • dev.ludovic.netlib.arpack de 2.2.1 a 3.0.3
    • dev.ludovic.netlib.blas de 2.2.1 a 3.0.3
    • dev.ludovic.netlib.lapack de 2.2.1 a 3.0.3
    • io.delta.delta-sharing-spark_2.12 de 0.6.9 a 0.6.3
    • io.dropwizard.metrics.metrics-core de 4.1.1 a 4.2.10
    • io.dropwizard.metrics.metrics-grafite de 4.1.1 a 4.2.10
    • io.dropwizard.metrics.metrics-healthchecks de 4.1.1 a 4.2.10
    • io.dropwizard.metrics.metrics-jetty9 de 4.1.1 a 4.2.10
    • io.dropwizard.metrics.metrics-jmx de 4.1.1 a 4.2.10
    • io.dropwizard.metrics.metrics-json de 4.1.1 a 4.2.10
    • io.dropwizard.metrics.metrics-jvm de 4.1.1 a 4.2.10
    • io.dropwizard.metrics.metrics-servlets de 4.1.1 a 4.2.10
    • io.netty.netty-all de 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-buffer de 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-codec de 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-common de 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-handler de 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-resolver de 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-transporte de 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-transport-classes-epoll de 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-transport-native-unix-common de 4.1.74.Final a 4.1.87.Final
    • joda-time.joda-time de 2.10.13 a 2.12.1
    • net.razorvine.pickle de 1.2 a 1.3
    • net.snowflake.snowflake-jdbc de 3.13.29 a 3.13.22
    • org.antlr.antlr4-runtime de 4.8 a 4.9.3
    • org.apache.ant.ant de 1.9.2 a 1.9.16
    • org.apache.ant.ant-jsch de 1.9.2 a 1.9.16
    • org.apache.ant.ant-launcher de 1.9.2 a 1.9.16
    • org.apache.arrow.arrow-format de 7.0.0 a 11.0.0
    • org.apache.arrow.arrow-memory-core de 7.0.0 a 11.0.0
    • org.apache.arrow.arrow-memory-netty de 7.0.0 a 11.0.0
    • org.apache.arrow.arrow-vector de 7.0.0 a 11.0.0
    • org.apache.avro.avro de 1.11.0 a 1.11.1
    • org.apache.avro.avro-ipc de 1.11.0 a 1.11.1
    • org.apache.avro.avro-mapred de 1.11.0 a 1.11.1
    • org.apache.httpcomponents.httpclient de 4.5.13 a 4.5.14
    • org.apache.httpcomponents.httpcore de 4.4.14 a 4.4.16
    • org.apache.logging.log4j.log4j-1.2-api de 2.18.0 a 2.19.0
    • org.apache.logging.log4j.log4j-api de 2.18.0 a 2.19.0
    • org.apache.logging.log4j.log4j-core de 2.18.0 a 2.19.0
    • org.apache.orc.orc-core de 1.7.8 a 1.8.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.7.8 para 1.8.2-shaded-protobuf
    • org.apache.orc.orc-shims de 1.7.8 a 1.8.2
    • org.apache.xbean.xbean-asm9-sombreado de 4,20 a 4,22
    • org.apache.zookeeper.zookeeper de 3.6.2 a 3.6.3
    • org.apache.zookeeper.zookeeper-juta de 3.6.2 a 3.6.3
    • org.eclipse.jetty.jetty-client de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-continuação de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-http de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-io de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-jndi de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-plus de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-proxy de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-security de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-server de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlet de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlets de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util-ajax de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-webapp de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-xml de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-api de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-client de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-common de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-server de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-servlet de 9.4.46.v20220331 a 9.4.50.v20221201
    • org.hibernate.validator.hibernate-validator de 6.1.0.Final a 6.1.7.Final
    • org.mlflow.mlflow-spark de 2.1.1 a 2.2.0
    • org.postgresql.postgresql de 42.3.3 a 42.3.8
    • org.roaringbitmap.RoaringBitmap de 0.9.25 a 0.9.39
    • org.roaringbitmap.shims de 0.9.25 a 0.9.39
    • org.rocksdb.rocksdbjni de 6.28.2 a 7.8.3
    • org.scala-lang.scala-compiler_2.12 de 2.12.14 a 2.12.15
    • org.scala-lang.scala-library_2.12 de 2.12.14 a 2.12.15
    • org.scala-lang.scala-reflect_2.12 de 2.12.14 a 2.12.15
    • org.scalanlp.breeze-macros_2.12 de 1.2 a 2.1.0
    • org.scalanlp.breeze_2.12 de 1.2 a 2.1.0
    • org.slf4j.jcl-over-slf4j de 1.7.36 a 2.0.6
    • org.slf4j.jul-to-slf4j de 1.7.36 a 2.0.6
    • org.slf4j.slf4j-api de 1.7.36 a 2.0.6
    • org.threeten.threeten-extra de 1.5.0 a 1.7.1
    • org.wildfly.openssl.wildfly-openssl de 1.0.7.Final a 1.1.3.Final
    • org.yaml.snakeyaml de 1.24 a 1.33

Faísca Apache

O Databricks Runtime 13.0 inclui o Apache Spark 3.4.0.

SQL do Apache Spark

Funcionalidades

  • Implementar suporte para valores DEFAULT para colunas em tabelas (SPARK-38334)
  • Adicionar Dataset.as(StructType) (SPARK-39625)
  • Suporte SQL parametrizado (SPARK-41271, SPARK-42702)
  • Adicionar unpivot / melt (SPARK-38864, SPARK-39876)
  • Suporte a "referências de alias de coluna lateral" (SPARK-27561)
  • Cláusula de compensação de resultados de suporte (SPARK-28330, SPARK-39159)
  • Suporte a carimbo de data/hora sem tipo de dados de fuso horário (SPARK-35662)
  • Suporte a subconsulta escalar em viagens no tempo (SPARK-39306)
  • Tornar a API de catálogo compatível com namespace de 3 camadas (SPARK-39235)
  • Suporte a carimbo de data/hora em segundos para TimeTravel usando opções de Dataframe (SPARK-39633)
  • Adicionar SparkSession.config(Mapa) (SPARK-40163)
  • Suporte à alteração do banco de dados padrão do catálogo de sessões (SPARK-35242)
  • Suporte Protobuf para Spark - from_protobuf E to_protobuf (SPARK-40654)
  • Adicionar cláusula QUANDO NÃO CORRESPONDIDO PELA ORIGEM para MESCLAR EM (SPARK-40921)
  • Relaxe a restrição de pedidos para as opções de coluna CREATE TABLE (SPARK-40944)
  • Equivalente SQL para comando de substituição de Dataframe (SPARK-40956)
  • Suporte Gerar sem saída filho necessária para hospedar referências externas (SPARK-41441)
  • ENCOMENDAR POR TODOS (spark-41637)
  • GRUPO POR TODOS (faísca-41635)
  • Adicionar flatMapSortedGroups e cogroupSorted (SPARK-38591)
  • Suporte a subconsultas com predicados de não igualdade correlacionados (SPARK-36114)
  • Suporte a subconsultas com correlação através de UNION/INTERSECT/EXCEPT (spark-36124)

Conformidade com ANSI

  • Modo ANSI SQL: sempre retorna null no acesso inválido à coluna do mapa (SPARK-40066)
  • Suporte a identificadores de aspas duplas (SPARK-40585)
  • Modo ANSI SQL: Round/Bround deve retornar um erro no estouro de número inteiro (SPARK-42045)
  • Suporte de fundição de integrais para intervalos ANSI (SPARK-40008)
  • Suporte a moldagem de decimais para intervalos ANSI (SPARK-40014)
  • Retornar tipos de intervalo ANSI mais amplos das funções de percentil (SPARK-40151)
  • Suporte a conversão de intervalos ANSI para decimais (SPARK-39470)
  • Suporte a intervalos de fundição para integrais no modo ANSI (SPARK-39451)
  • Endurecer o uso de SQLSTATE para classes de erro (SPARK-41994)

Funções

  • Suporte a funções de gerador com valor de tabela na cláusula FROM (SPARK-41594)
  • Suporte ANSI Aggregate Função: REGR_SXY (SPARK-37681)
  • Suporte ANSI Aggregate Função: REGR_R2 (SPARK-37641)
  • Suporte ANSI Aggregate Função: REGR_SXX (SPARK-37672)
  • Suporte ANSI Aggregate Função: REGR_SYY (SPARK-37702)
  • Suporte ANSI Aggregate Função: REGR_SLOPE (SPARK-39230)
  • Suporte ANSI Aggregate Função: REGR_INTERCEPT (SPARK-37623)
  • Suporte a função de agregação ANSI PERCENTILE_CONT como função de janela (SPARK-38219)
  • Função de agregação ANSI de suporte: PERCENTILE_DISC (SPARK-37691)
  • Suporte SPLIT_PART função (SPARK-38063)
  • Suporte TRY_AVG função (SPARK-38589)
  • Suporte TRY_TO_BINARY função (SPARK-38590)
  • Suporte às funções TO_NUMBER e TRY_TO_NUMBER SQL de acordo com uma nova especificação (SPARK-38796)
  • Suporte ANSI especificação de valor geral e função - USER (SPARK-39138)
  • Suporte TO_CHAR e TRY_TO_CHAR funções para formatar valores decimais como cadeias de caracteres (SPARK-28516)
  • Suporte ANY_VALUE função agregada (SPARK-39213)
  • Suporte EQUAL_NUL função (SPARK-39305)
  • Função agregada de suporte MEDIANA (SPARK-39320)
  • Suporte REGEXP_COUNT função (SPARK-39618)
  • Suporte REGEXP_INSTR função (SPARK-39744)
  • Suporte REGEXP_SUBSTR função (SPARK-39695)
  • Suporte a função UNPIVOT (SPARK-39876)
  • Suporte TRY_TO_TIMESTAMP função (SPARK-39795)
  • Suporte url encode/decode como função integrada e arrumar funções relacionadas a url (SPARK-39741)
  • Suporta o modo de função agregada (SPARK-39808)
  • Suporte a função GET (SPARK-40109)
  • Adicionar aliases de função: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
  • Melhorar a função TO_BINARY (SPARK-40112)
  • Suporte CURRENT_SCHEMA (SPARK-41323)
  • Suporte de mascaramento de dados built-in função MASK (SPARK-40687)
  • Função de alta ordem de suporte: ARRAY_COMPACT (SPARK-41235)
  • Suporte ARRAY_APPEND função (SPARK-41232)
  • Suporte ARRAY_INSERT função (SPARK-41234)
  • Suporte LUHN_CHECK função (SPARK-42191)
  • Suporte ARRAY_SORT(coluna, comparador) (SPARK-39925)

Data Sources (Origens de Dados)

  • Estatísticas de coluna de suporte no DS v2 (SPARK-41378)
  • Junção particionada de armazenamento (SPJ) no DS v2 (SPARK-37375)
  • Operações em nível de linha no DS v2 (SPARK-35801)
  • Adicionar suportesRelatórioMistura de pedidos na interface para DS v2 Scan (SPARK-38647)
  • Tipo Infer DATE para inferência de esquema CSV (SPARK-39469)
  • Suporte a métricas de driver na API de métrica personalizada do DS v2 (SPARK-39635)
  • Suporte de distribuição e encomenda DS v2 função por escrito (SPARK-39607)
  • StringEndsWith/Contains suporte empurre para baixo para Parquet para que possamos aproveitar o filtro de dicionário (SPARK-39002)
  • Suporte UDT em leitor vetorizado Spark Parquet (SPARK-39086)
  • Estender a coluna METADADOS para suportar índices de linha para arquivos Parquet (SPARK-37980)
  • Suporte de leitura de parquet FIXED_LEN_BYTE_ARRAY tipo (SPARK-41096)
  • Otimizar a ordem dos predicados de filtragem (SPARK-40045)
  • Suporte a consultas de tabela temporária e CTE com MSSQL JDCBC (SPARK-37259)
  • Suporte ignoreCorruptFiles e ignoreMissingFiles nas opções de fonte de dados (SPARK-38767)
  • Extrair v1 gravar em WriteFiles (SPARK-41407)
  • Adicionar preenchimento de caracteres do lado de leitura para cobrir arquivos de dados externos (SPARK-40697)

Otimização de Consultas

  • Mesclar subconsultas escalares não correlacionadas (SPARK-34079)
  • Ativar Associações de filtro Bloom por padrão (SPARK-38841)
  • Remover distinto desnecessário na expressão agregada por distinctKeys (SPARK-38832)
  • Suporte a pushdown de predicados e poda de coluna para CTEs desenganados (SPARK-37670)
  • Remova a junção externa se as funções agregadas forem agnósticos duplicados no lado transmitido (SPARK-38886)
  • Remova a junção externa esquerda/direita se apenas as colunas do lado esquerdo/direito estiverem selecionadas e as teclas de junção do outro lado forem exclusivas (SPARK-39172)
  • Otimizar a classificação global para RepartitionByExpression (SPARK-39911)
  • Regra Otimize TransposeWindow (SPARK-38034)
  • Aprimore EliminateSorts para dar suporte à remoção de classificações via LocalLimit (SPARK-40050)
  • Empurre o limite local para ambos os lados se a condição de junção estiver vazia (SPARK-40040)
  • Adicionar PushProjectionThroughLimit para Optimizer (SPARK-40501)
  • Apoie o PIVOT/UNPIVOT com crianças unidas (SPARK-41195)
  • Suporte à poda de coluna com vários filtros não determinísticos (SPARK-41017)
  • Melhore o particionamento e a ordenação de saída com cache AQE (SPARK-41048)
  • Melhore o desempenho multi-like criando um predicado de árvore de expressão equilibrado (SPARK-41167)
  • Remova o Sort se for filho de RepartitionByExpression (SPARK-36703)
  • Usar estatísticas de coluna disponíveis de etapas de consulta concluídas (SPARK-39991)
  • Reutilizar expressões em WindowSpecDefinition (SPARK-41805)
  • Melhorar AliasAwareOutputPartitioning e AliasAwareQueryOutputOrdering para levar todos os aliases em conta (SPARK-40086, SPARK-42049)
  • Empurre o limite para baixo através de UDFs Python (SPARK-42115)

Geração de código e execução de consultas

  • Tornar defaultJoin em BroadcastNestedLoopJoinExec em execução em paralelo (SPARK-40487)
  • Suporte Codegen para HiveGenericUDF (SPARK-42051)
  • Introduzir o shuffle no SinglePartition (SPARK-41986)
  • Faz DPP suportar o lado de poda tem União (SPARK-39217)

Outras mudanças notáveis

  • Suporte Auto Partition Statistics Collection (SPARK-38573)
  • Formatar mensagens de erro no Thrift Server (SPARK-40098)
  • Adicionar uma API de extensão para planejar a normalização do cache (SPARK-41183)
  • Refatore tipos de faísca introduzindo tipos físicos (SPARK-41226)
  • Suporte de campo OneOf e verificações de recursão (SPARK-41396)
  • Centralizar a lógica de resolução da coluna (SPARK-41405)
  • Melhorar a validação da alteração do plano (SPARK-42081)
  • Introduza o SparkPath para typesafety (SPARK-41970)
  • Exceção de lançamento para db_name.view_name ao criar a exibição temporária pela API do conjunto de dados (SPARK-41090)
  • Altere o valor padrão do argumento da função Mask de -1 para NULL (SPARK-42070)

Núcleo de faísca

Desmantelamento

  • Evite a repetição desnecessária de tarefas no executor desativado perdido se os dados aleatórios forem migrados (SPARK-41469)
  • Ignorar falha de busca de estágio causada pelo executor desativado (SPARK-40481)
  • Habilite spark.storage.decommission. (rdd|shuffle)Blocks.enabled por padrão (SPARK-40198)
  • Adicione suporte para descomissionamento do YARN quando o ESS estiver desativado (SPARK-30835)

Agendador

  • Fazer com que o agendamento de palco ofereça suporte ao modo de cluster local (SPARK-41949)
  • Suporte ao perfil de recurso de tarefa de nível de estágio para cluster autônomo quando a alocação dinâmica estiver desabilitada (SPARK-39853)
  • Delay onDisconnected para habilitar Driver recebe ExecutorExitCode (SPARK-39957)
  • Melhorar a especulação através das métricas de tarefas de estágio (SPARK-32170)
  • Adicionar suporte ao agendamento de recursos no nível do estágio para cluster autônomo (SPARK-39062)
  • Melhorar o processo LaunchTask para evitar falhas no Stage causadas por mensagens LaunchTask com falha no envio (SPARK-39955)

Shuffle

  • Adicionar métricas de leitura do lado do cliente do Push Based Shuffle (SPARK-36620)
  • Métricas do lado do servidor aleatório para shuffle baseado em push (SPARK-33573)
  • Verifique se o mergedShuffleCleaner foi desligado antes do fechamento do db (SPARK-40186)
  • Adicionar suporte RocksDB para armazenamento de estado de serviço aleatório (SPARK-38888)
  • Encapsular LevelDB usado para armazenar o estado de shuffle remoto/externo como DB (SPARK-38909)
  • Habilite spark.dynamicAllocation.shuffleTracking.enabled por padrão (SPARK-3984)
  • Habilite o serviço de shuffle baseado em push para armazenar o estado no banco de dados de nível NM para a reinicialização do trabalho preservando (SPARK-33236)
  • Remover blocos aleatórios usando o serviço de shuffle para executores liberados (SPARK-37618)

Outras mudanças notáveis

  • Suporte somente ambiente IPv6 (SPARK-39457)
  • Ativar spark.kryo.unsafe por padrão (SPARK-42137)
  • Não permitir classpath personalizado arbitrário com usuário proxy no modo de cluster (SPARK-41958)
  • Evite o novo registro do BlockManager se o executor tiver sido perdido (SPARK-41360)
  • Remova a limitação de que o resultado de uma única tarefa deve caber em 2GB (SPARK-40622)
  • Remova o suporte de configurações spark.akka.* preteridas (SPARK-40401)
  • Altere o log padrão para stderr para consistente com o comportamento do log4j (SPARK-40406)
  • Excluir metadados DirectTaskResult ao calcular o tamanho do resultado (SPARK-40261)
  • Permitir personalizar o número inicial de partições no comportamento take() (SPARK-40211)
  • Use o bloqueio interruptível em vez de sincronizado em Executor.updateDependencies() (SPARK-40235)
  • A falha de tarefa deve sempre acionar ouvintes de falha de tarefa (SPARK-40106)
  • Adicione a capacidade de desativar seletivamente a observação ou sondagem (SPARK-36462)
  • Não armazenar em cache relações de transmissão não serializadas no driver (SPARK-39983)
  • Corrigir impasse entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator (SPARK-39283)
  • Exponha as partições numéricas em um estágio para TaskContext (SPARK-38679)
  • Torne o fator de sobrecarga de memória configurável (SPARK-38194)
  • Evite usar bash -c em ShellBasedGroupsMappingProvider (SPARK-38992)

Transmissão em Fluxo Estruturada

Principais características

  • Acompanhamento de progresso assíncrono (SPARK-39591)
  • Processamento arbitrário com estado Python em streaming estruturado (SPARK-40434)
  • Suporte Protobuf em Streaming Estruturado (SPARK-40653)
  • Corrigir filtragem de registros tardios para dar suporte ao encadeamento de operadores com monitoração de estado (SPARK-40925)

Outras mudanças notáveis

  • Apresentando um gerenciador de arquivos de ponto de verificação de streaming baseado na interface Abortable do Hadoop (SPARK-40039)
  • Deprecate Trigger.Once e Promote Trigger.AvailableNow (SPARK-39805)
  • Expor as informações da tabela de catálogo ao plano lógico na consulta de streaming (SPARK-39564)
  • Suporte a coleta de métricas de coletores de streaming (SPARK-38564)
  • Depreciar a API do DStream (SPARK-42075)
  • Inverter o valor padrão de Kafka offset fetching config (SPARK-40844)
  • Fornecer sessão de faísca clonada no DataFrame na função de usuário para o coletor foreachBatch no PySpark (SPARK-41379)

Conexão de faísca

Cliente Python

Cliente Scala

PySpark

API do Pandas no Apache Spark

Outras mudanças notáveis

  • Principais melhorias
    • Fornecer um criador de perfil de memória para funções definidas pelo usuário do PySpark (SPARK-40281)
    • Tornar a API de catálogo compatível com namespace de 3 camadas (SPARK-39235)
    • Suporte de entrada NumPy no PySpark (SPARK-39405)
    • Melhorias de erro do PySpark (SPARK-41597)
  • Principais características

MLLIB

SparkR

Serviço Live UI and History Server

  • Melhor escalabilidade da interface do usuário do Spark e estabilidade do driver para aplicativos grandes (SPARK-41053)
  • Use RocksDB para spark.history.store.hybridStore.diskBackend por padrão (SPARK-42277)
  • Agrupar execuções aninhadas sob a execução raiz (SPARK-41752)
  • Mostrar propriedades de métricas na guia ambiente (SPARK-39110)
  • Corrigir tamanho de entrada do StagePage/registros não mostram quando os registros são maiores que zero (SPARK-34777)
  • Melhorar o desempenho do JsonProtocol no log de eventos usando Jackson em vez de Json4s (SPARK-39489)
  • Suporte spark.history.fs.update.batchSize (SPARK-39225)

Compilar

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 13.0.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Escala: 2.12.15
  • Píton: 3.10.6
  • R: 4.2.2
  • Lago Delta: 2.3.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Appdirs 1.4.4 Argônio2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0
AstTokens 2.2.1 ATRs 21.4.0 Backcall 0.2.0
sopa bonita4 4.11.1 preto 22.6.0 lixívia 4.1.0
pisca-pisca 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
Normalizador de Charset 2.0.4 clicar 8.0.4 criptografia 37.0.1
cycler 0.11.0 Quisto 0.29.32 dbus-python 1.2.18
depuração 1.5.1 decorador 5.1.1 DeUsedXML 0.7.1
Distlib 0.3.6 docstring-para-markdown 0,12 pontos de entrada 0.4
execução 1.2.0 facetas-visão geral 1.0.2 fastjsonschema 2.16.3
filelock 3.10.7 Fonttools 4.25.0 googleapis-comuns-protos 1.56.4
Grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadados 4.6.4 Ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 Joblib 1.2.0 jsonschema 4.16.0
jupyter-cliente 7.3.4 jupyter_core 4.11.2 Jupyterlab-Pygments 0.1.2
jupyterlab-widgets 1.0.0 porta-chaves 23.5.0 Kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-em linha 0.1.6
Mccabe 0.7.0 Mistune 0.8.4 mais-itertools 8.10.0
mypy-extensões 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 Ninho-Asyncio 1.5.5 nodeenv 1.7.0
bloco de notas 6.4.12 numpy 1.21.5 OAuthlib 3.2.0
embalagem 21,3 pandas 1.4.4 PandocFilters 1.5.0
Parso 0.8.3 PathSpec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Travesseiro 9.2.0
pip 22.2.2 plataformadirs 2.5.2 enredo 5.9.0
pluggy 1.0.0 Prometheus-cliente 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 PSUTIL 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 puro-eval 0.2.2 pyarrow 7.0.0
pycparser 2.21 Pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 Pyodbc 4.0.32
pyparsing 3.0.9 Pyright 1.1.294 pirsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-servidor 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 Pyzmq 23.2.0
pedidos 2.28.1 corda 1.7.0 s3transferir 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
Armazenamento Secreto 3.3.1 Enviar2Lixo 1.8.0 setuptools 63.4.1
seis 1.16.0 Soupsieve 2.3.1 ssh-import-id 5.11
dados de pilha 0.6.2 statsmodels 0.13.2 tenacidade 8.0.1
terminado 0.13.1 caminho de teste 0.6.0 ThreadPoolCtl 2.2.0
tokenize-rt 4.2.1 Tomli 2.0.1 tornado 6.1
traços 5.1.1 Ujson 5.4.0 Upgrades autônomos 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
largura de wc 0.2.5 WebEncodings 0.5.1 whatthepatch 1.0.2
roda 0.37.1 widgetsnbextension 3.6.1 Yapf 0.31.0
zipp | 1.0.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2023-02-10.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 10.0.1 AskPass 1.1 asserçãoat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
arranque 1.3-28 brew 1.0-8 Brio 1.1.3
vassoura 1.0.3 BSLIB 0.4.2 cachem 1.0.6
Chamador 3.7.3 acento circunflexo 6.0-93 Cellranger 1.1.0
crono 2.3-59 classe 7.3-21 cli 3.6.0
Clipr 0.8.0 relógio 0.6.1 cluster 2.1.4
codetools 0.2-19 espaço em cores 2.1-0 marca comum 1.8.1
compilador 4.2.2 configuração 0.3.1 CPP11 0.4.3
lápis de cor 1.5.2 credenciais 1.3.2 curl 5.0.0
data.table 1.14.6 conjuntos de dados 4.2.2 DBI 1.1.3
DBPlyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 resumo 0.6.31 Iluminação reduzida 0.4.2
dplyr 1.1.0 DTPlyr 1.2.2 E1071 1.7-13
reticências 0.3.2 evaluate 0.20 Fãsi 1.0.4
Farver 2.1.1 mapa rápido 1.1.0 fontawesome 0.5.0
FORCATS 1.0.0 foreach 1.5.2 externa 0.8-82
forjar 0.2.0 FS 1.6.1 Futuro 1.31.0
future.apply 1.10.0 gargarejo 1.3.0 Genéricos 0.1.3
Gert 1.9.2 ggplot2 3.4.0 GH 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 Globais 0.16.2
colar 1.6.2 GoogleDrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 gráficos 4.2.2 grDevices 4.2.2
grelha 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 capacete 1.2.0 Refúgio 2.5.1
mais alto 0.10 HMS 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
IDs 1.0.1 ini 0.3.1 ipred 0.9-13
Isoband 0.2.7 iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 Knitr 1.42
etiquetagem 0.4.2 mais tarde 1.3.0 lattice 0.20-45
lava 1.7.1 ciclo de vida 1.0.3 ouvirv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Marcação 1.5
MASSA 7.3-58.2 Matriz 1.5-1 memoise 2.0.1
métodos 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 Modelador 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 paralelo 4.2.2
Paralelamente 1.34.0 pilar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 elogiar 1.0.0
unidades bonitas 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 Profvis 0.3.7 Progresso 1.2.2
progressor 0.13.0 promessas 1.2.0.1 proto 1.0.0
procuração 0.4-27 PS 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 RAGG 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
Leitor 2.1.3 ReadXL 1.4.2 receitas 1.0.4
revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.4.2
Reprex 2.0.2 remodelar2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversões 2.1.2
Rvest 1.0.3 Sass 0.4.5 escalas 1.2.1
seletor 0.4-2 sessioninfo 1.2.2 forma 1.4.6
brilhante 1.7.4 ferramentas de origem 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 espacial 7.3-15 splines 4.2.2
sqldf 0.4-11 QUADRADO 2021.1 estatísticas 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
sobrevivência 3.5-3 sys 3.4.1 fontes do sistema 1.0.4
tcltk 4.2.2 testeatat 3.1.6 formatação de texto 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
Tidyverse 1.3.2 mudança de hora 0.2.0 timeDate 4022.108
Tinytex 0.44 ferramentas 4.2.2 TZDB 0.3.0
urlchecker 1.0.1 usethis 2.1.6 UTF8 1.2.3
utilitários 4.2.2 uuid 1.1-0 VCTRS 0.5.2
viridisLite 0.4.1 vroom 1.6.1 Waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.14.2
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Nativos
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-Nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Nativos
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-Nativos
com.github.luben ZSTD-JNI 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tink 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib Lapack | 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.21
IO.Delta delta-compartilhamento-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics métricas-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-meias 4.1.87.Final
io.netty netty-comum 4.1.87.Final
io.netty netty-manipulador 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty transporte de rede 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-nativo-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-nativo-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-nativo-unix-comum 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna JNA 5.8.0
net.razorvine picles 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow formato de seta 11.0.0
org.apache.arrow seta-memória-núcleo 11.0.0
org.apache.arrow seta-memória-netty 11.0.0
org.apache.arrow vetor de seta 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapeado 1.11.1
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator curador-framework 2.13.0
org.apache.curator curador-receitas 2.13.0
org.apache.datasketches Datasketches-Java 3.1.0
org.apache.datasketches datasketches-memória 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-protobuf sombreado
org.apache.orc orc-núcleo 1.8.2-protobuf sombreado
org.apache.orc orc-mapreduce 1.8.2-protobuf sombreado
org.apache.orc Orc-calços 1.8.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.22
org.apache.yetus anotações de audiência 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework verificador-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty cais-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket API WebSocket 9.4.50.v20221201
org.eclipse.jetty.websocket Websocket-cliente 9.4.50.v20221201
org.eclipse.jetty.websocket Websocket-Comum 9.4.50.v20221201
org.eclipse.jetty.websocket servidor websocket 9.4.50.v20221201
org.eclipse.jetty.websocket Websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core servidor de jersey 2.36
org.glassfish.jersey.inject Jersey-HK2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow MLFLOW-Faísca 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap calços 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.15
org.scala-lang Escala-library_2.12 2.12.15
org.scala-lang Escala-reflect_2,12 2.12.15
org.scala-lang.modules scala-coleção-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp Brisa-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten trêsdez-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1