Partilhar via


Databricks Runtime 15.3 para Aprendizado de Máquina

O Databricks Runtime 15.3 for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 15.3. O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando o Horovod.

Gorjeta

Para ver as notas de versão das versões do Databricks Runtime que atingiram o fim do suporte (EoS), consulte Notas de versão do End-of-support Databricks Runtime. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.

Novos recursos e melhorias

O Databricks Runtime 15.3 ML é construído sobre o Databricks Runtime 15.3. Para obter informações sobre o que há de novo no Databricks Runtime 15.3, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 15.3 .

Divisões manuais de dados e pesos de amostra do AutoML

O AutoML agora oferece suporte a divisões manuais de dados, permitindo que você especifique conjuntos de dados de trem por linha, valide e teste para modelos de classificação e regressão. Consulte Dividir dados em conjuntos de treinamento, validação e teste.

O AutoML agora suporta pesos de amostra, permitindo ajustar a importância de cada linha durante o treinamento do modelo de regressão. Para obter mais informações, consulte o parameters de regressão para o AutoML Python API.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 15.3 ML difere do Databricks Runtime 15.3 da seguinte maneira:

  • Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
    • CUDA 12,1
    • Cusolver 11.4.5.107-1
    • Cupti 12,1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Bibliotecas

As secções seguintes list as bibliotecas incluídas no Databricks Runtime 15.3 ML que diferem das incluídas no Databricks Runtime 15.3.

Nesta secção:

Bibliotecas de nível superior

O Databricks Runtime 15.3 ML inclui as seguintes bibliotecas de camada superior:

Bibliotecas Python

O Databricks Runtime 15.3 ML é usado virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 15.3 ML também inclui os seguintes pacotes:

  • hiperopt 0.2.7+db3
  • Sparkdl 3.0.0_db1
  • AutoML 1.27.0 |

Para reproduzir o ambiente Databricks Runtime ML Python em seu ambiente virtual Python local, baixe o arquivo requirements-15.3.txt e execute pip install -r requirements-15.3.txt. Este comando instala todas as bibliotecas de código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-engineeringou a bifurcação Databricks do hyperopt.

Bibliotecas Python em clusters de CPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ABSL-PY 1.0.0 acelerar 0.30.1 AIOHTTP 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 Anyio 3.5.0
Argônio2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0 Astor 0.8.1
AstTokens 2.0.5 Astunparse 1.6.3 tempo limite assíncrono 4.0.2
ATRs 22.1.0 leitura de áudio 3.0.1 azure-core 1.30.1
Azure-Cosmos 4.3.1 azure-identity 1.16.0 azure-storage-blob 12.19.1
azure-storage-file-datalake 12.14.0 Backcall 0.2.0 Cripta 3.2.0
sopa bonita4 4.12.2 preto 23.3.0 lixívia 4.1.0
pisca-pisca 1.4 Blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 Ferramentas de cache 5.3.3
catálogo 2.0.10 categoria-codificadores 2.6.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 Normalizador de Charset 2.0.4
Disjuntor 1.4.0 clicar 8.0.4 CloudPathlib 0.16.0
Cloudpickle 2.2.1 CMDSTANPY 1.2.2 colorido 0.5.6
Comm 0.1.2 Confeção 0.1.4 ConfigParser 5.2.0
contorno 1.0.5 criptografia 41.0.3 cycler 0.11.0
cymem 2.0.8 Quisto 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.21 Databricks-Feature-Engineering 0.5.0 Databricks-SDK 0.20.0
DataClasses-JSON 0.6.6 conjuntos de dados 2.19.1 DBL-TEMPO 0.1.26
dbus-python 1.2.18 depuração 1.6.7 decorador 5.1.1
velocidade profunda 0.14.0 DeUsedXML 0.7.1 endro 0.3.6
cache de disco 5.6.3 Distlib 0.3.8 dm-árvore 0.1.8
pontos de entrada 0.4 evaluate 0.4.2 execução 0.8.3
facetas-visão geral 1.1.1 Farama-Notificações 0.0.4 fastjsonschema 2.19.1
texto rápido 0.9.2 filelock 3.13.4 Flask 2.2.5
flatbuffers 24.3.25 Fonttools 4.25.0 Frozenlist 1.3.3
FSspec 2023.5.0 Futuro 0.18.3 gast 0.4.0
GitDB 4.0.11 GitPython 3.1.27 google-api-core 2.18.0
Google-Auth 2.21.0 google-auth-oauthlib 1.0.0 google-nuvem-core 2.4.1
google-nuvem-armazenamento 2.10.0 Google-CRC32C 1.5.0 google-massas 0.2.0
google-retomable-media 2.7.0 googleapis-comuns-protos 1.63.0 Greenlet 2.0.1
Grpcio 1.60.0 grpcio-status 1.60.0 Gunicorn 20.1.0
GVIZ-API 1.10.0 ginásio 0.28.1 h11 0.14.0
H5PY 3.10.0 HJSON 3.1.0 feriados 0,45
Horovod 0.28.1+DB1 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.2 Disponível em: 0.27.0 abraçar-face-hub 0.21.2
idna 3.4 ImagemHash 4.3.1 imagem 2.31.1
aprendizagem desequilibrada 0.11.0 importlib-metadados 6.0.0 importlib_resources 6.4.0
ipyflow-núcleo 0.0.198 Ipykernel 6.25.1 ipython 8.15.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 Isodato 0.6.1
é perigoso 2.0.1 Jax-Jumpy 1.0.0 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
Joblib 1.2.0 Joblibspark 0.5.1 jsonpatch 1.33
jsonpointer 2.4 jsonschema 4.17.3 jupyter-servidor 1.23.4
jupyter_client 7.4.9 jupyter_core 5.3.0 Jupyterlab-Pygments 0.1.2
keras 3.1.1 porta-chaves 23.5.0 Kiwisolver 1.4.4
langchain 0.1.20 langchain-comunidade 0.0.38 langchain-núcleo 0.1.52
divisores langchain-text-splitters 0.0.2 códigos de lang 3.4.0 Langsmith 0.1.63
language_data 1.2.0 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0.2 libclang 15.0.6.1
librosa 0.10.1 LightGBM 4.3.0 linkify-it-py 2.0.0
llvmlite 0.40.0 lxml 4.9.2 lz4 4.3.2
Mako 1.2.0 Marisa-Trie 1.1.1 Markdown 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.1 Marshmallow 3.21.2
matplotlib 3.7.2 matplotlib-em linha 0.1.6 mdit-py-plugins 0.3.0
Mdurl 0.1.0 Memray 1.12.0 Mistune 0.8.4
ml-dtypes 0.3.2 mlflow-magro 2.11.3 mais-itertools 8.10.0
mosaicml-streaming 0.7.4 MPMmath 1.3.0 MSAL 1.28.0
msal-extensões 1.1.0 msgpack 1.0.8 multiditado 6.0.2
multimétodo 1.11.2 multiprocesso 0.70.14 Murmurhash 1.0.10
mypy-extensões 0.4.3 NomeX 0.0.8 NBMédico 0.5.5
nbclient 0.5.13 nbconvert 6.5.4 nbformat 5.7.0
Ninho-Asyncio 1.5.6 redex 3.1 ninja 1.11.1.1
NLTK 3.8.1 bloco de notas 6.5.4 notebook_shim 0.2.2
numba 0.57.1 numpy 1.23.5 OAuthlib 3.2.0
OCI 2.126.4 openai 1.29.0 OpenCensus 0.11.4
contexto opencensus 0.1.3 opt-einsum 3.3.0 Optree 0.11.0
Orjson 3.10.3 embalagem 23.2 pandas 1.5.3
PandocFilters 1.5.0 Paramiko 3.4.0 Parso 0.8.3
PathSpec 0.10.3 patsy 0.5.3 petastorm 0.12.1
pexpect 4.8.0 Phik 0.12.4 pickleshare 0.7.5
Travesseiro 9.4.0 pip 23.2.1 plataformadirs 3.10.0
enredo 5.9.0 PMDARIMA 2.0.4 cachorrinho 1.8.1
Portalocker 2.8.2 Preshed 3.0.9 Prometheus-cliente 0.14.1
prompt-toolkit 3.0.36 profeta 1.1.5 Proto-Plus 1.23.0
protobuf 4.24.1 PSUTIL 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 puro-eval 0.2.2 py-cpuinfo 8.0.0
py-espião 0.3.14 pyarrow 14.0.1 pyarrow-hotfix 0,6
pyasn1 0.4.8 pyasn1-módulos 0.2.8 Pybind11 2.12.0
Pyccolo 0.0.52 pycparser 2.21 Pidântico 1.10.6
Pygments 2.15.1 PyGObject 3.42.1 PyJWT 2.3.0
PyNaCl 1.5.0 PynVML 11.5.0 Pyodbc 4.0.38
pyOpenSSL 23.2.0 pyparsing 3.0.9 pirsistent 0.18.0
Pytesseract 0.3.10 python-dateutil 2.8.2 python-editor 1.0.4
python-lsp-jsonrpc 1.1.1 Python-Snappy 0.6.1 pytz 2022.7
PyWavelets 1.4.1 PyYAML 6,0 Pyzmq 23.2.0
raio 2.12.0 regex 2022.7.9 pedidos 2.31.0
pedidos-oauthlib 1.3.1 Adriático 13.7.1 RSA 4,9
s3transferir 0.10.1 Safetensores 0.4.2 scikit-imagem 0.20.0
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
Armazenamento Secreto 3.3.1 Enviar2Lixo 1.8.0 transformadores de sentenças 2.7.0
Peça de frase 0.1.99 setuptools 68.0.0 PASP 0.44.0
simplejson 3.17.6 seis 1.16.0 segmentação de dados 0.0.7
inteligente-aberto 5.2.1 smmap 5.0.0 sniffio 1.2.0
arquivo de som 0.12.1 Soupsieve 2.4 SOXR 0.3.7
espaçado 3.7.2 Spacy-legado 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 SQLPARSE 0.4.2
SRSLY 2.4.8 ssh-import-id 5.11 dados de pilha 0.2.0
Estanio 0.5.0 statsmodels 0.14.0 Sympy 1.11.1
emaranhado em unicode 0.2.0 tenacidade 8.2.2 TensorBoard 2.16.2
Tensorboard-Data-Server 0.7.2 tensorboard_plugin_profile 2.15.1 tensorboardX 2.6.2.2
TensorFlow 2.16.1 TensorFlow-Estimador 2.15.0 TensorFlow-IO-GCS-FileSystem 0.37.0
Termcolor 2.4.0 terminado 0.17.1 textual 0.63.3
tf_keras 2.16.0 fino 8.2.3 ThreadPoolCtl 2.2.0
arquivo tiff 2021.7.2 tiktoken 0.5.2 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizadores 0.19.0 tocha 2.3.0+CPU
Torcheval 0.0.7 Torchvision 0.18.0+CPU tornado 6.3.2
TQDM 4.65.0 traços 5.7.1 transformadores 4.40.2
Protetor de Tipografia 2.13.3 datilógrafo 0.9.4 digitação-inspeção 0.9.0
typing_extensions 4.10.0 tzdata 2022.1 UC-Micro-PY 1.0.1
Ujson 5.4.0 Upgrades autônomos 0.1 urllib3 1.26.16
virtualenv 20.24.2 visões 0.7.5 wadllib 1.3.6
Wasabi 1.1.2 largura de wc 0.2.5 doninha 0.3.4
WebEncodings 0.5.1 Websocket-cliente 0.58.0 Werkzeug 2.2.3
roda 0.38.4 nuvem de palavras 1.9.3 embrulhado 1.14.1
xgboost 2.0.3 xxhash 3.4.1 fios 1.8.1
ydata-profiling 4.5.1 zipp | 3.11.0 ZSTD 1.5.5.1

Bibliotecas Python em clusters GPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ABSL-PY 1.0.0 acelerar 0.30.1 AIOHTTP 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 Anyio 3.5.0
Argônio2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0 Astor 0.8.1
AstTokens 2.0.5 Astunparse 1.6.3 tempo limite assíncrono 4.0.2
ATRs 22.1.0 leitura de áudio 3.0.1 azure-core 1.30.1
Azure-Cosmos 4.3.1 azure-identity 1.16.0 azure-storage-blob 12.19.1
azure-storage-file-datalake 12.14.0 Backcall 0.2.0 Cripta 3.2.0
sopa bonita4 4.12.2 preto 23.3.0 lixívia 4.1.0
pisca-pisca 1.4 Blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 Ferramentas de cache 5.3.3
catálogo 2.0.10 categoria-codificadores 2.6.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 Normalizador de Charset 2.0.4
Disjuntor 1.4.0 clicar 8.0.4 CloudPathlib 0.16.0
Cloudpickle 2.2.1 CMDSTANPY 1.2.2 colorido 0.5.6
Comm 0.1.2 Confeção 0.1.4 ConfigParser 5.2.0
contorno 1.0.5 criptografia 41.0.3 cycler 0.11.0
cymem 2.0.8 Quisto 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.21 Databricks-Feature-Engineering 0.5.0 Databricks-SDK 0.20.0
DataClasses-JSON 0.6.6 conjuntos de dados 2.19.1 DBL-TEMPO 0.1.26
dbus-python 1.2.18 depuração 1.6.7 decorador 5.1.1
velocidade profunda 0.14.0 DeUsedXML 0.7.1 endro 0.3.6
cache de disco 5.6.3 Distlib 0.3.8 dm-árvore 0.1.8
einops 0.8.0 pontos de entrada 0.4 evaluate 0.4.2
execução 0.8.3 facetas-visão geral 1.1.1 Farama-Notificações 0.0.4
fastjsonschema 2.19.1 texto rápido 0.9.2 filelock 3.13.4
flash-attn 2.5.8 Flask 2.2.5 flatbuffers 24.3.25
Fonttools 4.25.0 Frozenlist 1.3.3 FSspec 2023.5.0
Futuro 0.18.3 gast 0.4.0 GitDB 4.0.11
GitPython 3.1.27 google-api-core 2.18.0 Google-Auth 2.21.0
google-auth-oauthlib 1.0.0 google-nuvem-core 2.4.1 google-nuvem-armazenamento 2.10.0
Google-CRC32C 1.5.0 google-massas 0.2.0 google-retomable-media 2.7.0
googleapis-comuns-protos 1.63.0 Greenlet 2.0.1 Grpcio 1.60.0
grpcio-status 1.60.0 Gunicorn 20.1.0 GVIZ-API 1.10.0
ginásio 0.28.1 h11 0.14.0 H5PY 3.10.0
HJSON 3.1.0 feriados 0,45 Horovod 0.28.1+DB1
htmlmin 0.1.12 httpcore 1.0.5 httplib2 0.20.2
Disponível em: 0.27.0 abraçar-face-hub 0.21.2 idna 3.4
ImagemHash 4.3.1 imagem 2.31.1 aprendizagem desequilibrada 0.11.0
importlib-metadados 6.0.0 importlib_resources 6.4.0 ipyflow-núcleo 0.0.198
Ipykernel 6.25.1 ipython 8.15.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Isodato 0.6.1 é perigoso 2.0.1
Jax-Jumpy 1.0.0 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 Joblib 1.2.0
Joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2.4
jsonschema 4.17.3 jupyter-servidor 1.23.4 jupyter_client 7.4.9
jupyter_core 5.3.0 Jupyterlab-Pygments 0.1.2 keras 3.1.1
porta-chaves 23.5.0 Kiwisolver 1.4.4 langchain 0.1.20
langchain-comunidade 0.0.38 langchain-núcleo 0.1.52 divisores langchain-text-splitters 0.0.2
códigos de lang 3.4.0 Langsmith 0.1.63 language_data 1.2.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.2 libclang 15.0.6.1 librosa 0.10.1
LightGBM 4.3.0 linkify-it-py 2.0.0 llvmlite 0.40.0
lxml 4.9.2 lz4 4.3.2 Mako 1.2.0
Marisa-Trie 1.1.1 Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.1 Marshmallow 3.21.2 matplotlib 3.7.2
matplotlib-em linha 0.1.6 mdit-py-plugins 0.3.0 Mdurl 0.1.0
Memray 1.12.0 Mistune 0.8.4 ml-dtypes 0.3.2
mlflow-magro 2.11.3 mais-itertools 8.10.0 mosaicml-streaming 0.7.4
MPMmath 1.3.0 MSAL 1.28.0 msal-extensões 1.1.0
msgpack 1.0.8 multiditado 6.0.2 multimétodo 1.11.2
multiprocesso 0.70.14 Murmurhash 1.0.10 mypy-extensões 0.4.3
NomeX 0.0.8 NBMédico 0.5.5 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 Ninho-Asyncio 1.5.6
redex 3.1 ninja 1.11.1.1 NLTK 3.8.1
bloco de notas 6.5.4 notebook_shim 0.2.2 numba 0.57.1
numpy 1.23.5 nvidia-cublas-cu12 12.1.3.1 nvidia-cuda-cupti-cu12 12.1.105
nvidia-cuda-nvrtc-cu12 12.1.105 nvidia-cuda-runtime-cu12 12.1.105 NVIDIA-CUDNN-CU12 8.9.2.26
nvidia-cufft-cu12 11.0.2.54 NVIDIA-Curand-CU12 10.3.2.106 NVIDIA-CUSOLVER-CU12 11.4.5.107
nvidia-cusparse-cu12 12.1.0.106 NVIDIA-NCCL-CU12 2.20.5 nvidia-nvjitlink-cu12 12.5.40
NVIDIA-NVTX-CU12 12.1.105 OAuthlib 3.2.0 OCI 2.126.4
openai 1.29.0 OpenCensus 0.11.4 contexto opencensus 0.1.3
opt-einsum 3.3.0 Optree 0.11.0 Orjson 3.10.3
embalagem 23.2 pandas 1.5.3 PandocFilters 1.5.0
Paramiko 3.4.0 Parso 0.8.3 PathSpec 0.10.3
patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
Phik 0.12.4 pickleshare 0.7.5 Travesseiro 9.4.0
pip 23.2.1 plataformadirs 3.10.0 enredo 5.9.0
PMDARIMA 2.0.4 cachorrinho 1.8.1 Portalocker 2.8.2
Preshed 3.0.9 Prometheus-cliente 0.14.1 prompt-toolkit 3.0.36
profeta 1.1.5 Proto-Plus 1.23.0 protobuf 4.24.1
PSUTIL 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
puro-eval 0.2.2 py-cpuinfo 8.0.0 py-espião 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-módulos 0.2.8 Pybind11 2.12.0 Pyccolo 0.0.52
pycparser 2.21 Pidântico 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
PynVML 11.5.0 Pyodbc 4.0.38 pyOpenSSL 23.2.0
pyparsing 3.0.9 pirsistent 0.18.0 Pytesseract 0.3.10
python-dateutil 2.8.2 python-editor 1.0.4 python-lsp-jsonrpc 1.1.1
Python-Snappy 0.6.1 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 Pyzmq 23.2.0 raio 2.12.0
regex 2022.7.9 pedidos 2.31.0 pedidos-oauthlib 1.3.1
Adriático 13.7.1 RSA 4,9 s3transferir 0.10.1
Safetensores 0.4.2 scikit-imagem 0.20.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 Armazenamento Secreto 3.3.1
Enviar2Lixo 1.8.0 transformadores de sentenças 2.7.0 Peça de frase 0.1.99
setuptools 68.0.0 PASP 0.44.0 simplejson 3.17.6
seis 1.16.0 segmentação de dados 0.0.7 inteligente-aberto 5.2.1
smmap 5.0.0 sniffio 1.2.0 arquivo de som 0.12.1
Soupsieve 2.4 SOXR 0.3.7 espaçado 3.7.2
Spacy-legado 3.0.12 spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 SQLPARSE 0.4.2 SRSLY 2.4.8
ssh-import-id 5.11 dados de pilha 0.2.0 Estanio 0.5.0
statsmodels 0.14.0 Sympy 1.11.1 emaranhado em unicode 0.2.0
tenacidade 8.2.2 TensorBoard 2.16.2 Tensorboard-Data-Server 0.7.2
tensorboard_plugin_profile 2.15.1 tensorboardX 2.6.2.2 TensorFlow 2.16.1
TensorFlow-Estimador 2.15.0 TensorFlow-IO-GCS-FileSystem 0.37.0 Termcolor 2.4.0
terminado 0.17.1 textual 0.63.3 tf_keras 2.16.0
fino 8.2.3 ThreadPoolCtl 2.2.0 arquivo tiff 2021.7.2
tiktoken 0.5.2 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizadores 0.19.0 tocha 2.3.0+CU121 Torcheval 0.0.7
Torchvision 0.18.0+CU121 tornado 6.3.2 TQDM 4.65.0
traços 5.7.1 transformadores 4.40.2 Tritão 2.3.0
Protetor de Tipografia 2.13.3 datilógrafo 0.9.4 digitação-inspeção 0.9.0
typing_extensions 4.10.0 tzdata 2022.1 UC-Micro-PY 1.0.1
Ujson 5.4.0 Upgrades autônomos 0.1 urllib3 1.26.16
virtualenv 20.24.2 visões 0.7.5 wadllib 1.3.6
Wasabi 1.1.2 largura de wc 0.2.5 doninha 0.3.4
WebEncodings 0.5.1 Websocket-cliente 0.58.0 Werkzeug 2.2.3
roda 0.38.4 nuvem de palavras 1.9.3 embrulhado 1.14.1
xgboost 2.0.3 xxhash 3.4.1 fios 1.8.1
ydata-profiling 4.5.1 zipp | 3.11.0 ZSTD 1.5.5.1

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 15.3.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 15.3, o Databricks Runtime 15.3 ML contém os seguintes JARs:

Clusters de CPU

ID do Grupo ID do Artefacto Versão
com.typesafe.akka AKKA-actor_2,12 2.5.23
ml.dmlc xgboost4j-spark_2,12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-DB1-Faísca3.5
org.mlflow mlflow-cliente 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clusters GPU

ID do Grupo ID do Artefacto Versão
com.typesafe.akka AKKA-actor_2,12 2.5.23
ml.dmlc xgboost4j-gpu_2,12 1.7.3
ml.dmlc xgboost4j-faísca-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-DB1-Faísca3.5
org.mlflow mlflow-cliente 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0