Partilhar via

Databricks Runtime 13.0 para Aprendizado de Máquina (EoS)

  • Artigo

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

O Databricks Runtime 13.0 for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 13.0 (EoS). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, consulte IA e aprendizado de máquina no Databricks.

Novos recursos e melhorias

O Databricks Runtime 13.0 ML é construído sobre o Databricks Runtime 13.0. Para obter informações sobre o que há de novo no Databricks Runtime 13.0, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 13.0 (EoS ).

Alterações ao AutoML

No Databricks Runtime 13.0 ML e superior, o AutoML não é suportado para espaços de trabalho com conformidade com FedRAMP .

Para obter mais informações sobre AutoML, consulte O que é AutoML?.

Aprimoramentos no Databricks Feature Store

Em espaços de trabalho habilitados para Unity Catalog em um cluster que executa o Databricks Runtime 13.0 ML ou superior, você pode publicar tabelas de recursos do espaço de trabalho e do Catálogo Unity em lojas online do Cosmos DB.

Para obter mais informações sobre o Databricks Feature Store, consulte Engenharia e serviço de recursos.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 13.0 ML difere do Databricks Runtime 13.0 da seguinte maneira:

O Databricks Runtime 13.0 ML inclui o XGBoost 1.7.2, que não suporta clusters de GPU com capacidade de computação 5.2 e inferior.

O pacote miniconda foi removido do Databricks Runtime 13.0 ML.

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 13.0 ML que diferem daquelas incluídas no Databricks Runtime 13.0.

Nesta secção:

Bibliotecas de nível superior

O Databricks Runtime 13.0 ML inclui as seguintes bibliotecas de camada superior:

Bibliotecas Python

O Databricks Runtime 13.0 ML usa o Virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

As seguintes bibliotecas Python foram introduzidas com o Databricks Runtime 13.0 ML:

  • acelerar
  • conjuntos de dados
  • evaluate
  • ydata-profiling

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 13.0 ML também inclui os seguintes pacotes:

  • hiperopt 0.2.7+db3
  • Sparkdl 3.0.0_db1
  • AutoML 1.17.0 |

Para reproduzir o ambiente Databricks Runtime ML Python em seu ambiente virtual Python local, baixe o arquivo requirements-13.0.txt e execute pip install -r requirements-13.0.txt. Este comando instala todas as bibliotecas de código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-storeou a bifurcação Databricks do hyperopt.

Bibliotecas Python em clusters de CPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ABSL-PY 1.0.0 acelerar 0.16.0 AIOHTTP 3.8.4
aiosignal 1.3.1 Appdirs 1.4.4 Argônio2-CFFI 21.3.0
argon2-cffi-ligações 21.2.0 Astor 0.8.1 AstTokens 2.2.1
Astunparse 1.6.3 tempo limite assíncrono 4.0.2 ATRs 21.4.0
azure-core 1.26.3 Azure-Cosmos 4.3.1b1 Backcall 0.2.0
Cripta 3.2.0 sopa bonita4 4.11.1 preto 22.6.0
lixívia 4.1.0 pisca-pisca 1.4 Blis 0.7.9
boto3 1.24.28 botocore 1.27.28 Ferramentas de cache 4.2.4
catálogo 2.0.8 categoria-codificadores 2.6.0 certifi 2022.9.14
cffi 1.15.1 chardet 4.0.0 Normalizador de Charset 2.0.4
clicar 8.0.4 Cloudpickle 2.0.0 CMDSTANPY 1.1.0
Confeção 0.0.4 ConfigParser 5.2.0 convertdate 2.4.0
criptografia 37.0.1 cycler 0.11.0 cymem 2.0.7
Quisto 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.4
databricks-feature-store 0.11.0 conjuntos de dados 2.10.0 DBL-TEMPO 0.1.12
dbus-python 1.2.18 depuração 1.5.1 decorador 5.1.1
DeUsedXML 0.7.1 endro 0.3.4 cache de disco 5.4.0
Distlib 0.3.6 docstring-para-markdown 0,11 pontos de entrada 0.4
Ephem 4.1.4 evaluate 0.4.0 execução 1.2.0
facetas-visão geral 1.0.2 fastjsonschema 2.16.3 texto rápido 0.9.2
filelock 3.6.0 Flask 1.1.2 flatbuffers 23.3.3
Fonttools 4.25.0 Frozenlist 1.3.3 FSspec 2022.7.1
Futuro 0.18.2 gast 0.4.0 GitDB 4.0.10
GitPython 3.1.27 Google-Auth 1.33.0 google-auth-oauthlib 0.4.6
google-massas 0.2.0 googleapis-comuns-protos 1.56.4 Grpcio 1.48.1
grpcio-status 1.48.1 Gunicorn 20.1.0 GVIZ-API 1.10.0
H5PY 3.7.0 Hijri-Conversor 2.2.4 feriados 0.19
Horovod 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
abraçar-face-hub 0.13.2 idna 3.3 ImagemHash 4.3.1
aprendizagem desequilibrada 0.8.1 importlib-metadados 4.11.3 Ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Isodato 0.6.1 é perigoso 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
Joblib 1.2.0 Joblibspark 0.5.1 jsonschema 4.16.0
jupyter-cliente 7.3.4 jupyter_core 4.11.2 Jupyterlab-Pygments 0.1.2
jupyterlab-widgets 1.0.0 keras 2.11.0 porta-chaves 23.5.0
Kiwisolver 1.4.2 Coreano-Lunar-Calendário 0.3.1 códigos de lang 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 LightGBM 3.3.5 llvmlite 0.38.0
LunarCalendário 0.0.9 Mako 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-em linha 0.1.6
Mccabe 0.7.0 Mistune 0.8.4 PEAML 0.20.0
mlflow-magro 2.2.1 mais-itertools 8.10.0 multiditado 6.0.4
multimétodo 1.9.1 multiprocesso 0.70.12.2 Murmurhash 1.0.9
mypy-extensões 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 Ninho-Asyncio 1.5.5 redex 2.8.4
NLTK 3.7 nodeenv 1.7.0 bloco de notas 6.4.12
numba 0.55.1 numpy 1.21.5 OAuthlib 3.2.0
opt-einsum 3.3.0 embalagem 21,3 pandas 1.4.4
criação de perfis de pandas 3.6.6 PandocFilters 1.5.0 Paramiko 2.9.2
Parso 0.8.3 PathSpec 0.9.0 Patia 0.10.1
patsy 0.5.2 petastorm 0.12.1 pexpect 4.8.0
Phik 0.12.3 pickleshare 0.7.5 Travesseiro 9.2.0
pip 22.2.2 plataformadirs 2.5.2 enredo 5.9.0
pluggy 1.0.0 PMDARIMA 2.0.2 Preshed 3.0.8
Prometheus-cliente 0.14.1 prompt-toolkit 3.0.36 profeta 1.1.2
protobuf 3.19.4 PSUTIL 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 puro-eval 0.2.2 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-módulos 0.2.8 Pybind11 2.10.3
pycparser 2.21 Pidântico 1.10.6 Pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
PyMeeus 0.5.12 PyNaCl 1.5.0 Pyodbc 4.0.32
pyparsing 3.0.9 Pyright 1.1.294 pirsistent 0.18.0
python-dateutil 2.8.2 python-editor 1.0.4 python-lsp-jsonrpc 1.0.0
python-lsp-servidor 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
PyWavelets 1.3.0 PyYAML 6,0 Pyzmq 23.2.0
regex 2022.7.9 pedidos 2.28.1 pedidos-oauthlib 1.3.1
Respostas 0.18.0 corda 1.7.0 RSA 4,9
s3transferir 0.6.0 scikit-learn 1.1.1 scipy 1.9.1
seaborn 0.11.2 Armazenamento Secreto 3.3.1 Enviar2Lixo 1.8.0
setuptools 63.4.1 PASP 0.41.0 simplejson 3.17.6
seis 1.16.0 segmentação de dados 0.0.7 inteligente-aberto 5.2.1
smmap 5.0.0 Soupsieve 2.3.1 espaçado 3.5.0
Spacy-legado 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
SQLPARSE 0.4.2 SRSLY 2.4.6 ssh-import-id 5.11
dados de pilha 0.6.2 statsmodels 0.13.2 tabular 0.8.10
emaranhado em unicode 0.2.0 tenacidade 8.0.1 TensorBoard 2.11.0
Tensorboard-Data-Server 0.6.1 Tensorboard-plugin-profile 2.11.1 Tensorboard-plugin-wit 1.8.1
TensorFlow-CPU 2.11.0 TensorFlow-Estimador 2.11.0 TensorFlow-IO-GCS-FileSystem 0.31.0
Termcolor 2.2.0 terminado 0.13.1 caminho de teste 0.6.0
fino 8.1.9 ThreadPoolCtl 2.2.0 tokenize-rt 4.2.1
tokenizadores 0.13.2 Tomli 2.0.1 tocha 1.13.1+CPU
Torchvision 0.14.1+CPU tornado 6.1 TQDM 4.64.1
traços 5.1.1 transformadores 4.26.1 Protetor de Tipografia 2.13.3
datilógrafo 0.7.0 typing_extensions 4.3.0 Ujson 5.4.0
Upgrades autônomos 0.1 urllib3 1.26.11 virtualenv 20.16.3
visões 0.7.5 wadllib 1.3.6 Wasabi 1.1.1
largura de wc 0.2.5 WebEncodings 0.5.1 Websocket-cliente 0.58.0
Werkzeug 2.0.3 whatthepatch 1.0.2 roda 0.37.1
widgetsnbextension 3.6.1 embrulhado 1.14.1 xgboost 1.7.4
xxhash 3.2.0 Yapf 0.31.0 fios 1.8.2
ydata-profiling 4.1.0 zipp | 3.8.0

Bibliotecas Python em clusters GPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ABSL-PY 1.0.0 acelerar 0.16.0 AIOHTTP 3.8.4
aiosignal 1.3.1 Appdirs 1.4.4 Argônio2-CFFI 21.3.0
argon2-cffi-ligações 21.2.0 Astor 0.8.1 AstTokens 2.2.1
Astunparse 1.6.3 tempo limite assíncrono 4.0.2 ATRs 21.4.0
azure-core 1.26.3 Azure-Cosmos 4.3.1b1 Backcall 0.2.0
Cripta 3.2.0 sopa bonita4 4.11.1 preto 22.6.0
lixívia 4.1.0 pisca-pisca 1.4 Blis 0.7.9
boto3 1.24.28 botocore 1.27.28 Ferramentas de cache 4.2.4
catálogo 2.0.8 categoria-codificadores 2.6.0 certifi 2022.9.14
cffi 1.15.1 chardet 4.0.0 Normalizador de Charset 2.0.4
clicar 8.0.4 Cloudpickle 2.0.0 CMDSTANPY 1.1.0
Confeção 0.0.4 ConfigParser 5.2.0 convertdate 2.4.0
criptografia 37.0.1 cycler 0.11.0 cymem 2.0.7
Quisto 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.4
databricks-feature-store 0.11.0 conjuntos de dados 2.10.0 DBL-TEMPO 0.1.12
dbus-python 1.2.18 depuração 1.5.1 decorador 5.1.1
DeUsedXML 0.7.1 endro 0.3.4 cache de disco 5.4.0
Distlib 0.3.6 docstring-para-markdown 0,11 pontos de entrada 0.4
Ephem 4.1.4 evaluate 0.4.0 execução 1.2.0
facetas-visão geral 1.0.2 fastjsonschema 2.16.3 texto rápido 0.9.2
filelock 3.6.0 Flask 1.1.2 flatbuffers 23.3.3
Fonttools 4.25.0 Frozenlist 1.3.3 FSspec 2022.7.1
Futuro 0.18.2 gast 0.4.0 GitDB 4.0.10
GitPython 3.1.27 Google-Auth 1.33.0 google-auth-oauthlib 0.4.6
google-massas 0.2.0 googleapis-comuns-protos 1.56.4 Grpcio 1.48.1
grpcio-status 1.48.1 Gunicorn 20.1.0 GVIZ-API 1.10.0
H5PY 3.7.0 Hijri-Conversor 2.2.4 feriados 0.19
Horovod 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
abraçar-face-hub 0.13.1 idna 3.3 ImagemHash 4.3.1
aprendizagem desequilibrada 0.8.1 importlib-metadados 4.11.3 Ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Isodato 0.6.1 é perigoso 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
Joblib 1.2.0 Joblibspark 0.5.1 jsonschema 4.16.0
jupyter-cliente 7.3.4 jupyter_core 4.11.2 Jupyterlab-Pygments 0.1.2
jupyterlab-widgets 1.0.0 keras 2.11.0 porta-chaves 23.5.0
Kiwisolver 1.4.2 Coreano-Lunar-Calendário 0.3.1 códigos de lang 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 LightGBM 3.3.5 llvmlite 0.38.0
LunarCalendário 0.0.9 Mako 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-em linha 0.1.6
Mccabe 0.7.0 Mistune 0.8.4 PEAML 0.20.0
mlflow-magro 2.2.1 mais-itertools 8.10.0 multiditado 6.0.4
multimétodo 1.9.1 multiprocesso 0.70.12.2 Murmurhash 1.0.9
mypy-extensões 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 Ninho-Asyncio 1.5.5 redex 2.8.4
NLTK 3.7 nodeenv 1.7.0 bloco de notas 6.4.12
numba 0.55.1 numpy 1.21.5 OAuthlib 3.2.0
opt-einsum 3.3.0 embalagem 21,3 pandas 1.4.4
criação de perfis de pandas 3.6.6 PandocFilters 1.5.0 Paramiko 2.9.2
Parso 0.8.3 PathSpec 0.9.0 Patia 0.10.1
patsy 0.5.2 petastorm 0.12.1 pexpect 4.8.0
Phik 0.12.3 pickleshare 0.7.5 Travesseiro 9.2.0
pip 22.2.2 plataformadirs 2.5.2 enredo 5.9.0
pluggy 1.0.0 PMDARIMA 2.0.2 Preshed 3.0.8
prompt-toolkit 3.0.36 profeta 1.1.2 protobuf 3.19.4
PSUTIL 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
puro-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-módulos 0.2.8 Pybind11 2.10.3 pycparser 2.21
Pidântico 1.10.6 Pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 Pyodbc 4.0.32 pyparsing 3.0.9
Pyright 1.1.294 pirsistent 0.18.0 python-dateutil 2.8.2
python-editor 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-servidor 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 PyWavelets 1.3.0
PyYAML 6,0 Pyzmq 23.2.0 regex 2022.7.9
pedidos 2.28.1 pedidos-oauthlib 1.3.1 Respostas 0.18.0
corda 1.7.0 RSA 4,9 s3transferir 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
Armazenamento Secreto 3.3.1 Enviar2Lixo 1.8.0 setuptools 63.4.1
PASP 0.41.0 simplejson 3.17.6 seis 1.16.0
segmentação de dados 0.0.7 inteligente-aberto 5.2.1 smmap 5.0.0
Soupsieve 2.3.1 espaçado 3.5.0 Spacy-legado 3.0.12
spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0 SQLPARSE 0.4.2
SRSLY 2.4.6 ssh-import-id 5.11 dados de pilha 0.6.2
statsmodels 0.13.2 tabular 0.8.10 emaranhado em unicode 0.2.0
tenacidade 8.0.1 TensorBoard 2.11.0 Tensorboard-Data-Server 0.6.1
Tensorboard-plugin-profile 2.11.1 Tensorboard-plugin-wit 1.8.1 TensorFlow 2.11.0
TensorFlow-Estimador 2.11.0 TensorFlow-IO-GCS-FileSystem 0.31.0 Termcolor 2.2.0
terminado 0.13.1 caminho de teste 0.6.0 fino 8.1.9
ThreadPoolCtl 2.2.0 tokenize-rt 4.2.1 tokenizadores 0.13.2
Tomli 2.0.1 tocha 1.13.1+CU117 Torchvision 0.14.1+CU117
tornado 6.1 TQDM 4.64.1 traços 5.1.1
transformadores 4.26.1 Protetor de Tipografia 2.13.3 datilógrafo 0.7.0
typing_extensions 4.3.0 Ujson 5.4.0 Upgrades autônomos 0.1
urllib3 1.26.11 virtualenv 20.16.3 visões 0.7.5
wadllib 1.3.6 Wasabi 1.1.1 largura de wc 0.2.5
WebEncodings 0.5.1 Websocket-cliente 0.58.0 Werkzeug 2.0.3
whatthepatch 1.0.2 roda 0.37.1 widgetsnbextension 3.6.1
embrulhado 1.14.1 xgboost 1.7.4 xxhash 3.2.0
Yapf 0.31.0 fios 1.8.2 ydata-profiling 4.1.0
zipp | 3.8.0

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 13.0.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 13.0, o Databricks Runtime 13.0 ML contém os seguintes JARs:

Clusters de CPU

ID do Grupo ID do Artefacto Versão
com.typesafe.akka AKKA-actor_2,12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-spark_2,12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-DB1-Faísca3.2
org.mlflow mlflow-cliente 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clusters GPU

ID do Grupo ID do Artefacto Versão
com.typesafe.akka AKKA-actor_2,12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-gpu_2,12 1.7.3
ml.dmlc xgboost4j-faísca-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-DB1-Faísca3.2
org.mlflow mlflow-cliente 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0