Dela via


Databricks Runtime 13.0 för Machine Learning (EoS)

Kommentar

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Databricks Runtime 13.0 för Machine Learning ger en färdig miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 13.0 (EoS). Databricks Runtime ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch och XGBoost. Databricks Runtime ML innehåller AutoML, ett verktyg för att automatiskt träna maskininlärningspipelines. Databricks Runtime ML stöder även distribuerad djupinlärningsträning med Horovod.

Mer information, inklusive instruktioner för att skapa ett Databricks Runtime ML-kluster, finns i AI och maskininlärning på Databricks.

Nya funktioner och förbättringar

Databricks Runtime 13.0 ML bygger på Databricks Runtime 13.0. Information om nyheter i Databricks Runtime 13.0, inklusive Apache Spark MLlib och SparkR, finns i viktig information om Databricks Runtime 13.0 (EoS).

Ändringar i AutoML

I Databricks Runtime 13.0 ML och senare stöds inte AutoML för arbetsytor med FedRAMP-efterlevnad .

Mer information om AutoML finns i Vad är AutoML?.

Förbättringar av Databricks-funktionsarkivet

I Unity Catalog-aktiverade arbetsytor i ett kluster som kör Databricks Runtime 13.0 ML eller senare kan du publicera både arbetsyte- och Unity Catalog-funktionstabeller till Cosmos DB-onlinebutiker.

Mer information om Databricks Feature Store finns i Funktionsutveckling och servering.

Systemmiljö

Systemmiljön i Databricks Runtime 13.0 ML skiljer sig från Databricks Runtime 13.0 på följande sätt:

Databricks Runtime 13.0 ML innehåller XGBoost 1.7.2, som inte stöder GPU-kluster med beräkningskapacitet 5.2 och lägre.

Miniconda-paketet har tagits bort från Databricks Runtime 13.0 ML.

Bibliotek

I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 13.0 ML som skiljer sig från de som ingår i Databricks Runtime 13.0.

I detta avsnitt:

Bibliotek på den översta nivån

Databricks Runtime 13.0 ML innehåller följande bibliotek på den översta nivån:

Python-bibliotek

Databricks Runtime 13.0 ML använder Virtualenv för Python-pakethantering och innehåller många populära ML-paket.

Följande Python-bibliotek har introducerats med Databricks Runtime 13.0 ML:

  • accelerera
  • datauppsättningar
  • evaluate (utvärdera)
  • ydata-profilering

Förutom de paket som anges i följande avsnitt innehåller Databricks Runtime 13.0 ML även följande paket:

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.17.0

Om du vill återskapa Databricks Runtime ML Python-miljön i din lokala virtuella Python-miljö laddar du ned filen requirements-13.0.txt och kör pip install -r requirements-13.0.txt. Det här kommandot installerar alla öppen källkod bibliotek som Databricks Runtime ML använder, men installerar inte bibliotek som utvecklats av Databricks, till exempel databricks-automl, databricks-feature-storeeller Databricks-förgreningen för hyperopt.

Python-bibliotek i CPU-kluster

Bibliotek Version Bibliotek Version Bibliotek Version
absl-py 1.0.0 accelerera 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindningar 21.2.0 Astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 async-timeout 4.0.2 attrs 21.4.0
azure-core 1.26.3 azure-cosmos 4.3.1b1 backcall 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 svart 22.6.0
blekmedel 4.1.0 blinker 1.4 blis 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools 4.2.4
katalog 2.0.8 kategorikodare 2.6.0 certifi 2022.9.14
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klicka 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
konfekt 0.0.4 configparser 5.2.0 konvertera 2.4.0
kryptografi 37.0.1 cyklist 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.4
databricks-feature-store 0.11.0 datauppsättningar 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 felsökning 1.5.1 dekoratör 5.1.1
defusedxml 0.7.1 dill 0.3.4 diskcache 5.4.0
distlib 0.3.6 docstring-to-markdown 0,11 entrypoints 0,4
efem 4.1.4 evaluate (utvärdera) 0.4.0 Verkställande 1.2.0
facets-overview 1.0.2 fastjsonschema 2.16.3 snabbtext 0.9.2
filelock 3.6.0 Flask 1.1.2 flatbuffers 23.3.3
fonttools 4.25.0 frozenlist 1.3.3 fsspec 2022.7.1
framtid 0.18.2 Gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-converter 2.2.4 ferier 0.19
horovod 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.2 idna 3.3 ImageHash 4.3.1
obalanserad inlärning 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 itsdangerous 2.0.1 jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keras 2.11.0 nyckelring 23.5.0
kiwisolver 1.4.2 korean-lunar-calendar 0.3.1 langcodes 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
LunarCalendar 0.0.9 Mako 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 mleap 0.20.0
mlflow-skinny 2.2.1 more-itertools 8.10.0 multidict 6.0.4
multimethod 1.9.1 multiprocess 0.70.12.2 murmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
nltk 3.7 nodeenv 1.7.0 notebook-fil 6.4.12
numba 0.55.1 numpy 1.21.5 oauthlib 3.2.0
opt-einsum 3.3.0 emballage 21,3 Pandas 1.4.4
pandas-profilering 3.6.6 pandocfilter 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 Pati 0.10.1
Patsy 0.5.2 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Kudde 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.2 fördefinierad 3.0.8
prometheus-client 0.14.1 prompt-toolkit 3.0.36 profet 1.1.2
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.3
pycparser 2.21 pydantisk 1.10.6 pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
PyMeeus 0.5.12 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-editor 1.0.4 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
PyWavelets 1.3.0 PyYAML 6,0 pyzmq 23.2.0
regex 2022.7.9 begäranden 2.28.1 requests-oauthlib 1.3.1
Svaren 0.18.0 rep 1.7.0 RSA 4,9
s3transfer 0.6.0 scikit-learn 1.1.1 scipy 1.9.1
seaborn 0.11.2 SecretStorage 3.3.1 Send2Trash 1.8.0
setuptools 63.4.1 Shap 0.41.0 simplejson 3.17.6
sex 1.16.0 Slicer 0.0.7 smart-open 5.2.1
smmap 5.0.0 soupsieve 2.3.1 spacy 3.5.0
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.6 ssh-import-id 5,11
stack-data 0.6.2 statsmodels 0.13.2 Tabellform 0.8.10
trasslig upp-i-unicode 0.2.0 orubblighet 8.0.1 tensorboard 2.11.0
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.11.1 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.11.0 tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.31.0
termcolor 2.2.0 terminado 0.13.1 testpath 0.6.0
thinc 8.1.9 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizers 0.13.2 tomli 2.0.1 fackla 1.13.1+cpu
torchvision 0.14.1+cpu tromb 6.1 tqdm 4.64.1
traitlets 5.1.1 Transformatorer 4.26.1 typeguard 2.13.3
typer 0.7.0 typing_extensions 4.3.0 ujson 5.4.0
obevakade uppgraderingar 0,1 urllib3 1.26.11 virtualenv 20.16.3
Visioner 0.7.5 wadllib 1.3.6 Wasabi 1.1.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.0.3 whatthepatch 1.0.2 hjul 0.37.1
widgetsnbextension 3.6.1 wrapt 1.14.1 xgboost 1.7.4
xxhash 3.2.0 yapf 0.31.0 Yarl 1.8.2
ydata-profilering 4.1.0 zipp 3.8.0

Python-bibliotek i GPU-kluster

Bibliotek Version Bibliotek Version Bibliotek Version
absl-py 1.0.0 accelerera 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindningar 21.2.0 Astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 async-timeout 4.0.2 attrs 21.4.0
azure-core 1.26.3 azure-cosmos 4.3.1b1 backcall 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 svart 22.6.0
blekmedel 4.1.0 blinker 1.4 blis 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools 4.2.4
katalog 2.0.8 kategorikodare 2.6.0 certifi 2022.9.14
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klicka 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
konfekt 0.0.4 configparser 5.2.0 konvertera 2.4.0
kryptografi 37.0.1 cyklist 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.4
databricks-feature-store 0.11.0 datauppsättningar 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 felsökning 1.5.1 dekoratör 5.1.1
defusedxml 0.7.1 dill 0.3.4 diskcache 5.4.0
distlib 0.3.6 docstring-to-markdown 0,11 entrypoints 0,4
efem 4.1.4 evaluate (utvärdera) 0.4.0 Verkställande 1.2.0
facets-overview 1.0.2 fastjsonschema 2.16.3 snabbtext 0.9.2
filelock 3.6.0 Flask 1.1.2 flatbuffers 23.3.3
fonttools 4.25.0 frozenlist 1.3.3 fsspec 2022.7.1
framtid 0.18.2 Gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-converter 2.2.4 ferier 0.19
horovod 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.1 idna 3.3 ImageHash 4.3.1
obalanserad inlärning 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 itsdangerous 2.0.1 jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keras 2.11.0 nyckelring 23.5.0
kiwisolver 1.4.2 korean-lunar-calendar 0.3.1 langcodes 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
LunarCalendar 0.0.9 Mako 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 mleap 0.20.0
mlflow-skinny 2.2.1 more-itertools 8.10.0 multidict 6.0.4
multimethod 1.9.1 multiprocess 0.70.12.2 murmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
nltk 3.7 nodeenv 1.7.0 notebook-fil 6.4.12
numba 0.55.1 numpy 1.21.5 oauthlib 3.2.0
opt-einsum 3.3.0 emballage 21,3 Pandas 1.4.4
pandas-profilering 3.6.6 pandocfilter 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 Pati 0.10.1
Patsy 0.5.2 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Kudde 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.2 fördefinierad 3.0.8
prompt-toolkit 3.0.36 profet 1.1.2 protobuf 3.19.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.3 pycparser 2.21
pydantisk 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-editor 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 PyWavelets 1.3.0
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
begäranden 2.28.1 requests-oauthlib 1.3.1 Svaren 0.18.0
rep 1.7.0 RSA 4,9 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
Shap 0.41.0 simplejson 3.17.6 sex 1.16.0
Slicer 0.0.7 smart-open 5.2.1 smmap 5.0.0
soupsieve 2.3.1 spacy 3.5.0 spacy-legacy 3.0.12
spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
srsly 2.4.6 ssh-import-id 5,11 stack-data 0.6.2
statsmodels 0.13.2 Tabellform 0.8.10 trasslig upp-i-unicode 0.2.0
orubblighet 8.0.1 tensorboard 2.11.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.11.1 tensorboard-plugin-wit 1.8.1 tensorflow 2.11.0
tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.31.0 termcolor 2.2.0
terminado 0.13.1 testpath 0.6.0 thinc 8.1.9
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tokenizers 0.13.2
tomli 2.0.1 fackla 1.13.1+cu117 torchvision 0.14.1+cu117
tromb 6.1 tqdm 4.64.1 traitlets 5.1.1
Transformatorer 4.26.1 typeguard 2.13.3 typer 0.7.0
typing_extensions 4.3.0 ujson 5.4.0 obevakade uppgraderingar 0,1
urllib3 1.26.11 virtualenv 20.16.3 Visioner 0.7.5
wadllib 1.3.6 Wasabi 1.1.1 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 Werkzeug 2.0.3
whatthepatch 1.0.2 hjul 0.37.1 widgetsnbextension 3.6.1
wrapt 1.14.1 xgboost 1.7.4 xxhash 3.2.0
yapf 0.31.0 Yarl 1.8.2 ydata-profilering 4.1.0
zipp 3.8.0

R-bibliotek

R-biblioteken är identiska med R-biblioteken i Databricks Runtime 13.0.

Java- och Scala-bibliotek (Scala 2.12-kluster)

Förutom Java- och Scala-bibliotek i Databricks Runtime 13.0 innehåller Databricks Runtime 13.0 ML följande JAR:er:

CPU-kluster

Grupp-ID Artefakt-ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-kluster

Grupp-ID Artefakt-ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0