Sdílet prostřednictvím


Databricks Runtime 14.0 pro Machine Learning (EoS)

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Všechny podporované verze databricks Runtime najdete v poznámkách k verzi Databricks Runtime a kompatibilitu.

Databricks Runtime 14.0 pro Machine Learning poskytuje připravené prostředí pro strojové učení a datové vědy založené na databricks Runtime 14.0 (EoS). Databricks Runtime ML obsahuje mnoho oblíbených knihoven strojového učení, včetně TensorFlow, PyTorch a XGBoost. Databricks Runtime ML zahrnuje AutoML, nástroj pro automatické trénování kanálů strojového učení. Databricks Runtime ML také podporuje distribuované trénování hlubokého učení pomocí Horovodu.

Další informace, včetně pokynů k vytvoření clusteru Databricks Runtime ML, najdete v tématu AI a strojové učení v Databricks.

Nové funkce a vylepšení

Databricks Runtime 14.0 ML je postaven na Databricks Runtime 14.0. Informace o novinkách v Databricks Runtime 14.0, včetně Apache Spark MLlib a SparkR, najdete ve zprávě k vydání verze Databricks Runtime 14.0 (EoS ).

Prostředí systému

Systémové prostředí v Databricks Runtime 14.0 ML se liší od Databricks Runtime 14.0 následujícím způsobem:

Databricks Runtime 14.0 ML zahrnuje XGBoost 1.7.6, který nepodporuje clustery GPU s výpočetní schopností 5.2 a níže.

V Databricks Runtime 14.0 ML byly odebrány následující balíčky, které byly zahrnuty v předchozích verzích Databricks Runtime ML:

  • miniconda
  • MLeap

Knihovny

Následující části obsahují seznam knihoven zahrnutých v Databricks Runtime 14.0 ML, které se liší od knihoven zahrnutých v Databricks Runtime 14.0.

V této části:

Knihovny nejvyšší úrovně

Databricks Runtime 14.0 ML obsahuje následující knihovny nejvyšší úrovně:

Knihovny Pythonu

Databricks Runtime 14.0 ML používá Virtualenv pro správu balíčků Pythonu a obsahuje mnoho oblíbených balíčků ML.

Kromě balíčků uvedených v následujících částech obsahuje Databricks Runtime 14.0 ML také následující balíčky:

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.21.1

Pokud chcete reprodukovat prostředí Databricks Runtime ML Python v místním virtuálním prostředí Pythonu, stáhněte si soubor requirements-14.0.txt a spusťte pip install -r requirements-14.0.txt. Tento příkaz nainstaluje všechny opensourcové knihovny, které databricks Runtime ML používá, ale neinstaluje knihovny vyvinuté službou Databricks, například databricks-automl, databricks-feature-storenebo fork Databricks fork hyperopt.

Knihovny Pythonu v clusterech procesorů

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 zrychlit 0.21.0 aiohttp 3.8.5
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
attrs 22.1.0 audioread 3.0.0 Azure-Core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.17.0 azure-storage-file-datalake 12.12.0
backcall 0.2.0 šifra 3.2.0 krásnásoup4 4.11.1
černý 22.6.0 bělit 4.1.0 blinkr 1.4
blis 0.7.10 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.1 katalog 2.0.9 kodéry kategorií 2.6.1
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknutí 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 Komunikace 0.1.2 cukroví 0.1.1
configparser 5.2.0 obrysová křivka 1.0.5 convertdate 2.4.0
kryptografie 39.0.1 cyklista 0.11.0 cymem 2.0.7
Cython 0.29.32 dacite 1.8.1 databricks-automl-runtime 0.2.18
Databricks-cli 0.17.7 Úložiště funkcí databricks 0.14.1 Databricks-sdk 0.1.6
dataclasses-json 0.5.14 Power BI 2.14.1 dbl-tempo 0.1.23
dbus-python 1.2.18 ladění 1.6.7 dekoratér 5.1.1
deepspeed 0.10.0 defusedxml 0.7.1 kopr 0.3.6
diskcache 5.6.1 distlib 0.3.7 docstring-to-markdown 0,11
vstupní body 0,4 ephem 4.1.4 evaluate 0.4.0
vykonávající 0.8.3 přehled omezujících vlastností 1.1.1 fastapi 0.98.0
fastjsonschema 2.18.0 fasttext 0.9.2 filelock 3.9.0
Flask 2.2.5 flatbuffers 23.5.26 fonttools 4.25.0
zmrazený seznam 1.4.0 fsspec 2022.11.0 budoucnost 0.18.3
Gast 0.4.0 Knihovna modulu runtime GCC 1.10.0 gitdb 4.0.10
GitPython 3.1.27 google-api-core 2.11.1 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3 google-cloud-storage 2.10.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media 2.5.0
googleapis-common-protos 1.60.0 zelenálet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h11 0.14.0 h5py 3.7.0 hjson 3.1.0
prázdniny 0,28 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 httptools 0.6.0 huggingface-hub 0.14.1
idna 3.4 ImageHash 4.3.1 nevyvážené učení 0.10.1
importlib-metadata 4.11.3 importlib-resources 6.0.1 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jehodangerous 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgety 1.0.0 keras 2.13.1
keyring 23.5.0 verizonsolver 1.4.4 langchain 0.0.225
langchainplus-sdk 0.0.20 langcodes 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0.3
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
llvmlite 0.39.1 LunárníCalendar 0.0.9 lxml 4.9.1
Druh žraloka 1.2.0 Markdown 3.4.1 MarkupSafe 2.1.1
pórovitá sladkost 3.20.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 špatně zamyšlení 0.8.4 mlflow-hubená 2.5.0
more-itertools 8.10.0 mpmath 1.2.1 msgpack 1.0.5
multidict 6.0.4 multimethod 1.9.1 paralelní proces 0.70.14
murmurhash 1.0.9 mypy-extensions 0.4.3 nbclassic 0.5.2
nbclient 0.5.13 nbconvert 6.5.4 nbformat 5.7.0
nest-asyncio 1.5.6 networkx 2.8.4 ninja 1.11.1
nltk 3.7 nodeenv 1.8.0 poznámkový blok 6.5.2
notebook_shim 0.2.2 numba 0.56.4 numexpr 2.8.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.27.8
openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0 balení 22.0
pandas 1.5.3 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.10.3 pathy 0.10.2
bábovka 0.5.3 petastorm 0.12.1 pexpect 4.8.0
Phik 0.12.3 pickleshare 0.7.5 Polštář 9.4.0
jádro 22.3.1 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.3 psisko 1.4.0
předběžně připravený 3.0.8 prometheus-client 0.14.1 prompt-toolkit 3.0.36
prorok 1.1.4 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 čistý-eval 0.2.2
py-cpuinfo 9.0.0 pyarrow 8.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 pytesseract 0.3.10
python-dateutil 2.8.2 python-dotenv 1.0.0 python-editor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6.0
pyzmq 23.2.0 regex 2022.7.9 žádosti 2.28.1
requests-oauthlib 1.3.1 odpovědi 0.18.0 lano 1.7.0
rsa 4,9 s3transfer 0.6.2 safetensors 0.3.2
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 větné transformátory 2.2.2 věta 0.1.99
setuptools 65.6.3 Shap 0.41.0 simplejson 3.17.6
Šest 1.16.0 kráječ 0.0.7 inteligentní otevření 5.2.1
smmap 5.0.0 sniffio 1.2.0 soundfile 0.12.1
polévky 2.3.2.post1 soxr 0.3.6 spacy 3.5.4
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.7
ssh-import-id 5,11 stack-data 0.2.0 hvězdicová hvězda 0.27.0
statsmodels 0.13.5 sympy 1.11.1 sestavit v tabulku 0.8.10
tangled-up-in-unicode 0.2.0 houževnatost 8.1.0 tensorboard 2.13.0
tensorboard-data-server 0.7.1 tensorboard-plugin-profile 2.13.0 tensorflow-cpu 2.13.0
tensorflow-estimator 2.13.0 tensorflow-io-gcs-filesystem 0.33.0 termcolor 2.3.0
terminado 0.17.1 tenká 8.1.12 threadpoolctl 2.2.0
tiktoken 0.4.0 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizátory 0.13.3 tomli 2.0.1 pochodeň 2.0.1+cpu
torchvision 0.15.2+cpu tornádo 6.1 tqdm 4.64.1
vlastnosti 5.7.1 Transformátory 4.31.0 typeguard 2.13.3
Typer 0.9.0 kontrola psaní 0.9.0 typing_extensions 4.4.0
ujson 5.4.0 bezobslužné upgrady 0,1 urllib3 1.26.14
uvicorn 0.23.2 uvloop 0.17.0 virtualenv 20.16.7
vize 0.7.5 wadllib 1.3.6 wasabi 1.1.2
watchfiles 0.19.0 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 websockets 11.0.3 Werkzeug 2.2.2
whatthepatch 1.0.2 kolo 0.38.4 widgetsnbextension 3.6.1
wordcloud 1.9.2 wrapt 1.14.1 xgboost 1.7.6
xxhash 3.3.0 yapf 0.31.0 yarl 1.9.2
Profilace ydata 4.2.0 zipp 3.11.0

Knihovny Pythonu v clusterech GPU

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 zrychlit 0.21.0 aiohttp 3.8.5
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
attrs 22.1.0 audioread 3.0.0 Azure-Core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.17.0 azure-storage-file-datalake 12.12.0
backcall 0.2.0 šifra 3.2.0 krásnásoup4 4.11.1
černý 22.6.0 bělit 4.1.0 blinkr 1.4
blis 0.7.10 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.1 katalog 2.0.9 kodéry kategorií 2.6.1
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknutí 8.0.4 cloudpickle 2.0.0
cmake 3.27.2 cmdstanpy 1.1.0 Komunikace 0.1.2
cukroví 0.1.1 configparser 5.2.0 obrysová křivka 1.0.5
convertdate 2.4.0 kryptografie 39.0.1 cyklista 0.11.0
cymem 2.0.7 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.18 Databricks-cli 0.17.7 Úložiště funkcí databricks 0.14.1
Databricks-sdk 0.1.6 dataclasses-json 0.5.14 Power BI 2.14.1
dbl-tempo 0.1.23 dbus-python 1.2.18 ladění 1.6.7
dekoratér 5.1.1 deepspeed 0.10.0 defusedxml 0.7.1
kopr 0.3.6 diskcache 5.6.1 distlib 0.3.7
docstring-to-markdown 0,11 einops 0.6.1 vstupní body 0,4
ephem 4.1.4 evaluate 0.4.0 vykonávající 0.8.3
přehled omezujících vlastností 1.1.1 fastapi 0.98.0 fastjsonschema 2.18.0
fasttext 0.9.2 filelock 3.9.0 flash-attn 2.0.1
Flask 2.2.5 flatbuffers 23.5.26 fonttools 4.25.0
zmrazený seznam 1.4.0 fsspec 2022.11.0 budoucnost 0.18.3
Gast 0.4.0 Knihovna modulu runtime GCC 1.10.0 gitdb 4.0.10
GitPython 3.1.27 google-api-core 2.11.1 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3 google-cloud-storage 2.10.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media 2.5.0
googleapis-common-protos 1.60.0 zelenálet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h11 0.14.0 h5py 3.7.0 hjson 3.1.0
prázdniny 0,28 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 httptools 0.6.0 huggingface-hub 0.14.1
idna 3.4 ImageHash 4.3.1 nevyvážené učení 0.10.1
importlib-metadata 4.11.3 importlib-resources 6.0.1 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jehodangerous 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgety 1.0.0 keras 2.13.1
keyring 23.5.0 verizonsolver 1.4.4 langchain 0.0.225
langchainplus-sdk 0.0.20 langcodes 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0.3
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
osvětlený 16.0.6 llvmlite 0.39.1 LunárníCalendar 0.0.9
lxml 4.9.1 Druh žraloka 1.2.0 Markdown 3.4.1
MarkupSafe 2.1.1 pórovitá sladkost 3.20.1 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 špatně zamyšlení 0.8.4
mlflow-hubená 2.5.0 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.5 multidict 6.0.4 multimethod 1.9.1
paralelní proces 0.70.14 murmurhash 1.0.9 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
ninja 1.11.1 nltk 3.7 nodeenv 1.8.0
poznámkový blok 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numexpr 2.8.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.27.8 openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0
balení 22.0 pandas 1.5.3 pandocfilters 1.5.0
paramiko 2.9.2 parso 0.8.3 pathspec 0.10.3
pathy 0.10.2 bábovka 0.5.3 petastorm 0.12.1
pexpect 4.8.0 Phik 0.12.3 pickleshare 0.7.5
Polštář 9.4.0 jádro 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 pmdarima 2.0.3
psisko 1.4.0 předběžně připravený 3.0.8 prompt-toolkit 3.0.36
prorok 1.1.4 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 čistý-eval 0.2.2
py-cpuinfo 9.0.0 pyarrow 8.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 pytesseract 0.3.10
python-dateutil 2.8.2 python-dotenv 1.0.0 python-editor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6.0
pyzmq 23.2.0 regex 2022.7.9 žádosti 2.28.1
requests-oauthlib 1.3.1 odpovědi 0.18.0 lano 1.7.0
rsa 4,9 s3transfer 0.6.2 safetensors 0.3.2
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 větné transformátory 2.2.2 věta 0.1.99
setuptools 65.6.3 Shap 0.41.0 simplejson 3.17.6
Šest 1.16.0 kráječ 0.0.7 inteligentní otevření 5.2.1
smmap 5.0.0 sniffio 1.2.0 soundfile 0.12.1
polévky 2.3.2.post1 soxr 0.3.6 spacy 3.5.4
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.7
ssh-import-id 5,11 stack-data 0.2.0 hvězdicová hvězda 0.27.0
statsmodels 0.13.5 sympy 1.11.1 sestavit v tabulku 0.8.10
tangled-up-in-unicode 0.2.0 houževnatost 8.1.0 tensorboard 2.13.0
tensorboard-data-server 0.7.1 tensorboard-plugin-profile 2.13.0 tensorflow 2.13.0
tensorflow-estimator 2.13.0 tensorflow-io-gcs-filesystem 0.33.0 termcolor 2.3.0
terminado 0.17.1 tenká 8.1.12 threadpoolctl 2.2.0
tiktoken 0.4.0 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizátory 0.13.3 tomli 2.0.1 pochodeň 2.0.1+cu118
torchvision 0.15.2+cu118 tornádo 6.1 tqdm 4.64.1
vlastnosti 5.7.1 Transformátory 4.31.0 Triton 2.0.0
typeguard 2.13.3 Typer 0.9.0 kontrola psaní 0.9.0
typing_extensions 4.4.0 ujson 5.4.0 bezobslužné upgrady 0,1
urllib3 1.26.14 uvicorn 0.23.2 uvloop 0.17.0
virtualenv 20.16.7 vize 0.7.5 wadllib 1.3.6
wasabi 1.1.2 watchfiles 0.19.0 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 websockets 11.0.3
Werkzeug 2.2.2 whatthepatch 1.0.2 kolo 0.38.4
widgetsnbextension 3.6.1 wordcloud 1.9.2 wrapt 1.14.1
xgboost 1.7.6 xxhash 3.3.0 yapf 0.31.0
yarl 1.9.2 Profilace ydata 4.2.0 zipp 3.11.0

Knihovny jazyka R

Knihovny jazyka R jsou identické s knihovnami jazyka R v Databricks Runtime 14.0.

Knihovny Java a Scala (cluster Scala 2.12)

Kromě knihoven Java a Scala v Databricks Runtime 14.0 obsahuje Databricks Runtime 14.0 ML následující jary:

Clustery procesoru

ID skupiny ID artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clustery GPU

ID skupiny ID artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0