Udostępnij za pośrednictwem


Databricks Runtime 12.2 LTS for Machine Learning

Środowisko Databricks Runtime 12.2 LTS for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 12.2 LTS. Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Uwaga

LTS oznacza, że ta wersja jest objęta długoterminową pomocą techniczną. Zobacz Cykl życia wersji LTS środowiska Databricks Runtime.

Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks Runtime, zobacz Sztuczna inteligencja i uczenie maszynowe w usłudze Databricks.

Napiwek

Aby wyświetlić informacje o wersji środowiska Databricks Runtime, które osiągnęły koniec wsparcia technicznego (EoS), zobacz End-of-support Databricks Runtime release notes (Informacje o wersji środowiska Databricks Runtime). Wersje środowiska Uruchomieniowego usługi EoS Databricks zostały wycofane i mogą nie zostać zaktualizowane.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 12.2 LTS ML jest oparte na środowisku Databricks Runtime 12.2 LTS. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 12.2 LTS, w tym apache Spark MLlib i SparkR, zobacz informacje o wersji środowiska Databricks Runtime 12.2 LTS .

AutoML

Istniejące tabele funkcji w magazynie funkcji umożliwiają rozszerzenie oryginalnego wejściowego zestawu danych na potrzeby problemów z prognozowaniem automatycznego uczenia maszynowego. Aby uzyskać szczegółowe informacje, zobacz Integracja magazynu funkcji rozwiązania AutoML.

Aby uzyskać więcej informacji na temat rozwiązania AutoML, zobacz Co to jest rozwiązanie AutoML?.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 12.2 LTS ML różni się od środowiska Databricks Runtime 12.2 LTS w następujący sposób:

Środowisko Databricks Runtime 12.2 LTS ML zawiera bibliotekę XGBoost 1.7.2, która nie obsługuje klastrów gpu z możliwościami obliczeniowymi 5.2 i nowszymi.

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 12.2 LTS ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 12.2 LTS.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 12.2 LTS ML obejmuje następujące biblioteki najwyższego poziomu:

Biblioteki języka Python

Środowisko Databricks Runtime 12.2 LTS ML używa usługi Virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 12.2 LTS ML zawiera również następujące pakiety:

  • hyperopt 0.2.7+db3
  • sparkdl 2.3.0-db3
  • automl 1.16.0

Aby odtworzyć środowisko Języka Python środowiska Databricks Runtime ML w lokalnym środowisku wirtualnym języka Python, pobierz plik requirements-12.2.txt i uruchom polecenie pip install -r requirements-12.2.txt. To polecenie instaluje wszystkie biblioteki typu open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez usługę Databricks, takich jak databricks-automl, databricks-feature-storelub rozwidlenie usługi Databricks .hyperopt

Biblioteki języka Python w klastrach procesora CPU

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
attrs 21.4.0 azure-core 1.26.3 azure-cosmos 4.2.0
backcall 0.2.0 backports.entry-points-selectable 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 black (czarny) 22.3.0 wybielacz 4.1.0
blis 0.7.9 boto3 1.21.32 botocore 1.24.32
cachetools 4.2.2 katalog 2.0.8 kodery kategorii 2.5.1.post0
certifi 2021.10.8 cffi 1.15.0 chardet 4.0.0
charset-normalizer 2.0.4 kliknięcie 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 słodycze 0.0.4 configparser 5.2.0
konwertuj 2.4.0 kryptografia 3.4.8 rowerzysta 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.15
databricks-cli 0.17.4 databricks-feature-store 0.10.0 dbl-tempo 0.1.12
dbus-python 1.2.16 debugpy 1.5.1 dekorator 5.1.1
defusedxml 0.7.1 koper 0.3.4 diskcache 5.4.0
distlib 0.3.6 docstring-to-markdown 0,11 punkty wejścia 0,4
efem 4.1.4 Wykonywanie 0.8.3 aspekty — omówienie 1.0.0
fastjsonschema 2.16.2 fasttext 0.9.2 filelock 3.6.0
Flask 1.1.2 flatbuffers 23.1.21 fonttools 4.25.0
fsspec 2022.2.0 przyszłość 0.18.2 Gast 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-auth 1.33.0
google-auth-oauthlib 0.4.6 makaron google 0.2.0 grpcio 1.42.0
gunicorn 20.1.0 gviz-api 1.10.0 h5py 3.6.0
konwerter hidżri 2.2.4 wakacje 0.18 horovod 0.27.0
htmlmin 0.1.12 przytulanieface-hub 0.12.0 idna 3.3
ImageHash 4.3.1 niezrównoważona nauka 0.10.1 importlib-metadata 4.11.3
ipykernel 6.15.3 ipython 8.5.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 jegodangerous 2.0.1
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 joblibspark 0.5.1 jsonschema 4.4.0
jupyter-client 6.1.12 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keras 2.11.0 kiwisolver 1.3.2
koreański kalendarz księżycowy 0.3.1 langcodes 3.3.0 libclang 15.0.6.1
lightgbm 3.3.4 llvmlite 0.38.0 KsiężycowyCalendar 0.0.9
Mako 1.2.0 Znaczniki języka Markdown 3.3.4 MarkupSafe 2.0.1
matplotlib 3.5.1 biblioteka matplotlib-inline 0.1.2 Mccabe 0.7.0
mistune 0.8.4 mleap 0.20.0 mlflow-skinny 2.1.1
multimethod 1.9.1 szmurhash 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 nltk 3.7
nodeenv 1.7.0 notes 6.4.8 numba 0.55.1
numpy 1.21.5 oauthlib 3.2.0 opt-einsum 3.3.0
opakowanie 21,3 Pandas 1.4.2 Profilowanie biblioteki pandas 3.6.2
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.9.0 pathy 0.10.1 Patsy 0.5.2
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
pickleshare 0.7.5 Poduszka 9.0.1 21.2.4
platformdirs 2.6.2 kreślenie 5.6.0 wtyczka 1.0.0
pmdarima 2.0.2 preshed 3.0.8 prometheus-client 0.13.1
prompt-toolkit 3.0.20 prorok 1.1.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.3 pycparser 2.21
pydantic 1.10.2 pyflakes 2.5.0 Pygments 2.11.2
PyGObject 3.36.0 PyJWT 2.6.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.4
pyright 1.1.283 pirstent 0.18.0 python-dateutil 2.8.2
Python-editor 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.6.0
pytz 2021.3 PyWavelets 1.3.0 PyYAML 6.0
pyzmq 22.3.0 regex 2022.3.15 żądania 2.27.1
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 lina 0.22.0
rsa 4.7.2 s3transfer 0.5.0 scikit-learn 1.0.2
scipy 1.7.3 seaborn 0.11.2 Send2Trash 1.8.0
setuptools 61.2.0 setuptools-git 1.2 Shap 0.41.0
simplejson 3.17.6 Sześć 1.16.0 krajalnica 0.0.7
smart-open 5.2.1 smmap 5.0.0 zupy 2.3.1
spacy 3.4.4 spacy-legacy 3.0.12 spacy-loggers 1.0.4
spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2 srsly 2.4.5
ssh-import-id 5.10 stack-data 0.2.0 statsmodels 0.13.2
tabulacji 0.8.9 splątane-up-in-unicode 0.2.0 Wytrzymałość 8.0.1
tablica tensorboard 2.11.2 tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.11.1
tensorboard-plugin-wit 1.8.1 tensorflow-cpu 2.11.0 tensorflow-estimator 2.11.0
tensorflow-io-gcs-filesystem 0.30.0 termcolor 2.2.0 terminado 0.13.1
ścieżka testowa 0.5.0 cienki 8.1.7 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tokenizatory 0.13.2 tomli 1.2.2
pochodnia 1.13.1+procesor torchvision 0.14.1+ procesor tornado 6.1
tqdm 4.64.0 traitlety 5.1.1 Transformatory 4.25.1
osłona typów 2.13.3 typer 0.7.0 typing_extensions 4.1.1
ujson 5.1.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.9
virtualenv 20.8.0 Wizje 0.7.5 wasabi 0.10.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.0.3 whatthepatch 1.0.4 koło 0.37.1
widgetsnbextension 3.6.1 zawijanie 1.12.1 xgboost 1.7.2
yapf 0.31.0 zipp 3.7.0

Biblioteki języka Python w klastrach gpu

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
attrs 21.4.0 azure-core 1.26.3 azure-cosmos 4.2.0
backcall 0.2.0 backports.entry-points-selectable 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 black (czarny) 22.3.0 wybielacz 4.1.0
blis 0.7.9 boto3 1.21.32 botocore 1.24.32
cachetools 4.2.2 katalog 2.0.8 kodery kategorii 2.5.1.post0
certifi 2021.10.8 cffi 1.15.0 chardet 4.0.0
charset-normalizer 2.0.4 kliknięcie 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 słodycze 0.0.4 configparser 5.2.0
konwertuj 2.4.0 kryptografia 3.4.8 rowerzysta 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.15
databricks-cli 0.17.4 databricks-feature-store 0.10.0 dbl-tempo 0.1.12
dbus-python 1.2.16 debugpy 1.5.1 dekorator 5.1.1
defusedxml 0.7.1 koper 0.3.4 diskcache 5.4.0
distlib 0.3.6 docstring-to-markdown 0,11 punkty wejścia 0,4
efem 4.1.4 Wykonywanie 0.8.3 aspekty — omówienie 1.0.0
fastjsonschema 2.16.2 fasttext 0.9.2 filelock 3.6.0
Flask 1.1.2 flatbuffers 23.1.21 fonttools 4.25.0
fsspec 2022.2.0 przyszłość 0.18.2 Gast 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-auth 1.33.0
google-auth-oauthlib 0.4.6 makaron google 0.2.0 grpcio 1.42.0
gunicorn 20.1.0 gviz-api 1.10.0 h5py 3.6.0
konwerter hidżri 2.2.4 wakacje 0.18 horovod 0.27.0
htmlmin 0.1.12 przytulanieface-hub 0.12.0 idna 3.3
ImageHash 4.3.1 niezrównoważona nauka 0.10.1 importlib-metadata 4.11.3
ipykernel 6.15.3 ipython 8.5.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 jegodangerous 2.0.1
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 joblibspark 0.5.1 jsonschema 4.4.0
jupyter-client 6.1.12 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keras 2.11.0 kiwisolver 1.3.2
koreański kalendarz księżycowy 0.3.1 langcodes 3.3.0 libclang 15.0.6.1
lightgbm 3.3.4 llvmlite 0.38.0 KsiężycowyCalendar 0.0.9
Mako 1.2.0 Znaczniki języka Markdown 3.3.4 MarkupSafe 2.0.1
matplotlib 3.5.1 biblioteka matplotlib-inline 0.1.2 Mccabe 0.7.0
mistune 0.8.4 mleap 0.20.0 mlflow-skinny 2.1.1
multimethod 1.9.1 szmurhash 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 nltk 3.7
nodeenv 1.7.0 notes 6.4.8 numba 0.55.1
numpy 1.21.5 oauthlib 3.2.0 opt-einsum 3.3.0
opakowanie 21,3 Pandas 1.4.2 Profilowanie biblioteki pandas 3.6.2
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.9.0 pathy 0.10.1 Patsy 0.5.2
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
pickleshare 0.7.5 Poduszka 9.0.1 21.2.4
platformdirs 2.6.2 kreślenie 5.6.0 wtyczka 1.0.0
pmdarima 2.0.2 preshed 3.0.8 prompt-toolkit 3.0.20
prorok 1.1.1 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.10.3 pycparser 2.21 pydantic 1.10.2
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
PyJWT 2.6.0 PyMeeus 0.5.12 PyNaCl 1.5.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pirstent 0.18.0 python-dateutil 2.8.2 Python-editor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.6.0 pytz 2021.3
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 22.3.0
regex 2022.3.15 żądania 2.27.1 requests-oauthlib 1.3.1
requests-unixsocket 0.2.0 lina 0.22.0 rsa 4.7.2
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
setuptools-git 1.2 Shap 0.41.0 simplejson 3.17.6
Sześć 1.16.0 krajalnica 0.0.7 smart-open 5.2.1
smmap 5.0.0 zupy 2.3.1 spacy 3.4.4
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.5 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tabulacji 0.8.9
splątane-up-in-unicode 0.2.0 Wytrzymałość 8.0.1 tablica tensorboard 2.11.2
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.11.1 tensorboard-plugin-wit 1.8.1
tensorflow 2.11.0 tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.30.0
termcolor 2.2.0 terminado 0.13.1 ścieżka testowa 0.5.0
cienki 8.1.7 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizatory 0.13.2 tomli 1.2.2 pochodnia 1.13.1+cu117
torchvision 0.14.1+cu117 tornado 6.1 tqdm 4.64.0
traitlety 5.1.1 Transformatory 4.25.1 osłona typów 2.13.3
typer 0.7.0 typing_extensions 4.1.1 ujson 5.1.0
nienadzorowane uaktualnienia 0.1 urllib3 1.26.9 virtualenv 20.8.0
Wizje 0.7.5 wasabi 0.10.1 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 Werkzeug 2.0.3
whatthepatch 1.0.4 koło 0.37.1 widgetsnbextension 3.6.1
zawijanie 1.12.1 xgboost 1.7.2 yapf 0.31.0
zipp 3.7.0

Biblioteki R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 12.2 LTS.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 12.2 LTS środowisko Databricks Runtime 12.2 LTS ML zawiera następujące elementy JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0