Udostępnij za pośrednictwem


Databricks Runtime 11.3 LTS for Machine Learning

Środowisko Databricks Runtime 11.3 LTS for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 11.3 LTS. Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Uwaga

LTS oznacza, że ta wersja jest objęta długoterminową pomocą techniczną. Zobacz Cykl życia wersji LTS środowiska Databricks Runtime.

Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks Runtime, zobacz Sztuczna inteligencja i uczenie maszynowe w usłudze Databricks.

Napiwek

Aby wyświetlić informacje o wersji środowiska Databricks Runtime, które osiągnęły koniec wsparcia technicznego (EoS), zobacz End-of-support Databricks Runtime release notes (Informacje o wersji środowiska Databricks Runtime). Wersje środowiska Uruchomieniowego usługi EoS Databricks zostały wycofane i mogą nie zostać zaktualizowane.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 11.3 LTS ML jest oparte na środowisku Databricks Runtime 11.3 LTS. Aby uzyskać informacje na temat nowości w Databricks Runtime 11.3 LTS, w tym Apache Spark MLlib i SparkR, zobacz informacje o wersji Databricks Runtime 11.3 LTS.

Ulepszenia rozwiązania AutoML

AutoML obsługuje teraz korzystanie z istniejących tabel funkcji w Feature Store w eksperymentach AutoML. Aby uzyskać szczegółowe informacje, zobacz integrację magazynu funkcji AutoML.

Notesy w wersji próbnej generowane przez rozwiązanie AutoML zawierają teraz fragmenty kodu, które umożliwiają użytkownikom ponowne uruchamianie dostrajania hiperparametrów.

AutoML teraz obsługuje DecimalType funkcje.

Poprawki błędów

Środowisko Databricks Runtime 11.3 LTS ML zawiera uaktualnioną wersję programu sparkdl.xgboost. Poprzednie wersje sparkdl.xgboost zawierają usterki, które zostały naprawione w tej wersji, dlatego usługa Databricks zaleca użytkownikom uaktualnienia biblioteki do środowiska Databricks Runtime 11.3 LTS ML.

Przygotowanie do przyszłych wydań

Nadchodzące wydanie środowiska Databricks Runtime ML będzie zawierać sklearn wersję 1.0. Zapoznaj się z dokumentacją, sklearnaby uzyskać informacje na temat przygotowania do tej zmiany.

Środowisko Databricks Runtime ML zawiera dwa openblas pakiety. Pakiet /opt/OpenBLAS jest przestarzały w środowisku Databricks Runtime 11.3 LTS ML i zostanie usunięty w nadchodzącej wersji.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 11.3 LTS ML różni się od środowiska Databricks Runtime 11.3 LTS w następujący sposób:

Środowisko Databricks Runtime 11.3 LTS ML zawiera bibliotekę XGBoost 1.6.1, która nie obsługuje klastrów gpu z możliwościami obliczeniowymi 5.2 i nowszymi.

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 11.3 LTS ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 11.3 LTS.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 11.3 LTS ML zawiera następujące biblioteki najwyższego poziomu:

Biblioteki języka Python

Środowisko Databricks Runtime 11.3 LTS ML używa usługi Virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 11.3 LTS ML zawiera również następujące pakiety:

  • hyperopt 0.2.7.db1
  • sparkdl 2.3.0-db3
  • feature_store 0.7.0
  • automl 1.13.2

Aby odtworzyć środowisko Python środowiska Databricks Runtime ML w lokalnym środowisku wirtualnym Python, pobierz plik requirements-11.3.txt i uruchom go za pomocą pip install -r requirements-11.3.txt. To polecenie instaluje wszystkie biblioteki open source używane przez Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez Databricks, takich jak databricks-automl, databricks-feature-store, lub rozwidlenie Databricks hyperopt.

Biblioteki języka Python w klastrach procesora CPU

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 argon2-cffi 20.1.0 Astor 0.8.1
astunparse 1.6.3 asynchroniczny generator 1.10 attrs 21.2.0
azure-core 1.22.1 azure-cosmos 4.2.0 "backcall" (zwrotne wywołanie) 0.2.0
backports.entry-points-selectable 1.1.1 bcrypt 4.0.0 czarny 22.3.0
wybielacz 4.0.0 blis 0.7.8 boto3 1.21.18
botocore 1.24.18 cachetools 5.2.0 katalog 2.0.8
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 kliknięcie 8.0.3 cloudpickle 2.0.0
cmdstanpy 0.9.68 wyrób cukierniczy 0.0.1 configparser 5.2.0
konwertuj datę 2.4.0 kryptografia 3.4.8 rowerzysta 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.11
databricks-cli 0.17.3 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 dekorator 5.1.0 defusedxml 0.7.1
koper 0.3.4 diskcache 5.4.0 distlib 0.3.6
punkty wejścia 0,3 efem 4.1.3 aspekty — omówienie 1.0.0
fasttext 0.9.2 filelock 3.3.1 Flask 1.1.2
flatbuffers 1.12 fsspec 2021.8.1 przyszłość 0.18.2
gość 0.4.0 gitdb 4.0.9 GitPython 3.1.27
google-auth (uwierzytelnianie Google) 2.6.0 google-auth-oauthlib 0.4.6 makaron google 0.2.0
grpcio 1.44.0 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.3.0 Konwerter hidżra 2.2.4 wakacje 0,15
horovod 0.25.0 htmlmin 0.1.12 huggingface-hub 0.9.1
idna 3.2 ImageHash 4.3.0 niezrównoważona nauka 0.8.1
importlib-metadata 4.8.1 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 isodate 0.6.1
jegodangerous 2.0.1 jedi 0.18.0 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 joblibspark 0.5.0
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.9.0
Przetwarzanie wstępne Keras 1.1.2 kiwisolver 1.3.1 koreański kalendarz księżycowy 0.3.1
kody językowe 3.3.0 libclang 14.0.6 lightgbm 3.3.2
llvmlite 0.37.0 Księżycowy Kalendarz 0.0.9 Mako 1.2.0
Markdown 3.3.6 MarkupSafe 2.0.1 matplotlib 3.4.3
moduł matplotlib-inline 0.1.2 missingno 0.5.1 rozstrajać 0.8.4
mleap 0.20.0 mlflow-skinny 1.29.0 wielometodowy 1,9
MurmurHash 1.0.8 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 nltk 3.6.5 notatnik 6.4.5
numba 0.54.1 numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 opakowanie 21,0 Pandas 1.3.4
pandas-profiling (moduł profilowania) 3.1.0 pandocfilters 1.4.3 paramiko 2.9.2
parso 0.8.2 specyfikacja ścieżki 0.9.0 patia 0.6.2
frajer 0.5.2 petastorm 0.11.4 pexpect 4.8.0
phik 0.12.2 pickleshare 0.7.5 Poduszka 8.4.0
pip 21.2.4 platformdirs 2.5.2 kreślenie 5.9.0
pmdarima 1.8.5 preshed 3.0.7 prometheus-client 0.11.0
prompt-toolkit 3.0.20 prorok 1.0.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.10.0 pycparser 2,20 pydantic 1.9.2
Pygments 2.10.0 PyGObject 3.36.0 PyJWT 2.5.0
PyMeeus 0.5.11 PyNaCl 1.5.0 pyodbc 4.0.31
pyparsing 3.0.4 pyrsistent 0.18.0 pystan 2.19.1.1
python-dateutil 2.8.2 Python-editor 1.0.4 pytz 2021.3
PyWavelets 1.1.1 PyYAML 6.0 pyzmq 22.2.1
regex 2021.8.3 żądania 2.26.0 requests-oauthlib 1.3.1
requests-unixsocket 0.2.0 rsa 4.9 s3transfer 0.5.2
scikit-learn 0.24.2 scipy 1.7.1 seaborn 0.11.3
Send2Trash 1.8.0 setuptools 58.0.4 setuptools-git 1.2
Shap 0.41.0 simplejson 3.17.6 Sześć 1.16.0
krajalnica 0.0.7 inteligentne otwieranie 5.2.1 smmap 5.0.0
przestronny 3.4.1 spacy-legacy 3.0.10 spacy-loggers 1.0.3
spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2 serio 2.4.4
ssh-import-id 5.10 statsmodels 0.12.2 tabelować 0.8.9
splątane w unicode 0.1.0 Wytrzymałość 8.0.1 TensorBoard 2.9.1
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.8.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.9.1 oszacowujący TensorFlow 2.9.0 tensorflow-io-gcs-filesystem 0.27.0
termcolor 2.0.1 zakończony 0.9.4 ścieżka testowa 0.5.0
cienki 8.1.2 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizatory 0.12.1 tomli 2.0.1 pochodnia 1.12.1+ procesor
torchvision 0.13.1+ procesor tornado 6.1 tqdm 4.62.3
traitlets 5.1.0 Transformatory 4.21.2 typer 0.4.2
wpisywanie rozszerzeń 3.10.0.2 ujson 4.0.2 nienadzorowane uaktualnienia 0.1
urllib3 1.26.7 virtualenv 20.8.0 Wizje 0.7.4
wasabi (japoński chrzan) 0.10.1 wcwidth 0.2.5 webencodings 0.5.1
klient websocket 1.3.1 Werkzeug 2.0.2 koło 0.37.0
widgetsnbextension 3.6.0 zawinięty 1.12.1 xgboost 1.6.2
zipp 3.6.0

Biblioteki języka Python w klastrach gpu

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 argon2-cffi 20.1.0 Astor 0.8.1
astunparse 1.6.3 asynchroniczny generator 1.10 attrs 21.2.0
azure-core 1.22.1 azure-cosmos 4.2.0 Brak wyraźnego polskiego odpowiednika dla "backcall". W przypadku braku odpowiedniego tłumaczenia lub jeśli termin ten jest powszechnie znany w dziedzinie technicznej, warto rozważyć pozostawienie go bez zmian. 0.2.0
backports.entry-points-selectable 1.1.1 bcrypt 4.0.0 czarny 22.3.0
wybielacz 4.0.0 blis 0.7.8 boto3 1.21.18
botocore 1.24.18 cachetools 5.2.0 katalog 2.0.8
certyfikat 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 kliknięcie 8.0.3 cloudpickle 2.0.0
cmdstanpy 0.9.68 cukierek 0.0.1 configparser 5.2.0
konwertujdatę 2.4.0 kryptografia 3.4.8 rowerzysta 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.11
databricks-cli 0.17.3 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 dekorator 5.1.0 defusedxml 0.7.1
koper 0.3.4 diskcache 5.4.0 distlib 0.3.6
punkty wejścia 0.3 efem 4.1.3 aspekty — omówienie 1.0.0
fasttext 0.9.2 filelock 3.3.1 Flask 1.1.2
flatbuffers 1.12 fsspec 2021.8.1 przyszłość 0.18.2
Gast 0.4.0 gitdb 4.0.9 GitPython 3.1.27
google-auth (usługa uwierzytelniania Google) 2.6.0 google-auth-oauthlib 0.4.6 Google-pasta 0.2.0
grpcio 1.44.0 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.3.0 konwerter hidżra 2.2.4 wakacje 0,15
horovod 0.25.0 htmlmin 0.1.12 Huggingface Hub 0.9.1
idna 3.2 ImageHash 4.3.0 niezrównoważona nauka 0.8.1
importlib-metadata 4.8.1 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 isodate 0.6.1
jegodangerous 2.0.1 Jedi 0.18.0 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 joblibspark 0.5.0
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.9.0
Przetwarzanie wstępne Keras 1.1.2 kiwisolver 1.3.1 koreański kalendarz księżycowy 0.3.1
kody językowe 3.3.0 libclang 14.0.6 lightgbm 3.3.2
llvmlite 0.37.0 Kalendarz Księżycowy 0.0.9 Mako 1.2.0
Markdown 3.3.6 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 missingno 0.5.1 złe dostrojenie 0.8.4
mleap 0.20.0 mlflow-skinny 1.29.0 wielometoda 1,9
szmurhash 1.0.8 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 nltk 3.6.5 notatnik 6.4.5
numba 0.54.1 numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 opakowanie 21,0 Pandas 1.3.4
pandas-profiling 3.1.0 pandocfilters 1.4.3 paramiko 2.9.2
parso 0.8.2 pathspec 0.9.0 -patia 0.6.2
Frajer 0.5.2 petastorm 0.11.4 pexpect 4.8.0
phik 0.12.2 pickleshare 0.7.5 Poduszka 8.4.0
pip 21.2.4 platformdirs 2.5.2 kreślenie 5.9.0
pmdarima 1.8.5 preshed 3.0.7 prompt-toolkit 3.0.20
prorok 1.0.1 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.0
Pycparser 2,20 pydantic 1.9.2 Pygments 2.10.0
PyGObject 3.36.0 PyJWT 2.5.0 PyMeeus 0.5.11
PyNaCl 1.5.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 pystan 2.19.1.1 python-dateutil 2.8.2
Python-editor 1.0.4 pytz 2021.3 PyWavelets 1.1.1
PyYAML 6.0 pyzmq 22.2.1 regex 2021.8.3
żądania 2.26.0 requests-oauthlib 1.3.1 requests-unixsocket 0.2.0
rsa 4.9 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 seaborn 0.11.3 Send2Trash 1.8.0
setuptools 58.0.4 setuptools-git (narzędzie do zarządzania projektami Git) 1.2 Shap 0.41.0
simplejson 3.17.6 Sześć 1.16.0 krajalnica 0.0.7
smart-open 5.2.1 smmap 5.0.0 przestronny 3.4.1
spacy-legacy 3.0.10 spacy-loggers 1.0.3 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 serio 2.4.4 ssh-import-id 5.10
statsmodels 0.12.2 sporządzać tabelę 0.8.9 splątane-w-unicode 0.1.0
Wytrzymałość 8.0.1 tablica tensorboard 2.9.1 tensorboard-data-server 0.6.1
wtyczka do profilowania TensorBoard 2.8.0 tensorboard-plugin-wit 1.8.1 tensorflow 2.9.1
tensorflow-estimator 2.9.0 tensorflow-io-gcs-filesystem 0.27.0 termcolor 2.0.1
zakończony 0.9.4 ścieżka testowa 0.5.0 cienki 8.1.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tokenizatory 0.12.1
tomli 2.0.1 pochodnia 1.12.1+cu113 torchvision 0.13.1+cu113
tornado 6.1 tqdm 4.62.3 traitlets 5.1.0
Transformatory 4.21.2 pisarz 0.4.2 wpisywanie rozszerzeń 3.10.0.2
ujson 4.0.2 nienadzorowane uaktualnienia 0.1 urllib3 1.26.7
virtualenv 20.8.0 Wizje 0.7.4 wasabi 0.10.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 1.3.1
Werkzeug 2.0.2 koło 0.37.0 widgetsnbextension 3.6.0
owiany 1.12.1 xgboost 1.6.2 zipp 3.6.0

Biblioteki R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 11.3 LTS.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 11.3 LTS środowisko Databricks Runtime 11.3 LTS ML zawiera następujące jednostki JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.6.2
ml.dmlc xgboost4j_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.29.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.6.2
ml.dmlc xgboost4j-spark-gpu_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.29.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0