Databricks Runtime 11.0 for Machine Learning (EoS)
Uwaga
Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).
Środowisko Databricks Runtime 11.0 for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 11.0 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.
Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks Runtime, zobacz Sztuczna inteligencja i uczenie maszynowe w usłudze Databricks.
Nowe funkcje i ulepszenia
Środowisko Databricks Runtime 11.0 ML jest oparte na środowisku Databricks Runtime 11.0. Aby uzyskać informacje o nowościach w środowisku Databricks Runtime 11.0, w tym Apache Spark MLlib i SparkR, zapoznaj się z informacjami o wersji Databricks Runtime 11.0 (EoS).
Ulepszenia rozwiązania AutoML
Rozwiązanie AutoML obsługuje teraz wyższe ułamki próbkowania w celu uzyskania lepszej wydajności w dużych zestawach danych. Aby uzyskać szczegółowe informacje, zobacz Próbkowanie dużych zestawów danych.
Środowisko systemu
Środowisko systemowe w środowisku Databricks Runtime 11.0 ML różni się od środowiska Databricks Runtime 11.0 w następujący sposób:
-
DBUtils: Databricks Runtime ML nie zawiera narzędzie biblioteki (dbutils.library) (starsza wersja).
Użyj zamiast tego poleceń
%pip. Zobacz Biblioteki języka Python zasięgiem notatnika. - W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Biblioteki
W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 11.0 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 11.0.
W tej sekcji:
- Biblioteki najwyższego poziomu
- Biblioteki języka Python
- Biblioteki języka R
- Biblioteki Java i Scala (klaster Scala 2.12)
Biblioteki najwyższego poziomu
Środowisko Databricks Runtime 11.0 ML obejmuje następujące biblioteki najwyższego poziomu:
- GraphFrames
- Horovod i HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
Biblioteki języka Python
Środowisko Databricks Runtime 11.0 ML używa usługi Virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.
Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 11.0 ML zawiera również następujące pakiety:
- hyperopt 0.2.7.db1
- sparkdl 2.2.0-db6
- feature_store 0.4.1
- automl 1.10
Biblioteki języka Python w klastrach procesora CPU
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | asynchroniczny generator | 1.10 |
| attrs | 21.2.0 | backcall (jeśli konieczne, można dodać wyjaśnienie w kontekście) | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| bcrypt | 3.2.2 | wybielacz | 4.0.0 | blis | 0.7.7 |
| boto3 | 1.21.18 | botocore | 1.24.18 | cachetools | 5.1.0 |
| katalog | 2.0.7 | certyfikat | 2021.10.8 | cffi | 1.14.6 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | kliknięcie | 8.0.3 |
| cloudpickle | 2.0.0 | cmdstanpy | 0.9.68 | configparser | 5.2.0 |
| konwertujdatę | 2.4.0 | kryptografia | 3.4.8 | rowerzysta | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.8 |
| databricks-cli | 0.16.4 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | dekorator | 5.1.0 | defusedxml | 0.7.1 |
| koper | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.4 |
| informacje o dystrybucji | 0.23ubuntu1 | punkty wejścia | 0.3 | efem | 4.1.3 |
| aspekty — omówienie | 1.0.0 | fasttext | 0.9.2 | filelock | 3.3.1 |
| Flask | 1.1.2 | flatbuffers | 2.0 | fsspec | 2021.8.1 |
| przyszłość | 0.18.2 | gość | 0.5.3 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 |
| Makaron Google | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.3.0 | konwerter hidżri | 2.2.3 |
| wakacje | 0,13 | horovod | 0.24.3 | htmlmin | 0.1.12 |
| huggingface-hub | 0.6.0 | idna | 3.2 | ImageHash | 4.2.1 |
| niezrównoważona nauka | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| isodate | 0.6.1 | to niebezpieczne | 2.0.1 | jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keras | 2.8.0 | Przetwarzanie wstępne Keras | 1.1.2 | kiwisolver | 1.3.1 |
| koreański kalendarz księżycowy | 0.2.1 | kody językowe | 3.3.0 | libclang | 14.0.1 |
| lightgbm | 3.3.2 | llvmlite | 0.38.0 | Kalendarz Księżycowy | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.6 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
| źle nastroić | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.26.0 |
| multimetoda | 1.8 | szmurhash | 1.0.7 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | notatnik | 6.4.5 |
| numba | 0.55.1 | numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | opakowanie | 21,0 | Pandas | 1.3.4 |
| Pandas Profiling | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | pathy | 0.6.1 | Patsy | 0.5.2 |
| petastorm | 0.11.4 | pexpect | 4.8.0 | phik | 0.12.2 |
| pickleshare | 0.7.5 | Poduszka | 8.4.0 | pip | 21.2.4 |
| platformdirs | 2.5.2 | kreślenie | 5.6.0 | pmdarima | 1.8.5 |
| przedprzedsionek | 3.0.6 | prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 |
| prorok | 1.0.1 | protobuf | 3.19.4 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 |
| pycparser | 2,20 | pydantic (biblioteka Pythona do walidacji danych i zarządzania ustawieniami) | 1.8.2 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 |
| Python-editor | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6.0 | pyzmq | 22.2.1 | regex | 2021.8.3 |
| żądania | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| rsa | 4.8 | s3transfer | 0.5.2 | sacremoses | 0.0.53 |
| scikit-learn | 0.24.2 | scipy | 1.7.1 | seaborn | 0.11.2 |
| Send2Trash | 1.8.0 | setuptools | 58.0.4 | setuptools-git | 1.2 |
| kształt | 0.40.0 | simplejson | 3.17.6 | sześć | 1.16.0 |
| krajalnica | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
| spacy | 3.2.3 | spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 | serio | 2.4.3 |
| ssh-import-id (Import klucza SSH według ID) | 5.10 | statsmodels | 0.12.2 | tabulować | 0.8.9 |
| splątane-w-unicode | 0.1.0 | Wytrzymałość | 8.0.1 | tablica tensorboard | 2.8.0 |
| tensorboard-data-server | 0.6.1 | wtyczka TensorBoard do profilowania | 2.5.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.8.0 | tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.25.0 |
| termcolor | 1.1.0 | zakończony | 0.9.4 | ścieżka testowa | 0.5.0 |
| tf-estimator-nightly | 2.8.0.dev2021212109 | cienki | 8.0.15 | threadpoolctl | 2.2.0 |
| tokenizatory | 0.12.1 | pochodnia | 1.11.0+procesor | torchvision | 0.12.0+ procesor |
| tornado | 6.1 | tqdm | 4.62.3 | traitlets | 5.1.0 |
| Transformatory | 4.17.0 | pisarz | 0.4.1 | wpisywanie rozszerzeń | 3.10.0.2 |
| ujson | 4.0.2 | nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.26.7 |
| virtualenv | 20.8.0 | Wizje | 0.7.4 | wasabi | 0.9.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
| Werkzeug | 2.0.2 | koło | 0.37.0 | widgetsnbextension | 3.6.0 |
| owinięty | 1.12.1 | xgboost | 1.5.2 | zipp | 3.6.0 |
Biblioteki języka Python w klastrach gpu
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | asynchroniczny generator | 1.10 |
| attrs | 21.2.0 | Ponowna odpowiedź (if there is a suitable context for this translation) | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| bcrypt | 3.2.2 | wybielacz | 4.0.0 | blis | 0.7.7 |
| boto3 | 1.21.18 | botocore | 1.24.18 | cachetools | 5.1.0 |
| katalog | 2.0.7 | certyfikat | 2021.10.8 | cffi | 1.14.6 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | kliknij | 8.0.3 |
| cloudpickle | 2.0.0 | cmdstanpy | 0.9.68 | configparser | 5.2.0 |
| konwertujdatę | 2.4.0 | kryptografia | 3.4.8 | rowerzysta | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.8 |
| databricks-cli | 0.16.4 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | dekorator | 5.1.0 | defusedxml | 0.7.1 |
| koper | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.4 |
| informacje o dystrybucji | 0.23ubuntu1 | punkty wejścia | 0.3 | efem | 4.1.3 |
| aspekty — omówienie | 1.0.0 | fasttext | 0.9.2 | filelock | 3.3.1 |
| Flask | 1.1.2 | flatbuffers | 2.0 | fsspec | 2021.8.1 |
| przyszłość | 0.18.2 | gość | 0.5.3 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 |
| makaron "Google" | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.3.0 | konwerter hidżri | 2.2.3 |
| wakacje | 0,13 | horovod | 0.24.3 | htmlmin | 0.1.12 |
| Hugging Face Hub | 0.6.0 | idna | 3.2 | ImageHash | 4.2.1 |
| niezrównoważona nauka | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| isodate | 0.6.1 | to jest niebezpieczne | 2.0.1 | Jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keras | 2.8.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 |
| koreański kalendarz księżycowy | 0.2.1 | kody językowe | 3.3.0 | libclang | 14.0.1 |
| lightgbm | 3.3.2 | llvmlite | 0.38.0 | Kalendarz księżycowy | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.6 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | missingno (nazwa błędu w grze Pokémon) | 0.5.1 |
| mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.26.0 |
| multimetoda | 1.8 | MurmurHash | 1.0.7 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | notatnik | 6.4.5 |
| numba | 0.55.1 | numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | opakowanie | 21,0 | Pandas | 1.3.4 |
| Profilowanie danych za pomocą pandas | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | patia | 0.6.1 | Patsy | 0.5.2 |
| petastorm | 0.11.4 | pexpect | 4.8.0 | phik | 0.12.2 |
| pickleshare | 0.7.5 | Poduszka | 8.4.0 | pip – menedżer pakietów Python | 21.2.4 |
| platformdirs | 2.5.2 | kreślenie | 5.6.0 | pmdarima | 1.8.5 |
| [Please provide the context or intended meaning of "preshed" for a proper translation.] | 3.0.6 | prompt-toolkit | 3.0.20 | prorok | 1.0.1 |
| protobuf | 3.19.4 | psutil | 5.8.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 | pycparser | 2,20 |
| pydantic | 1.8.2 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| pyparsing | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-apt (biblioteka do zarządzania pakietami w Pythonie) | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | Python-editor | 1.0.4 |
| pytz | 2021.3 | PyWavelets | 1.1.1 | PyYAML | 6.0 |
| pyzmq | 22.2.1 | regex | 2021.8.3 | żądania | 2.26.0 |
| requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 | rsa | 4.8 |
| s3transfer | 0.5.2 | sacremoses | 0.0.53 | scikit-learn | 0.24.2 |
| scipy | 1.7.1 | seaborn | 0.11.2 | Send2Trash | 1.8.0 |
| setuptools | 58.0.4 | setuptools-git | 1.2 | Shap | 0.40.0 |
| simplejson | 3.17.6 | Sześć | 1.16.0 | krajalnica | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | przestronny/rozkojarzony (context-dependent) | 3.2.3 |
| spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | serio | 2.4.3 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | tabelować | 0.8.9 | splątane w unicode | 0.1.0 |
| Wytrzymałość | 8.0.1 | TensorBoard | 2.8.0 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.5.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.8.0 |
| tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.25.0 | termcolor | 1.1.0 |
| zakończony | 0.9.4 | ścieżka testowa | 0.5.0 | tf-estimator-nightly | 2.8.0.dev2021212109 |
| cienki | 8.0.15 | threadpoolctl | 2.2.0 | tokenizatory | 0.12.1 |
| pochodnia | 1.11.0+cu113 | torchvision | 0.12.0+cu113 | tornado | 6.1 |
| tqdm | 4.62.3 | traitlety | 5.1.0 | Transformatory | 4.17.0 |
| pisarz | 0.4.1 | wpisywanie rozszerzeń | 3.10.0.2 | ujson | 4.0.2 |
| nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| Wizje | 0.7.4 | wasabi | 0.9.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | klient websocket | 1.3.1 | Werkzeug | 2.0.2 |
| koło | 0.37.0 | widgetsnbextension | 3.6.0 | owinięty | 1.12.1 |
| xgboost | 1.5.2 | zipp | 3.6.0 |
Pakiety platformy Spark zawierające moduły języka Python
| Pakiet Spark | Moduł języka Python | Wersja |
|---|---|---|
| graphframes | graphframes | 0.8.2-db1-spark3.2 |
Biblioteki R
Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 11.0.
Biblioteki Java i Scala (klaster Scala 2.12)
Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 11.0 środowisko Databricks Runtime 11.0 ML zawiera następujące elementy JAR:
Klastry procesora CPU
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.26.0 |
| org.mlflow | mlflow-spark | 1.26.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Klastry procesora GPU
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.26.0 |
| org.mlflow | mlflow-spark | 1.26.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |