Databricks Runtime 11.1 pro Machine Learning (EoS)
Poznámka:
Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Všechny podporované verze databricks Runtime najdete v poznámkách k verzi Databricks Runtime a kompatibilitu.
Databricks Runtime 11.1 pro Machine Learning poskytuje připravené prostředí pro strojové učení a datové vědy založené na databricks Runtime 11.1 (EoS). Databricks Runtime ML obsahuje mnoho oblíbených knihoven strojového učení, včetně TensorFlow, PyTorch a XGBoost. Databricks Runtime ML zahrnuje AutoML, nástroj pro automatické trénování kanálů strojového učení. Databricks Runtime ML také podporuje distribuované trénování hlubokého učení pomocí Horovodu.
Další informace, včetně pokynů k vytvoření clusteru Databricks Runtime ML, najdete v tématu AI a strojové učení v Databricks.
Nové funkce a vylepšení
Databricks Runtime 11.1 ML je postaven na Databricks Runtime 11.1. Informace o novinkách v Databricks Runtime 11.1, včetně Apache Spark MLlib a SparkR, najdete ve zprávě k vydání verze Databricks Runtime 11.1 (EoS).
Vylepšení autoML
V AutoML jsme provedli následující vylepšení.
- Když AutoML zjistí, že problém klasifikace je binární, vypočítá metriky binární klasifikace a odvodí kladnou třídu problému. Kladnou třídu můžete také zadat pomocí nového
pos_labelparametru. Podrobnosti najdete v referenčních informacích k rozhraní Python API pro AutoML. - V případě problémů s prognózami teď AutoML dokáže zpracovat scénář, ve kterém je horizont dlouhý vzhledem k časovému rozsahu trénovacích dat.
Vylepšení úložiště funkcí Databricks
V úložišti funkcí Databricks jsme provedli následující vylepšení.
Zdroje dat tabulky funkcí teď můžete aktualizovat ručně pomocí rozhraní Python API úložiště funkcí.
Tabulky funkcí offline teď můžete publikovat do služby Azure Cosmos DB pro online vyhledávání s nízkou latencí. Podívejte se na funkce publikování v online obchodě a publikování funkcí časových řad do online obchodu.
Prostředí systému
Systémové prostředí v Databricks Runtime 11.1 ML se liší od Databricks Runtime 11.1 následujícím způsobem:
- DBUtils: Databricks Runtime ML nezahrnuje nástroj knihovny (dbutils.library) (starší verze).
Místo toho použijte
%pippříkazy. Další informace najdete v tématu Knihovny Pythonu v rámci poznámkových bloků - Pro clustery GPU zahrnuje Databricks Runtime ML následující knihovny NVIDIA GPU:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Knihovny
Následující části obsahují seznam knihoven zahrnutých v Databricks Runtime 11.1 ML, které se liší od knihoven zahrnutých v Databricks Runtime 11.1.
V této části:
- Knihovny nejvyšší úrovně
- Knihovny Pythonu
- Knihovny jazyka R
- Knihovny Java a Scala (cluster Scala 2.12)
Knihovny nejvyšší úrovně
Databricks Runtime 11.1 ML obsahuje následující knihovny nejvyšší úrovně:
- GraphFrames
- Horovod a HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
Knihovny Pythonu
Databricks Runtime 11.1 ML používá Virtualenv pro správu balíčků Pythonu a obsahuje mnoho oblíbených balíčků ML.
Kromě balíčků uvedených v následujících částech obsahuje Databricks Runtime 11.1 ML také následující balíčky:
- hyperopt 0.2.7.db1
- sparkdl 2.2.0-db6
- feature_store 0.5.0
- automl 1.11.0
Knihovny Pythonu v clusterech procesorů
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1,10 |
| attrs | 21.2.0 | Azure-Core | 1.22.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | šifra | 3.2.2 |
| bělit | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | katalog | 2.0.7 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | kliknutí | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | configparser | 5.2.0 | convertdate | 2.4.0 |
| kryptografie | 3.4.8 | cyklista | 0.10.0 | cymem | 2.0.6 |
| Cython | 0.29.24 | databricks-automl-runtime | 0.2.9.1 | Databricks-cli | 0.16.8 |
| dbl-tempo | 0.1.12 | dbus-python | 1.2.16 | ladění | 1.4.1 |
| dekoratér | 5.1.0 | defusedxml | 0.7.1 | kopr | 0.3.4 |
| diskcache | 5.4.0 | distlib | 0.3.4 | informace o distribuci | 0.23ubuntu1 |
| vstupní body | 0.3 | ephem | 4.1.3 | přehled omezujících vlastností | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | budoucnost | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | prázdniny | 0.14.2 |
| horovod | 0.24.3 | htmlmin | 0.1.12 | huggingface-hub | 0.8.1 |
| idna | 3.2 | ImageHash | 4.2.1 | nevyvážené učení | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| jehodangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgety | 1.0.0 | keras | 2.9.0 |
| Předběžné zpracování Kerasu | 1.1.2 | verizonsolver | 1.3.1 | korejský lunární kalendář | 0.2.1 |
| langcodes | 3.3.0 | libclang | 14.0.1 | lightgbm | 3.3.2 |
| llvmlite | 0.38.1 | LunárníCalendar | 0.0.9 | Druh žraloka | 1.2.0 |
| Markdown | 3.3.6 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | špatně zamyšlení | 0.8.4 |
| mleap | 0.20.0 | mlflow-hubená | 1.27.0 | multimethod | 1.8 |
| murmurhash | 1.0.7 | nbclient | 0.5.3 | nbconvert | 6.1.0 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2.6.3 |
| nltk | 3.6.5 | poznámkový blok | 6.4.5 | numba | 0.55.2 |
| numpy | 1.20.3 | oauthlib | 3.2.0 | opt-einsum | 3.3.0 |
| balení | 21.0 | pandas | 1.3.4 | profilace pandas | 3.1.0 |
| pandocfilters | 1.4.3 | paramiko | 2.9.2 | parso | 0.8.2 |
| pathy | 0.6.2 | bábovka | 0.5.2 | petastorm | 0.11.4 |
| pexpect | 4.8.0 | Phik | 0.12.2 | pickleshare | 0.7.5 |
| Polštář | 8.4.0 | jádro | 21.2.4 | platformdirs | 2.5.2 |
| plotly | 5.8.2 | pmdarima | 1.8.5 | předběžně připravený | 3.0.6 |
| prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | prorok | 1.0.1 |
| protobuf | 3.19.4 | psutil | 5.8.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 | pycparser | 2,20 |
| pydantic | 1.8.2 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| PyJWT | 2.4.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 |
| python-editor | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6.0 | pyzmq | 22.2.1 | regex | 2021.8.3 |
| žádosti | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| rsa | 4.8 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
| scipy | 1.7.1 | seaborn | 0.11.2 | Send2Trash | 1.8.0 |
| setuptools | 58.0.4 | setuptools-git | 1.2 | Shap | 0.40.0 |
| simplejson | 3.17.6 | Šest | 1.16.0 | kráječ | 0.0.7 |
| inteligentní otevření | 5.2.1 | smmap | 5.0.0 | spacy | 3.3.1 |
| spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.3 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | sestavit v tabulku | 0.8.9 | tangled-up-in-unicode | 0.1.0 |
| houževnatost | 8.0.1 | tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow-cpu | 2.9.1 |
| tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.26.0 | termcolor | 1.1.0 |
| terminado | 0.9.4 | testpath | 0.5.0 | tenká | 8.0.17 |
| threadpoolctl | 2.2.0 | tokenizátory | 0.12.1 | pochodeň | 1.11.0+cpu |
| torchvision | 0.12.0+cpu | tornádo | 6.1 | tqdm | 4.62.3 |
| vlastnosti | 5.1.0 | Transformátory | 4.20.0 | Typer | 0.4.2 |
| typing-extensions | 3.10.0.2 | ujson | 4.0.2 | bezobslužné upgrady | 0,1 |
| urllib3 | 1.26.7 | virtualenv | 20.8.0 | vize | 0.7.4 |
| wasabi | 0.9.1 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 1.3.1 | Werkzeug | 2.0.2 | kolo | 0.37.0 |
| widgetsnbextension | 3.6.0 | wrapt | 1.12.1 | xgboost | 1.5.2 |
| zipp | 3.6.0 |
Knihovny Pythonu v clusterech GPU
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1,10 |
| attrs | 21.2.0 | Azure-Core | 1.22.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | šifra | 3.2.2 |
| bělit | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | katalog | 2.0.7 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | kliknutí | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | configparser | 5.2.0 | convertdate | 2.4.0 |
| kryptografie | 3.4.8 | cyklista | 0.10.0 | cymem | 2.0.6 |
| Cython | 0.29.24 | databricks-automl-runtime | 0.2.9.1 | Databricks-cli | 0.16.8 |
| dbl-tempo | 0.1.12 | dbus-python | 1.2.16 | ladění | 1.4.1 |
| dekoratér | 5.1.0 | defusedxml | 0.7.1 | kopr | 0.3.4 |
| diskcache | 5.4.0 | distlib | 0.3.4 | informace o distribuci | 0.23ubuntu1 |
| vstupní body | 0.3 | ephem | 4.1.3 | přehled omezujících vlastností | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | budoucnost | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | prázdniny | 0.14.2 |
| horovod | 0.24.3 | htmlmin | 0.1.12 | huggingface-hub | 0.8.1 |
| idna | 3.2 | ImageHash | 4.2.1 | nevyvážené učení | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| jehodangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgety | 1.0.0 | keras | 2.9.0 |
| Předběžné zpracování Kerasu | 1.1.2 | verizonsolver | 1.3.1 | korejský lunární kalendář | 0.2.1 |
| langcodes | 3.3.0 | libclang | 14.0.1 | lightgbm | 3.3.2 |
| llvmlite | 0.38.1 | LunárníCalendar | 0.0.9 | Druh žraloka | 1.2.0 |
| Markdown | 3.3.6 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | špatně zamyšlení | 0.8.4 |
| mleap | 0.20.0 | mlflow-hubená | 1.27.0 | multimethod | 1.8 |
| murmurhash | 1.0.7 | nbclient | 0.5.3 | nbconvert | 6.1.0 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2.6.3 |
| nltk | 3.6.5 | poznámkový blok | 6.4.5 | numba | 0.55.2 |
| numpy | 1.20.3 | oauthlib | 3.2.0 | opt-einsum | 3.3.0 |
| balení | 21.0 | pandas | 1.3.4 | profilace pandas | 3.1.0 |
| pandocfilters | 1.4.3 | paramiko | 2.9.2 | parso | 0.8.2 |
| pathy | 0.6.2 | bábovka | 0.5.2 | petastorm | 0.11.4 |
| pexpect | 4.8.0 | Phik | 0.12.2 | pickleshare | 0.7.5 |
| Polštář | 8.4.0 | jádro | 21.2.4 | platformdirs | 2.5.2 |
| plotly | 5.8.2 | pmdarima | 1.8.5 | předběžně připravený | 3.0.6 |
| prompt-toolkit | 3.0.20 | prorok | 1.0.1 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.9.2 | pycparser | 2,20 | pydantic | 1.8.2 |
| Pygments | 2.10.0 | PyGObject | 3.36.0 | PyJWT | 2.4.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| pyparsing | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | python-editor | 1.0.4 |
| pytz | 2021.3 | PyWavelets | 1.1.1 | PyYAML | 6.0 |
| pyzmq | 22.2.1 | regex | 2021.8.3 | žádosti | 2.26.0 |
| requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 | rsa | 4.8 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| setuptools-git | 1.2 | Shap | 0.40.0 | simplejson | 3.17.6 |
| Šest | 1.16.0 | kráječ | 0.0.7 | inteligentní otevření | 5.2.1 |
| smmap | 5.0.0 | spacy | 3.3.1 | spacy-legacy | 3.0.9 |
| spacy-loggers | 1.0.2 | spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 |
| srsly | 2.4.3 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| sestavit v tabulku | 0.8.9 | tangled-up-in-unicode | 0.1.0 | houževnatost | 8.0.1 |
| tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 |
| tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.9.1 | tensorflow-estimator | 2.9.0 |
| tensorflow-io-gcs-filesystem | 0.26.0 | termcolor | 1.1.0 | terminado | 0.9.4 |
| testpath | 0.5.0 | tenká | 8.0.17 | threadpoolctl | 2.2.0 |
| tokenizátory | 0.12.1 | pochodeň | 1.11.0+cu113 | torchvision | 0.12.0+cu113 |
| tornádo | 6.1 | tqdm | 4.62.3 | vlastnosti | 5.1.0 |
| Transformátory | 4.20.0 | Typer | 0.4.2 | typing-extensions | 3.10.0.2 |
| ujson | 4.0.2 | bezobslužné upgrady | 0,1 | urllib3 | 1.26.7 |
| virtualenv | 20.8.0 | vize | 0.7.4 | wasabi | 0.9.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
| Werkzeug | 2.0.2 | kolo | 0.37.0 | widgetsnbextension | 3.6.0 |
| wrapt | 1.12.1 | xgboost | 1.5.2 | zipp | 3.6.0 |
Balíčky Spark obsahující moduly Pythonu
| Balíček Spark | Modul Pythonu | Verze |
|---|---|---|
| graphframes | graphframes | 0.8.2-db1-spark3.2 |
Knihovny jazyka R
Knihovny jazyka R jsou identické s knihovnami jazyka R v Databricks Runtime 11.1.
Knihovny Java a Scala (cluster Scala 2.12)
Kromě knihoven Java a Scala v Databricks Runtime 11.1 obsahuje Databricks Runtime 11.1 ML následující jary:
Clustery procesoru
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.27.0 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Clustery GPU
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.27.0 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |