Databricks Runtime 10.5 voor Machine Learning (EoS)
Notitie
Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.
Databricks Runtime 10.5 voor Machine Learning biedt een kant-en-klare omgeving voor machine learning en gegevenswetenschap op basis van Databricks Runtime 10.5 (EoS). Databricks Runtime ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch en XGBoost. Databricks Runtime ML bevat AutoML, een hulpprogramma voor het automatisch trainen van machine learning-pijplijnen. Databricks Runtime ML biedt ook ondersteuning voor gedistribueerde Deep Learning-training met behulp van Horovod.
Zie AI en machine learning op Databricks voor meer informatie, inclusief instructies voor het maken van een Databricks Runtime ML-cluster.
Nieuwe functies en verbeteringen
Databricks Runtime 10.5 ML is gebouwd op Databricks Runtime 10.5. Zie de releaseopmerkingen van Databricks Runtime 10.5, waaronder Apache Spark MLlib en SparkR, voor informatie over wat er nieuw is in Databricks Runtime 10.5 (EoS ).
Verbeteringen aan AutoML
De volgende verbeteringen zijn aangebracht in AutoML.
- Dankzij verbeterd geheugengebruik kan AutoML trainen op grotere gegevenssets.
- Met AutoML-prognose kunt u nu de voorspellingen van het beste model exporteren naar een tabel met behulp van de API. Als
output_databasedit is opgegeven, worden voorspellingen van het beste model opgeslagen in een nieuwe tabel in de opgegeven database. De voorspellingen worden niet opgeslagen alsoutput_databasedeze niet zijn opgegeven.
Verbeteringen in Databricks Feature Store
De volgende verbeteringen zijn aangebracht in Databricks Feature Store.
- U kunt nu een bestaande functietabel verwijderen met de
drop_tableAPI. Met deze actie wordt ook de onderliggende Delta-tabel verwijderd. - U kunt nu de Python-API voor functie-engineering en werkruimtefuncties gebruiken om een tag toe te voegen aan een functietabel wanneer u deze maakt of registreert en om tags toe te voegen, bij te werken, te verwijderen of te lezen in bestaande functietabellen.
Systeemomgeving
De systeemomgeving in Databricks Runtime 10.5 ML verschilt als volgt van Databricks Runtime 10.5:
-
DBUtils: Databricks Runtime ML bevat geen bibliotheekhulpprogramma (dbutils.library) (verouderd).
Gebruik
%pipin plaats daarvan opdrachten. Zie Notebook-scoped Python libraries (Notebook-scoped Python-bibliotheken) voor meer informatie. - Voor GPU-clusters bevat Databricks Runtime ML de volgende NVIDIA GPU-bibliotheken:
- CUDA 11.0
- cuDNN 8.0.5.39
- NCCL 2.10.3
- TensorRT 7.2.2
Bibliotheken
In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 10.5 ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 10.5.
In deze sectie:
- Bibliotheken met de hoogste laag
- Python-bibliotheken
- R-bibliotheken
- Java- en Scala-bibliotheken (Scala 2.12-cluster)
Bibliotheken met de hoogste laag
Databricks Runtime 10.5 ML bevat de volgende bibliotheken met de hoogste laag:
- GraphFrames
- Horovod en HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
Python-bibliotheken
Databricks Runtime 10.5 ML maakt gebruik van Virtualenv voor Python-pakketbeheer en bevat veel populaire ML-pakketten.
Naast de pakketten die zijn opgegeven in de volgende secties, bevat Databricks Runtime 10.5 ML ook de volgende pakketten:
- hyperopt 0.2.7.db1
- sparkdl 2.2.0-db6
- feature_store 0.4.1
- automl 1.8.0
Python-bibliotheken op CPU-clusters
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 |
| argon2-cffi | 20.1.0 | Astor | 0.8.1 | astunparse | 1.6.3 |
| async-generator | 1,10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bcrypt | 3.2.0 | bidict | 0.21.4 | bleken | 3.3.0 |
| blis | 0.7.7 | boto3 | 1.16.7 | botocore | 1.19.7 |
| cachetools | 4.2.4 | catalogus | 2.0.7 | certifi | 2020.12.5 |
| cffiffi | 1.14.5 | chardet | 4.0.0 | klikken | 7.1.2 |
| cloudpickle | 1.6.0 | cmdstanpy | 0.9.68 | configparser | 5.0.1 |
| convertdate | 2.4.0 | cryptografie | 3.4.7 | wielrijder | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.23 | databricks-automl-runtime | 0.2.7 |
| databricks-cli | 0.16.4 | dbl-tempo | 0.1.2 | dbus-python | 1.2.16 |
| decorateur | 5.0.6 | defusedxml | 0.7.1 | dille | 0.3.2 |
| diskcache | 5.4.0 | distlib | 0.3.4 | distro-info | 0.23opgegeven1 |
| invoerpunten | 0,3 | kortstondige tijd | 4.1.3 | facets-overview | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.0.12 | Flask | 1.1.2 |
| flatbuffers | 2.0 | fsspec | 0.9.0 | toekomst | 0.18.2 |
| gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.12 |
| google-auth | 1.22.1 | google-auth-oauthlib | 0.4.2 | google-pasta | 0.2.0 |
| grpcio | 1.39.0 | gunicorn | 20.0.4 | gviz-api | 1.10.0 |
| h5py | 3.1.0 | hijri-converter | 2.2.3 | vakantie | 0,13 |
| horovod | 0.23.0 | htmlmin | 0.1.12 | huggingface-hub | 0.5.1 |
| idna | 2.10 | ImageHash | 4.2.1 | onevenwichtig leren | 0.8.1 |
| importlib-metadata | 3.10.0 | ipykernel | 5.3.4 | ipython | 7.22.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.6.3 | isodate | 0.6.0 |
| itsdangerous | 1.1.0 | jedi | 0.17.2 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.3.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.7.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.8.0 |
| Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 | koala's | 1.8.2 |
| koreaans-maankalender | 0.2.1 | langcodes | 3.3.0 | libclang | 13.0.0 |
| lightgbm | 3.3.2 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
| Mako | 1.1.3 | Markdown | 3.3.3 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.18.1 | mlflow-skinny | 1.24.0 | multimethod | 1.8 |
| murmurhash | 1.0.6 | nbclient | 0.5.3 | nbconvert | 6.0.7 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2.5 |
| nltk | 3.6.1 | notebook | 6.3.0 | numba | 0.55.1 |
| numpy | 1.20.1 | oauthlib | 3.1.0 | opt-einsum | 3.3.0 |
| verpakking | 21.3 | Pandas | 1.2.4 | pandas-profilering | 3.1.0 |
| pandocfilters | 1.4.3 | paramiko | 2.7.2 | parso | 0.7.0 |
| pathy | 0.6.1 | Patsy | 0.5.1 | petastorm | 0.11.4 |
| pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Kussen | 8.2.0 | pit | 21.0.1 | plotly | 5.6.0 |
| pmdarima | 1.8.5 | vooraf geslagen | 3.0.6 | prometheus-client | 0.10.1 |
| prompt-toolkit | 3.0.17 | profeet | 1.0.1 | protobuf | 3.17.2 |
| psutil | 5.8.0 | psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| pyarrow | 4.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.9.2 | pycparser | 2,20 | pydantic | 1.8.2 |
| Pygments | 2.8.1 | PyGObject | 3.36.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.30 | pyparsing | 2.4.7 |
| pyrsistent | 0.17.3 | pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 |
| python-dateutil | 2.8.1 | python-editor | 1.0.4 | python-engineio | 4.3.0 |
| python-socketio | 5.4.1 | pytz | 2020.5 | PyWavelets | 1.1.1 |
| PyYAML | 5.4.1 | pyzmq | 20.0.0 | regex | 2021.4.4 |
| requests | 2.25.1 | requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 |
| RSA | 4.8 | s3transfer | 0.3.7 | sacremoses | 0.0.49 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
| Send2Trash | 1.5.0 | setuptools | 52.0.0 | setuptools-git | 1.2 |
| Shap | 0.40.0 | simplejson | 3.17.2 | Zes | 1.15.0 |
| Slicer | 0.0.7 | slim openen | 5.2.1 | smmap | 3.0.5 |
| spatie | 3.2.3 | spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.1 | srsly | 2.4.3 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | Tabulate | 0.8.7 |
| tangled-up-in-unicode | 0.1.0 | vasthoudendheid | 6.2.0 | tensorboard | 2.8.0 |
| tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.5.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.8.0 | tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.24.0 |
| termcolor | 1.1.0 | terminado | 0.9.4 | testpath | 0.4.4 |
| tf-estimator-nightly | 2.8.0.dev2021122109 | thinc | 8.0.15 | threadpoolctl | 2.1.0 |
| tokenizers | 0.12.1 | fakkel | 1.10.2+cpu | torchvision | 0.11.3+cpu |
| tornado | 6.1 | tqdm | 4.59.0 | traitlets | 5.0.5 |
| Transformers | 4.17.0 | Typer | 0.4.1 | typen-extensies | 3.7.4.3 |
| ujson | 4.0.2 | upgrades zonder toezicht | 0,1 | urllib3 | 1.25.11 |
| virtualenv | 20.4.1 | Visioenen | 0.7.4 | wasabi | 0.9.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 0.57.0 |
| Werkzeug | 1.0.1 | wiel | 0.36.2 | widgetsnbextension | 3.5.1 |
| wrapt | 1.12.1 | xgboost | 1.5.2 | zipp | 3.4.1 |
Python-bibliotheken op GPU-clusters
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 |
| argon2-cffi | 20.1.0 | Astor | 0.8.1 | astunparse | 1.6.3 |
| async-generator | 1,10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bcrypt | 3.2.0 | bidict | 0.21.4 | bleken | 3.3.0 |
| blis | 0.7.7 | boto3 | 1.16.7 | botocore | 1.19.7 |
| cachetools | 4.2.4 | catalogus | 2.0.7 | certifi | 2020.12.5 |
| cffiffi | 1.14.5 | chardet | 4.0.0 | klikken | 7.1.2 |
| cloudpickle | 1.6.0 | cmdstanpy | 0.9.68 | configparser | 5.0.1 |
| convertdate | 2.4.0 | cryptografie | 3.4.7 | wielrijder | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.23 | databricks-automl-runtime | 0.2.7 |
| databricks-cli | 0.16.4 | dbl-tempo | 0.1.2 | dbus-python | 1.2.16 |
| decorateur | 5.0.6 | defusedxml | 0.7.1 | dille | 0.3.2 |
| diskcache | 5.4.0 | distlib | 0.3.4 | distro-info | 0.23opgegeven1 |
| invoerpunten | 0,3 | kortstondige tijd | 4.1.3 | facets-overview | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.0.12 | Flask | 1.1.2 |
| flatbuffers | 2.0 | fsspec | 0.9.0 | toekomst | 0.18.2 |
| gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.12 |
| google-auth | 1.22.1 | google-auth-oauthlib | 0.4.2 | google-pasta | 0.2.0 |
| grpcio | 1.39.0 | gunicorn | 20.0.4 | gviz-api | 1.10.0 |
| h5py | 3.1.0 | hijri-converter | 2.2.3 | vakantie | 0,13 |
| horovod | 0.23.0 | htmlmin | 0.1.12 | huggingface-hub | 0.5.1 |
| idna | 2.10 | ImageHash | 4.2.1 | onevenwichtig leren | 0.8.1 |
| importlib-metadata | 3.10.0 | ipykernel | 5.3.4 | ipython | 7.22.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.6.3 | isodate | 0.6.0 |
| itsdangerous | 1.1.0 | jedi | 0.17.2 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.3.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.7.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.8.0 |
| Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 | koala's | 1.8.2 |
| koreaans-maankalender | 0.2.1 | langcodes | 3.3.0 | libclang | 13.0.0 |
| lightgbm | 3.3.2 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
| Mako | 1.1.3 | Markdown | 3.3.3 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.18.1 | mlflow-skinny | 1.24.0 | multimethod | 1.8 |
| murmurhash | 1.0.6 | nbclient | 0.5.3 | nbconvert | 6.0.7 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2.5 |
| nltk | 3.6.1 | notebook | 6.3.0 | numba | 0.55.1 |
| numpy | 1.20.1 | oauthlib | 3.1.0 | opt-einsum | 3.3.0 |
| verpakking | 21.3 | Pandas | 1.2.4 | pandas-profilering | 3.1.0 |
| pandocfilters | 1.4.3 | paramiko | 2.7.2 | parso | 0.7.0 |
| pathy | 0.6.1 | Patsy | 0.5.1 | petastorm | 0.11.4 |
| pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Kussen | 8.2.0 | pit | 21.0.1 | plotly | 5.6.0 |
| pmdarima | 1.8.5 | vooraf geslagen | 3.0.6 | prompt-toolkit | 3.0.17 |
| profeet | 1.0.1 | protobuf | 3.17.2 | psutil | 5.8.0 |
| psycopg2 | 2.8.5 | ptyprocess | 0.7.0 | pyarrow | 4.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 |
| pycparser | 2,20 | pydantic | 1.8.2 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.30 | pyparsing | 2.4.7 | pyrsistent | 0.17.3 |
| pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.1 |
| python-editor | 1.0.4 | python-engineio | 4.3.0 | python-socketio | 5.4.1 |
| pytz | 2020.5 | PyWavelets | 1.1.1 | PyYAML | 5.4.1 |
| pyzmq | 20.0.0 | regex | 2021.4.4 | requests | 2.25.1 |
| requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 | RSA | 4.8 |
| s3transfer | 0.3.7 | sacremoses | 0.0.49 | scikit-learn | 0.24.1 |
| scipy | 1.6.2 | seaborn | 0.11.1 | Send2Trash | 1.5.0 |
| setuptools | 52.0.0 | setuptools-git | 1.2 | Shap | 0.40.0 |
| simplejson | 3.17.2 | Zes | 1.15.0 | Slicer | 0.0.7 |
| slim openen | 5.2.1 | smmap | 3.0.5 | spatie | 3.2.3 |
| spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.1 | srsly | 2.4.3 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | Tabulate | 0.8.7 | tangled-up-in-unicode | 0.1.0 |
| vasthoudendheid | 6.2.0 | tensorboard | 2.8.0 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.5.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.8.0 |
| tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.24.0 | termcolor | 1.1.0 |
| terminado | 0.9.4 | testpath | 0.4.4 | tf-estimator-nightly | 2.8.0.dev2021122109 |
| thinc | 8.0.15 | threadpoolctl | 2.1.0 | tokenizers | 0.12.1 |
| fakkel | 1.10.2+cu113 | torchvision | 0.11.3+cu113 | tornado | 6.1 |
| tqdm | 4.59.0 | traitlets | 5.0.5 | Transformers | 4.17.0 |
| Typer | 0.4.1 | typen-extensies | 3.7.4.3 | ujson | 4.0.2 |
| upgrades zonder toezicht | 0,1 | urllib3 | 1.25.11 | virtualenv | 20.4.1 |
| Visioenen | 0.7.4 | wasabi | 0.9.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 0.57.0 | Werkzeug | 1.0.1 |
| wiel | 0.36.2 | widgetsnbextension | 3.5.1 | wrapt | 1.12.1 |
| xgboost | 1.5.2 | zipp | 3.4.1 |
Spark-pakketten met Python-modules
| Spark-pakket | Python-module | Versie |
|---|---|---|
| graphframes | graphframes | 0.8.2-db1-spark3.2 |
R-bibliotheken
De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 10.5.
Java- en Scala-bibliotheken (Scala 2.12-cluster)
Naast Java- en Scala-bibliotheken in Databricks Runtime 10.5 bevat Databricks Runtime 10.5 ML de volgende JAR's:
CPU-clusters
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.24.0 |
| org.mlflow | mlflow-spark | 1.24.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-clusters
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.24.0 |
| org.mlflow | mlflow-spark | 1.24.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |