Databricks Runtime 5.0 ML (EoS)
Hinweis
Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Den End-of-Support-Termin finden Sie im Verlauf des Supportendes. Alle unterstützten Versionen von Databricks Runtime finden Sie unter Versionshinweise, Versionen und Kompatibilität von Databricks Runtime.
Diese Version wurde von Databricks im November 2018 veröffentlicht.
Databricks Runtime 5.0 ML bietet eine einsatzbereite Umgebung für Machine Learning und Data Science. Diese umfasst viele gängige Bibliotheken, darunter TensorFlow, Keras und XGBoost. Außerdem unterstützt die Umgebung verteiltes TensorFlow-Training mit Horovod.
Weitere Informationen, einschließlich Anweisungen zum Erstellen eines Databricks Runtime ML-Clusters, finden Sie unter KI und Machine Learning in Databricks.
Neue Funktionen
Databricks Runtime 5.0 ML basiert auf Databricks Runtime 5.0. Informationen zu den Neuerungen in Databricks Runtime 5.0 finden Sie in den Versionshinweisen zu Databricks Runtime 5.0 (EoS). Neben den neuen Features in Databricks Runtime 5.0 enthält Databricks Runtime 5.0 ML die folgenden neuen Features:
- HorovodRunner für die Ausführung verteilter Deep Learning-Trainingsaufträge mit Horovod
- Unterstützung von Conda für die Paketverwaltung.
- Integration von MLeap.
- Integration von GraphFrames.
Hinweis
Databricks Runtime ML-Releases nehmen alle Wartungsupdates für die Databricks Runtime-Basisversion auf. Eine Liste aller Wartungsupdates finden Sie unter Wartungsupdates für Databricks Runtime (archiviert).
Systemumgebung
Die Systemumgebung in Databricks Runtime 5.0 und in Databricks Runtime 5.0 ML unterscheidet sich wie folgt:
- Python: 2.7.15 für Python 2-Cluster und 3.6.5 für Python 3-Cluster
- Für GPU-Cluster sind die folgenden NVIDIA-GPU-Bibliotheken verfügbar:
- Tesla-Treiber 396.44
- CUDA 9.2
- CUDNN 7.2.1
Bibliotheken
Die Unterschiede in den Bibliotheken, die in Databricks Runtime 5.0 und in Databricks Runtime 5.0 ML enthalten sind, werden in diesem Abschnitt aufgeführt.
Python-Bibliotheken
Databricks Runtime 5.0 ML verwendet Conda für die Python-Paketverwaltung. Im Folgenden ist die vollständige Liste der bereitgestellten Python-Pakete und -Versionen aufgeführt, die mit dem Conda-Paket-Manager installiert wurden.
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.4 | bleach | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| certifi | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | configparser | 3.5.0 |
| cryptography | 2.2.2 | cycler | 0.10.0 | Cython | 0.28.2 |
| decorator | 4.3.0 | docutils | 0.14 | entrypoints | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | futures | 3.2.0 |
| gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.15.0 | html5lib | 1.0.1 | idna | 2.6 |
| ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2,10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | mistune | 0.8.3 | mleap | 0.8.1 |
| mock | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | nose | 1.3.7 | nose-exclude | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | Pandas | 0.23.0 | pandocfilters | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | patsy | 0.5.0 |
| pbr | 5.1.0 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| Pillow | 5.1.0 | pip | 10.0.1 | ply | 3,11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | pyarrow | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2,18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | Python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3,12 | pyzmq | 17.0.0 | requests | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1.7 | scikit-learn | 0.19.1 |
| scipy | 1.1.0 | seaborn | 0.8.1 | setuptools | 39.1.0 |
| simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | sechs | 1.11.0 |
| statsmodels | 0.9.0 | subprocess32 | 3.5.3 | tensorboard | 1.10.0 |
| tensorflow | 1.10.0 | termcolor | 1.1.0 | testpath | 0.3.1 |
| tornado | 5.0.2 | traceback2 | 1.4.0 | traitlets | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | webencodings | 0.5.1 | Werkzeug | 0.14.1 |
| wheel | 0.31.1 | wrapt | 1.10.11 | wsgiref | 0.1.2 |
Darüber hinaus enthalten die folgenden Spark-Pakete Python-Module:
| Spark-Paket | Python-Modul | Version |
|---|---|---|
| tensorframes | tensorframes | 0.5.0-s_2.11 |
| graphframes | graphframes | 0.6.0-db3-spark2.4 |
| spark-deep-learning | sparkdl | 1.3.0-db2-spark2.4 |
R-Bibliotheken
Die R-Bibliotheken sind mit den R-Bibliotheken in Databricks Runtime 5.0 identisch.
Java- und Scala-Bibliotheken (Scala 2.11-Cluster)
Neben den Java- und Scala-Bibliotheken in Databricks Runtime 5.0 enthält Databricks Runtime 5.0 ML die folgenden JAR-Dateien:
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.databricks | spark-deep-learning | 1.3.0-db2-spark2.4 |
| org.tensorframes | tensorframes | 0.5.0-s_2.11 |
| org.graphframes | graphframes_2.11 | 0.6.0-db3-spark2.4 |
| org.tensorflow | libtensorflow | 1.10.0 |
| org.tensorflow | libtensorflow_jni | 1.10.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.10.0-spark2.4-001 |
| org.tensorflow | tensorflow | 1.10.0 |
| ml.dmlc | xgboost4j | 0.80 |
| ml.dmlc | xgboost4j-spark | 0.80 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0-SNAPSHOT |