Databricks Runtime 5.0 ML (EoS)
Kommentar
Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.
Databricks släppte den här versionen i november 2018.
Databricks Runtime 5.0 ML tillhandahåller en färdig miljö för maskininlärning och datavetenskap. Den innehåller många populära bibliotek, inklusive TensorFlow, Keras och XGBoost. Den stöder även distribuerad TensorFlow-träning med Horovod.
Mer information, inklusive instruktioner för att skapa ett Databricks Runtime ML-kluster, finns i AI och maskininlärning på Databricks.
Nya funktioner
Databricks Runtime 5.0 ML bygger på Databricks Runtime 5.0. Information om nyheter i Databricks Runtime 5.0 finns i viktig information om Databricks Runtime 5.0 (EoS). Förutom de nya funktionerna i Databricks Runtime 5.0 innehåller Databricks Runtime 5.0 ML följande nya funktioner:
- HorovodRunner för att köra distribuerade djupinlärningsträningsjobb med Horovod.
- Conda-stöd för pakethantering.
- MLeap-integrering .
- GraphFrames-integrering .
Kommentar
Databricks Runtime ML-versioner hämtar alla underhållsuppdateringar till basversionen av Databricks Runtime. En lista över alla underhållsuppdateringar finns i Underhållsuppdateringar för Databricks Runtime (arkiverad).
Systemmiljö
Skillnaden i systemmiljö i Databricks Runtime 5.0 och i Databricks Runtime 5.0 ML är:
- Python: 2.7.15 för Python 2-kluster och 3.6.5 för Python 3-kluster.
- Följande NVIDIA GPU-bibliotek för GPU-kluster:
- Tesla-förare 396,44
- CUDA 9.2
- CUDNN 7.2.1
Bibliotek
Skillnaderna i biblioteken som ingår i Databricks Runtime 5.0 och de som ingår i Databricks Runtime 5.0 ML visas i det här avsnittet.
Python-bibliotek
Databricks Runtime 5.0 ML använder Conda för Python-pakethantering. Följande är den fullständiga listan över tillhandahållna Python-paket och versioner som installerats med Conda-pakethanteraren.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| Astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.4 | blekmedel | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| certifi | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | configparser | 3.5.0 |
| kryptografi | 2.2.2 | cyklist | 0.10.0 | Cython | 0.28.2 |
| dekoratör | 4.3.0 | docutils | 0,14 | entrypoints | 0.2.3 |
| uppräkning 34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | Terminer | 3.2.0 |
| Gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.15.0 | html5lib | 1.0.1 | idna | 2,6 |
| ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-förbearbetning | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | mistune | 0.8.3 | mleap | 0.8.1 |
| håna | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | näsa | 1.3.7 | näsa-exkludera | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | Pandas | 0.23.0 | pandocfilter | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | Patsy | 0.5.0 |
| pbr | 5.1.0 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| Kudde | 5.1.0 | pip | 10.0.1 | Ply | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | pyarrow | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | begäranden | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1,7 | scikit-learn | 0.19.1 |
| scipy | 1.1.0 | seaborn | 0.8.1 | setuptools | 39.1.0 |
| simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | sex | 1.11.0 |
| statsmodels | 0.9.0 | subprocess32 | 3.5.3 | tensorboard | 1.10.0 |
| tensorflow | 1.10.0 | termcolor | 1.1.0 | testpath | 0.3.1 |
| tromb | 5.0.2 | traceback2 | 1.4.0 | traitlets | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | webencodings | 0.5.1 | Werkzeug | 0.14.1 |
| hjul | 0.31.1 | wrapt | 1.10.11 | wsgiref | 0.1.2 |
Dessutom innehåller följande Spark-paket Python-moduler:
| Spark-paket | Python-modul | Version |
|---|---|---|
| tensorframes | tensorframes | 0.5.0-s_2.11 |
| graphframes | graphframes | 0.6.0-db3-spark2.4 |
| spark-deep-learning | sparkdl | 1.3.0-db2-spark2.4 |
R-bibliotek
R-biblioteken är identiska med R-bibliotek på Databricks Runtime 5.0.
Java- och Scala-bibliotek (Scala 2.11-kluster)
Förutom Java- och Scala-bibliotek i Databricks Runtime 5.0 innehåller Databricks Runtime 5.0 ML följande JAR:er:
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.databricks | spark-deep-learning | 1.3.0-db2-spark2.4 |
| org.tensorframes | tensorframes | 0.5.0-s_2.11 |
| org.graphframes | graphframes_2.11 | 0.6.0-db3-spark2.4 |
| org.tensorflow | libtensorflow | 1.10.0 |
| org.tensorflow | libtensorflow_jni | 1.10.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.10.0-spark2.4-001 |
| org.tensorflow | tensorflow | 1.10.0 |
| ml.dmlc | xgboost4j | 0.80 |
| ml.dmlc | xgboost4j-spark | 0.80 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0-SNAPSHOT |