Databricks Runtime 5.2 ML
Databricks släppte den här versionen i januari 2019.
Databricks Runtime 5.2 ML tillhandahåller en färdig miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 5.2 (EoS). Databricks Runtime för ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch, Keras och XGBoost. Den stöder även distribuerad TensorFlow-träning med Horovod.
Mer information, inklusive instruktioner för att skapa ett Databricks Runtime ML-kluster, finns i AI och maskininlärning på Databricks.
Nya funktioner
Databricks Runtime 5.2 ML bygger på Databricks Runtime 5.2. Information om nyheter i Databricks Runtime 5.2 finns i viktig information om Databricks Runtime 5.2 (EoS). Förutom biblioteksuppdateringar introducerar Databricks Runtime 5.2 ML följande nya funktioner:
- GraphFrames stöder nu Pregel API (Python) med Databricks prestandaoptimeringar.
- HorovodRunner lägger till:
- I ett GPU-kluster mappas träningsprocesser till GPU:er i stället för arbetsnoder för att förenkla stödet för instanstyper för flera GPU:er. Med det här inbyggda stödet kan du distribuera till alla GPU:er på en dator med flera GPU:er utan anpassad kod.
HorovodRunner.run()returnerar nu returvärdet från den första träningsprocessen.
Kommentar
Databricks Runtime ML-versioner hämtar alla underhållsuppdateringar till basversionen av Databricks Runtime. En lista över alla underhållsuppdateringar finns i Underhållsuppdateringar för Databricks Runtime (arkiverad).
Systemmiljö
Systemmiljön i Databricks Runtime 5.2 ML skiljer sig från Databricks Runtime 5.2 på följande sätt:
- Python: 2.7.15 för Python 2-kluster och 3.6.5 för Python 3-kluster.
- DBUtils: Databricks Runtime 5.2 ML innehåller inte biblioteksverktyget (dbutils.library) (äldre).
- Följande NVIDIA GPU-bibliotek för GPU-kluster:
- Tesla-förare 396,44
- CUDA 9.2
- CUDNN 7.2.1
Bibliotek
I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 5.2 ML som skiljer sig från de som ingår i Databricks Runtime 5.2.
Python-bibliotek
Databricks Runtime 5.2 ML använder Conda för Python-pakethantering. Därför finns det stora skillnader i förinstallerade Python-bibliotek jämfört med Databricks Runtime. Följande är en fullständig lista över tillhandahållna Python-paket och versioner som installerats med Conda-pakethanteraren.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| Astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.5 | blekmedel | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| certifi | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | configparser | 3.5.0 |
| kryptografi | 2.2.2 | cyklist | 0.10.0 | Cython | 0.28.2 |
| dekoratör | 4.3.0 | docutils | 0,14 | entrypoints | 0.2.3 |
| uppräkning 34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | Terminer | 3.2.0 |
| Gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.15.2 | html5lib | 1.0.1 | idna | 2,6 |
| ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-förbearbetning | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | mistune | 0.8.3 | mleap | 0.8.1 |
| håna | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | näsa | 1.3.7 | näsa-exkludera | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | Pandas | 0.23.0 | pandocfilter | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | Patsy | 0.5.0 |
| pbr | 5.1.1 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| Kudde | 5.1.0 | pip | 10.0.1 | Ply | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | pyarrow | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | begäranden | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1,7 | scikit-learn | 0.19.1 |
| scipy | 1.1.0 | seaborn | 0.8.1 | setuptools | 39.1.0 |
| simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | sex | 1.11.0 |
| statsmodels | 0.9.0 | subprocess32 | 3.5.3 | tensorboard | 1.12.2 |
| tensorboardX | 1.4 | tensorflow | 1.12.0 | termcolor | 1.1.0 |
| testpath | 0.3.1 | fackla | 0.4.1 | torchvision | 0.2.1 |
| tromb | 5.0.2 | traceback2 | 1.4.0 | traitlets | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | webencodings | 0.5.1 | Werkzeug | 0.14.1 |
| hjul | 0.31.1 | wrapt | 1.10.11 | wsgiref | 0.1.2 |
Dessutom innehåller följande Spark-paket Python-moduler:
| Spark-paket | Python-modul | Version |
|---|---|---|
| graphframes | graphframes | 0.7.0-db1-spark2.4 |
| spark-deep-learning | sparkdl | 1.5.0-db1-spark2.4 |
| tensorframes | tensorframes | 0.6.0-s_2.11 |
R-bibliotek
R-biblioteken är identiska med R-biblioteken i Databricks Runtime 5.2.
Java- och Scala-bibliotek (Scala 2.11-kluster)
Förutom Java- och Scala-bibliotek i Databricks Runtime 5.2 innehåller Databricks Runtime 5.2 ML följande JAR:er:
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.databricks | spark-deep-learning | 1.5.0-db1-spark2.4 |
| com.typesafe.akka | akka-actor_2.11 | 2.3.11 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |
| ml.dmlc | xgboost4j | 0,81 |
| ml.dmlc | xgboost4j-spark | 0,81 |
| org.graphframes | graphframes_2.11 | 0.7.0-db1-spark2.4 |
| org.tensorflow | libtensorflow | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | tensorflow | 1.12.0 |
| org.tensorframes | tensorframes | 0.6.0-s_2.11 |