Databricks Runtime 5.1 ML (EoS)
Notitie
Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.
Databricks heeft deze versie uitgebracht in december 2018.
Databricks Runtime 5.1 ML biedt een kant-en-klare omgeving voor machine learning en gegevenswetenschap op basis van Databricks Runtime 5.1 (EoS). Databricks Runtimes voor ML bevatten veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch, Keras en XGBoost. Het ondersteunt ook gedistribueerde TensorFlow-training met behulp van Horovod.
Zie AI en machine learning op Databricks voor meer informatie, inclusief instructies voor het maken van een Databricks Runtime ML-cluster.
Nieuwe functies
Databricks Runtime 5.1 ML is gebaseerd op Databricks Runtime 5.1. Zie de releaseopmerkingen van Databricks Runtime 5.1 (Databricks Runtime 5.1) voor meer informatie over wat er nieuw is in Databricks Runtime 5.1. Naast de updates voor bestaande bibliotheken in bibliotheken bevat Databricks Runtime 5.1 ML de volgende nieuwe functies:
- PyTorch voor het bouwen van deep learning-netwerken.
Notitie
Databricks Runtime ML-releases halen alle onderhoudsupdates op voor de databricks Runtime-basisrelease. Zie Onderhoudsupdates voor Databricks Runtime (gearchiveerd) voor een lijst met alle onderhoudsupdates.
Systeemomgeving
Het verschil in de systeemomgeving in Databricks Runtime 5.1 en dat in Databricks Runtime 5.1 ML is:
- Python: 2.7.15 voor Python 2-clusters en 3.6.5 voor Python 3-clusters.
- DBUtils: Databricks Runtime 5.1 ML bevat geen bibliotheekhulpprogramma (dbutils.library) (verouderd).
- Voor GPU-clusters zijn de volgende NVIDIA GPU-bibliotheken:
- Tesla bestuurder 396.44
- CUDA 9.2
- CUDNN 7.2.1
Bibliotheken
De verschillen in de bibliotheken die zijn opgenomen in Databricks Runtime 5.1 en de bibliotheken die zijn opgenomen in Databricks Runtime 5.1 ML, worden in deze sectie vermeld.
Python-bibliotheken
Databricks Runtime 5.1 ML maakt gebruik van Conda voor Python-pakketbeheer. Als gevolg hiervan zijn er grote wijzigingen in vooraf geïnstalleerde Python-bibliotheken in vergelijking met Databricks Runtime. Hieronder volgt de volledige lijst met opgegeven Python-pakketten en -versies die zijn geïnstalleerd met Conda-pakketbeheer.
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| Astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.4 | bleken | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| certifi | 2018.04.16 | cffiffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | configparser | 3.5.0 |
| cryptografie | 2.2.2 | wielrijder | 0.10.0 | Cython | 0.28.2 |
| decorateur | 4.3.0 | docutils | 0,14 | invoerpunten | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | Futures | 3.2.0 |
| gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.15.0 | html5lib | 1.0.1 | idna | 2.6 |
| ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | mistune | 0.8.3 | mleap | 0.8.1 |
| bespotten | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | neus | 1.3.7 | neus-uitsluiten | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | Pandas | 0.23.0 | pandocfilters | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | Patsy | 0.5.0 |
| pbr | 5.1.1 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| Kussen | 5.1.0 | pit | 10.0.1 | Ply | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | pyarrow | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | requests | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1,7 | scikit-learn | 0.19.1 |
| scipy | 1.1.0 | seaborn | 0.8.1 | setuptools | 39.1.0 |
| simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | Zes | 1.11.0 |
| statsmodels | 0.9.0 | subproces32 | 3.5.3 | tensorboard | 1.12.0 |
| tensorboardX | 1.4 | tensorflow | 1.12.0 | termcolor | 1.1.0 |
| testpath | 0.3.1 | fakkel | 0.4.1 | torchvision | 0.2.1 |
| tornado | 5.0.2 | traceback2 | 1.4.0 | traitlets | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | webencodings | 0.5.1 | Werkzeug | 0.14.1 |
| wiel | 0.31.1 | wrapt | 1.10.11 | wsgiref | 0.1.2 |
Daarnaast bevatten de volgende Spark-pakketten Python-modules:
| Spark-pakket | Python-module | Versie |
|---|---|---|
| tensorframes | tensorframes | 0.6.0-s_2.11 |
| graphframes | graphframes | 0.6.0-db3-spark2.4 |
| spark-deep learning | sparkdl | 1.4.0-db2-spark2.4 |
R-bibliotheken
De R-bibliotheken zijn identiek aan R-bibliotheken in Databricks Runtime 5.1.
Java- en Scala-bibliotheken (Scala 2.11-cluster)
Naast Java- en Scala-bibliotheken in Databricks Runtime 5.1 bevat Databricks Runtime 5.1 ML de volgende JAR's:
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| com.databricks | spark-deep learning | 1.4.0-db2-spark2.4 |
| org.tensorframes | tensorframes | 0.6.0-s_2.11 |
| org.graphframes | graphframes_2.11 | 0.6.0-db3-spark2.4 |
| org.tensorflow | libtensorflow | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | tensorflow | 1.12.0 |
| ml.dmlc | xgboost4j | 0.81 |
| ml.dmlc | xgboost4j-spark | 0.81 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |