Databricks Runtime 5.2 ML
Databricks ha rilasciato questa versione nel gennaio 2019.
Databricks Runtime 5.2 ML è un ambiente pronto all'uso per l'esecuzione di processi di Machine Learning e data science basato su Databricks Runtime 5.2 (EoS). Databricks Runtime per ML contiene molte di queste popolari librerie per l’apprendimento automatico, tra cui TensorFlow, PyTorch, Keras e XGBoost. È inoltre supportato il training TensorFlow distribuito con Horovod.
Per altre informazioni, incluse le istruzioni per la creazione di un cluster di Databricks Runtime ML, vedere IA e Machine Learning in Databricks.
Nuove funzionalità
Databricks Runtime 5.2 ML è basato su Databricks Runtime 5.2. Per informazioni sulle novità di Databricks Runtime 5.2, vedere le note sulla versione di Databricks Runtime 5.2 (EoS). Oltre agli aggiornamenti della libreria, Databricks Runtime 5.2 ML introduce le nuove funzionalità seguenti:
- GraphFrames supporta ora l'API Pregel (Python) con le ottimizzazioni delle prestazioni di Databricks.
-
HorovodRunner aggiunge:
- In un cluster GPU, i processi di training vengono mappati alle GPU anziché ai nodi di lavoro per semplificare il supporto dei tipi di istanza multi-GPU. Questo supporto predefinito consente di distribuire a tutte le GPU in un computer multi-GPU senza codice personalizzato.
-
HorovodRunner.run()restituisce ora il valore restituito dal primo processo di training.
Nota
Le versioni di Databricks Runtime ML recuperano tutti gli aggiornamenti di manutenzione per la versione di base di Databricks Runtime. Per un elenco di tutti gli aggiornamenti della manutenzione, vedere Aggiornamenti di manutenzione per Databricks Runtime (archiviato).
Ambiente di sistema
L'ambiente di sistema in Databricks Runtime 5.2 ML differisce da Databricks Runtime 5.2 come indicato di seguito:
- Python: 2.7.15 per cluster Python 2 e 3.6.5 per cluster Python 3.
- DBUtils: Databricks Runtime 5.2 ML non contiene l'utilità libreria (dbutils.library) (legacy).
- Per i cluster GPU, le librerie GPU NVIDIA seguenti:
- Driver Tesla 396.44
- CUDA 9.2
- CUDNN 7.2.1
Librerie
Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 5.2 ML che differiscono da quelle incluse in Databricks Runtime 5.2.
Librerie Python
Databricks Runtime 5.2 ML usa Conda per la gestione dei pacchetti Python. Di conseguenza, esistono importanti differenze nelle librerie Python preinstallate, rispetto a Databricks Runtime. Di seguito è riportato un elenco completo dei pacchetti e delle versioni Python forniti installati con Gestione pacchetti Conda.
| Library | Versione | Library | Versione | Library | Versione |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.5 | bleach | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| certifi | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | configparser | 3.5.0 |
| cryptography | 2.2.2 | cycler | 0.10.0 | Cython | 0.28.2 |
| decorator | 4.3.0 | docutils | 0.14 | entrypoints | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsig | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | futures | 3.2.0 |
| gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.15.2 | html5lib | 1.0.1 | idna | 2.6 |
| ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | mistune | 0.8.3 | mleap | 0.8.1 |
| mock | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | nose | 1.3.7 | nose-exclude | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | pandas | 0.23.0 | pandocfilters | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | patsy | 0.5.0 |
| pbr | 5.1.1 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| Pillow | 5.1.0 | pip | 10.0.1 | filo | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | pyarrow | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | requests | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1.7 | scikit-learn | 0.19.1 |
| scipy | 1.1.0 | seaborn | 0.8.1 | setuptools | 39.1.0 |
| simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | six | 1.11.0 |
| statsmodels | 0.9.0 | subprocess32 | 3.5.3 | tensorboard | 1.12.2 |
| tensorboardX | 1.4 | tensorflow | 1.12.0 | termcolor | 1.1.0 |
| testpath | 0.3.1 | Torch | 0.4.1 | torchvision | 0.2.1 |
| tornado | 5.0.2 | traceback2 | 1.4.0 | traitlets | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | webencodings | 0.5.1 | Werkzeug | 0.14.1 |
| wheel | 0.31.1 | wrapt | 1.10.11 | wsgiref | 0.1.2 |
I pacchetti Spark seguenti includono anche i moduli Python:
| Pacchetti Spark | Modulo Python | Versione |
|---|---|---|
| GraphFrames | GraphFrames | 0.7.0-db1-spark2.4 |
| Deep Learning Spark | sparkdl | 1.5.0-db1-spark2.4 |
| tensorframes | tensorframes | 0.6.0-s_2.11 |
Librerie R
Le librerie R sono identiche alle librerie R in Databricks Runtime 5.2.
Librerie Java e Scala (cluster Scala 2.11)
Oltre alle librerie Java e Scala in Databricks Runtime 5.2, Databricks Runtime 5.2 ML contiene i file JAR seguenti:
| ID gruppo | ID artefatto | Versione |
|---|---|---|
| com.databricks | Deep Learning Spark | 1.5.0-db1-spark2.4 |
| com.typesafe.akka | akka-actor_2.11 | 2.3.11 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |
| ml.dmlc | xgboost4j | 0.81 |
| ml.dmlc | xgboost4j-spark | 0.81 |
| org.graphframes | graphframes_2.11 | 0.7.0-db1-spark2.4 |
| org.tensorflow | libtensorflow | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | tensorflow | 1.12.0 |
| org.tensorframes | tensorframes | 0.6.0-s_2.11 |