Machine Learning 用 Databricks Runtime 16.0
Databricks Runtime 16.0 for Machine Learning は、 Databricks Runtime 16.0 に基づく機械学習とデータ サイエンスのためのすぐに使用できる環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 Databricks Runtime ML では、TorchDistributor、DeepSpeed、Ray を使用した分散型ディープ ラーニング トレーニングもサポートされています。
ヒント
サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されていない可能性があります。
新機能と機能強化
Databricks Runtime 16.0 ML は、Databricks Runtime 16.0 の上に構築されています。 Apache Spark MLlib や SparkR など、Databricks Runtime 16.0 の新機能については、 Databricks Runtime 16.0 リリース ノートを参照してください。
新しい Python パッケージ
次の Python パッケージが Databricks Runtime ML に追加されました。
- composer 0.24.1
- optuna 3.6.1
予測の AutoML サンプルの重み
AutoML では、予測のサンプル重みがサポートされるようになりました。これにより、複数の時系列予測モデルをトレーニングするための各時系列の重要度を調整できます。 詳細については、autoML Python API の forecasting パラメーターを参照してください。
Unity カタログのビューを機能テーブルとして使用する
Unity カタログのビューを機能テーブルとして使用できるようになりました。 「 Unity カタログの既存のビューを機能テーブルとして使用するを参照してください。
その他の変更
Horovod、HorovodRunner、Petastorm、 spark-tensorflow-distributor 削除
以前のバージョンの Databricks Runtime ML に含まれていた次のパッケージは、Databricks Runtime 16.0 ML には含まれていません。
- Horovod
- HorovodRunner
- Petastorm
spark-tensorflow-distributor
Databricks では、次の置き換えを推奨しています。
- 分散ディープ ラーニングの場合、Databricks では、PyTorch での分散トレーニングに TorchDistributor を使用するか、TensorFlow を使用した分散トレーニング用の
tf.distribute.StrategyAPI を使用することをお勧めします。 - クラウド ストレージから大規模なデータセットを読み込む場合、Databricks では Mosaic Streaming を使用することをお勧めします。
- TensorFlow または Keras モデルの分散トレーニングでは、Databricks では Ray の使用をお勧めします。 Databricks の Ray を参照し Ray のドキュメントを してください。
システム環境
Databricks Runtime 16.0 ML のシステム環境は、次のように Databricks Runtime 16.0 と異なります。
- GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 12.6
- cublas 12.6.0.22-1
- cusolver 11.6.4.38-1
- cupti 12.6.37-1
- cusparse 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCL 2.22.3
- TensorRT 10.2.0.19-1
ライブラリ
次のセクションでは、Databricks Runtime 16.0 ML に含まれている、Databricks Runtime 16.0 に含まれるライブラリとは異なるライブラリを示します。
このセクションの内容は次のとおりです。
最上位層ライブラリ
Databricks Runtime 16.0 ML には、次の最上位レベルの ライブラリが含まれています。
- datasets
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- ストリーミング
- TensorFlow
- TensorBoard
- transformers
Python ライブラリ
Databricks Runtime 16.0 ML は Python パッケージ管理に virtualenv を使用し、多くの一般的な ML パッケージが含まれています。
Databricks Runtime 16.0 ML には、次のセクションで指定したパッケージに加えて、次のパッケージも含まれています。
- hyperopt 0.2.7+db5
- automl 1.29.0
ローカルの Python 仮想環境で Databricks Runtime ML Python 環境を再現するには、 requirements-16.0.txt ファイルをダウンロードし、 pip install -r requirements-16.0.txt実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのオープン ソース ライブラリをインストールしますが、databricks-automl、databricks-feature-engineering、hyperopt の Databricks フォークなど、Databricks によって開発されたライブラリはインストールしません。
CPU クラスター上の Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerate | 0.33.0 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | alembic | 1.13.3 |
| annotated-types | 0.7.0 | anyio | 4.2.0 | argcomplete | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | 矢印 | 1.2.3 |
| astor | 0.8.1 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | attrs | 23.1.0 | audioread | 3.0.1 |
| autocommand | 2.2.2 | azure-core | 1.31.0 | azure-cosmos | 4.3.1 |
| azure-identity | 1.18.0 | azure-storage-blob | 12.23.1 | azure-storage-file-datalake | 12.17.0 |
| Babel | 2.11.0 | backoff | 2.2.1 | backports.tarfile | 1.2.0 |
| bcrypt | 3.2.0 | beautifulsoup4 | 4.12.3 | black | 24.4.2 |
| bleach | 4.1.0 | blinker | 1.7.0 | blis | 0.7.11 |
| boto3 | 1.34.69 | botocore | 1.34.69 | Brotli | 1.0.9 |
| cachetools | 5.3.3 | catalogue | 2.0.10 | category-encoders | 2.6.3 |
| certifi | 2024.6.2 | cffi | 1.16.0 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | circuitbreaker | 2.0.0 | click | 8.1.7 |
| cloudpathlib | 0.19.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.4 |
| colorful (カラフル) | 0.5.6 | colorlog | 6.8.2 | comm | 0.2.1 |
| Composer | 0.24.1 | confection | 0.1.5 | configparser | 5.2.0 |
| contourpy | 1.2.0 | coolname | 2.2.0 | cryptography | 42.0.5 |
| cycler | 0.11.0 | cymem | 2.0.8 | Cython | 3.0.11 |
| dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.7.0 |
| databricks-sdk | 0.30.0 | datasets | 2.20.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | decorator | 5.1.1 |
| deepspeed | 0.14.4 | defusedxml | 0.7.1 | 非推奨 | 1.2.14 |
| dill | 0.3.8 | distlib | 0.3.8 | dm-tree | 0.1.8 |
| docstring-to-markdown | 0.11 | entrypoints | 0.4 | evaluate | 0.4.2 |
| executing | 0.8.3 | facets-overview | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.20.0 | fasttext-wheel | 0.9.2 | filelock | 3.13.1 |
| Flask | 2.2.5 | flatbuffers | 24.3.25 | fonttools | 4.51.0 |
| fqdn | 1.5.1 | frozenlist | 1.4.0 | fsspec | 2023.5.0 |
| future | 0.18.3 | gast | 0.4.0 | gitdb | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | google-auth | 2.21.0 |
| google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 | google-cloud-storage | 2.10.0 |
| google-crc32c | 1.6.0 | google-pasta | 0.2.0 | google-resumable-media | 2.7.2 |
| googleapis-common-protos | 1.65.0 | gql | 3.5.0 | graphql-core | 3.2.4 |
| greenlet | 3.0.1 | grpcio | 1.60.0 | grpcio-status | 1.60.0 |
| gunicorn | 20.1.0 | gviz-api | 1.10.0 | gymnasium | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.11.0 | hjson | 3.1.0 |
| holidays | 0.54 | htmlmin | 0.1.12 | httpcore | 1.0.5 |
| httplib2 | 0.20.4 | httpx | 0.27.2 | huggingface-hub | 0.24.5 |
| idna | 3.7 | ImageHash | 4.3.1 | imageio | 2.33.1 |
| imbalanced-learn | 0.12.3 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.5 |
| 活用 | 7.3.1 | ipyflow-core | 0.0.201 | ipykernel | 6.28.0 |
| ipython | 8.25.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | isoduration | 20.11.0 | itsdangerous | 2.2.0 |
| jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 |
| jax-jumpy | 1.0.0 | jedi | 0.19.1 | Jinja2 | 3.1.4 |
| jiter | 0.5.0 | jmespath | 1.0.1 | joblib | 1.4.2 |
| joblibspark | 0.5.1 | json5 | 0.9.6 | jsonpatch | 1.33 |
| jsonpointer | 3.0.0 | jsonschema | 4.19.2 | jsonschema-specifications | 2023.7.1 |
| jupyter-events | 0.10.0 | jupyter-lsp | 2.2.0 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 |
| jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 | jupyterlab_server | 2.25.1 |
| keras | 3.5.0 | kiwisolver | 1.4.4 | langchain | 0.2.12 |
| langchain-core | 0.2.41 | langchain-text-splitters | 0.2.4 | langcodes | 3.4.1 |
| langsmith | 0.1.129 | language_data | 1.2.0 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | lazy_loader | 0.4 |
| libclang | 15.0.6.1 | librosa | 0.10.2 | lightgbm | 4.5.0 |
| lightning-utilities | 0.11.7 | linkify-it-py | 2.0.0 | llvmlite | 0.42.0 |
| lz4 | 4.3.2 | Mako | 1.2.0 | marisa-trie | 1.2.0 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.3 |
| matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 | mccabe | 0.7.0 |
| mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 | memray | 1.14.0 |
| mistune | 2.0.4 | ml-dtypes | 0.4.1 | mlflow-skinny | 2.15.1 |
| more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 | mosaicml-streaming | 0.8.0 |
| mpmath | 1.3.0 | msal | 1.31.0 | msal-extensions | 1.2.0 |
| msgpack | 1.1.0 | multidict | 6.0.4 | multimethod | 1.12 |
| multiprocess | 0.70.16 | murmurhash | 1.0.10 | mypy | 1.10.0 |
| mypy-extensions | 1.0.0 | namex | 0.0.8 | nbclient | 0.8.0 |
| nbconvert | 7.10.0 | nbformat | 5.9.2 | nest-asyncio | 1.6.0 |
| networkx | 3.2.1 | ninja | 1.11.1.1 | nltk | 3.8.1 |
| nodeenv | 1.9.1 | ノートブック | 7.0.8 | notebook_shim | 0.2.3 |
| numba | 0.59.1 | numpy | 1.26.4 | nvidia-ml-py | 12.560.30 |
| oauthlib | 3.2.0 | oci | 2.135.0 | openai | 1.40.2 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opentelemetry-api | 1.27.0 |
| opentelemetry-sdk | 1.27.0 | opentelemetry-semantic-conventions | 0.48b0 | opt_einsum | 3.4.0 |
| optree | 0.12.1 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.10.7 | overrides | 7.4.0 | パッケージング | 24.1 |
| pandas | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
| parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | phik | 0.12.4 | pillow | 10.3.0 |
| pip | 24.2 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggy | 1.0.0 | pmdarima | 2.0.4 | pooch | 1.8.2 |
| portalocker | 2.10.1 | preshed | 3.0.9 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.43 | prophet | 1.1.5 | proto-plus | 1.24.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-spy | 0.3.14 | pyarrow | 15.0.2 | pyarrow-hotfix | 0.6 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.13.6 |
| pyccolo | 0.0.65 | pycparser | 2.21 | pydantic | 2.8.2 |
| pydantic_core | 2.20.1 | pyflakes | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | PyJWT | 2.7.0 | PyNaCl | 1.5.0 |
| pyodbc | 5.0.1 | pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 |
| pyright | 1.1.294 | pytesseract | 0.3.10 | python-dateutil | 2.9.0.post0 |
| python-editor | 1.0.4 | python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 |
| python-lsp-server | 1.10.0 | python-snappy | 0.6.1 | pytoolconfig | 1.2.6 |
| pytorch-ranger | 0.1.1 | pytz | 2024.1 | PyWavelets | 1.5.0 |
| PyYAML | 6.0.1 | pyzmq | 25.1.2 | questionary | 1.10.0 |
| ray | 2.35.0 | 参照元 | 0.30.2 | regex | 2023.10.3 |
| requests | 2.32.2 | requests-oauthlib | 1.3.1 | rfc3339-validator | 0.1.4 |
| rfc3986-validator | 0.1.1 | rich | 13.3.5 | rope | 1.12.0 |
| rpds-py | 0.10.6 | rsa | 4.9 | ruamel.yaml | 0.18.6 |
| ruamel.yaml.clib | 0.2.8 | s3transfer | 0.10.2 | safetensors | 0.4.4 |
| scikit-image | 0.23.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| seaborn | 0.13.2 | Send2Trash | 1.8.2 | sentence-transformers | 3.0.1 |
| sentencepiece | 0.2.0 | setuptools | 74.0.0 | shap | 0.46.0 |
| shellingham | 1.5.4 | simplejson | 3.17.6 | 6 | 1.16.0 |
| slicer | 0.0.8 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | soundfile | 0.12.1 | soupsieve | 2.5 |
| soxr | 0.5.0.post1 | spacy | 3.7.5 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
| srsly | 2.4.8 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
| stanio | 0.5.1 | statsmodels | 0.14.2 | sympy | 1.12 |
| tabulate | 0.9.0 | tangled-up-in-unicode | 0.2.0 | tenacity | 8.2.2 |
| TensorBoard | 2.17.0 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.17.0 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.17.0 | tensorflow-estimator | 2.15.0 |
| termcolor | 2.4.0 | terminado | 0.17.1 | テキスト | 0.81.0 |
| tf_keras | 2.17.0 | thinc | 8.2.5 | threadpoolctl | 2.2.0 |
| tifffile | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tokenizers | 0.19.1 | tomli | 2.0.1 |
| torch | 2.4.0 + cpu | torch-optimizer | 0.3.0 | torcheval | 0.0.7 |
| torchmetrics | 1.4.0.post0 | torchvision | 0.19.0+cpu | tornado | 6.4.1 |
| tqdm | 4.66.4 | traitlets | 5.14.3 | transformers | 4.44.0 |
| typeguard | 4.3.0 | typer | 0.12.5 | types-protobuf | 3.20.3 |
| types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 |
| types-requests | 2.31.0.0 | types-setuptools | 68.0.0.0 | types-six | 1.16.0 |
| types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | unattended-upgrades | 0.1 | uri-template | 1.3.0 |
| urllib3 | 1.26.16 | validators | 0.34.0 | virtualenv | 20.26.2 |
| visions | 0.7.5 | wadllib | 1.3.6 | wasabi | 1.1.3 |
| wcwidth | 0.2.5 | weasel | 0.4.1 | webcolors | 24.8.0 |
| webencodings | 0.5.1 | websocket-client | 1.8.0 | websockets | 11.0.3 |
| Werkzeug | 3.0.3 | whatthepatch | 1.0.2 | wheel | 0.43.0 |
| wordcloud | 1.9.3 | wrapt | 1.14.1 | xgboost | 2.0.3 |
| xgboost-ray | 0.1.19 | xxhash | 3.4.1 | yapf | 0.33.0 |
| yarl | 1.9.3 | ydata-profiling | 4.9.0 | zipp | 3.17.0 |
| zstd | 1.5.5.1 |
GPU クラスター上の Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerate | 0.33.0 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | annotated-types | 0.7.0 |
| anyio | 4.2.0 | argcomplete | 3.5.0 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | 矢印 | 1.2.3 | astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-lru | 2.0.4 |
| attrs | 23.1.0 | audioread | 3.0.1 | autocommand | 2.2.2 |
| azure-core | 1.31.0 | azure-cosmos | 4.3.1 | azure-identity | 1.18.0 |
| azure-storage-blob | 12.23.1 | azure-storage-file-datalake | 12.17.0 | Babel | 2.11.0 |
| backoff | 2.2.1 | backports.tarfile | 1.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.3 | black | 24.4.2 | bleach | 4.1.0 |
| blinker | 1.7.0 | blis | 0.7.11 | boto3 | 1.34.69 |
| botocore | 1.34.69 | Brotli | 1.0.9 | cachetools | 5.3.3 |
| catalogue | 2.0.10 | category-encoders | 2.6.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| circuitbreaker | 2.0.0 | click | 8.1.7 | cloudpathlib | 0.19.0 |
| cloudpickle | 2.2.1 | cmdstanpy | 1.2.4 | colorful (カラフル) | 0.5.6 |
| colorlog | 6.8.2 | comm | 0.2.1 | Composer | 0.24.1 |
| confection | 0.1.5 | configparser | 5.2.0 | contourpy | 1.2.0 |
| coolname | 2.2.0 | cryptography | 42.0.5 | cycler | 0.11.0 |
| cymem | 2.0.8 | Cython | 3.0.11 | dacite | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.7.0 | databricks-sdk | 0.30.0 |
| datasets | 2.20.0 | dbl-tempo | 0.1.26 | dbus-python | 1.3.2 |
| debugpy | 1.6.7 | decorator | 5.1.1 | deepspeed | 0.14.4 |
| defusedxml | 0.7.1 | 非推奨 | 1.2.14 | dill | 0.3.8 |
| distlib | 0.3.8 | dm-tree | 0.1.8 | docstring-to-markdown | 0.11 |
| einops | 0.8.0 | entrypoints | 0.4 | evaluate | 0.4.2 |
| executing | 0.8.3 | facets-overview | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.20.0 | fasttext-wheel | 0.9.2 | filelock | 3.13.1 |
| flash_attn | 2.5.6 | Flask | 2.2.5 | flatbuffers | 24.3.25 |
| fonttools | 4.51.0 | fqdn | 1.5.1 | frozenlist | 1.4.0 |
| fsspec | 2023.5.0 | future | 0.18.3 | gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 |
| google-cloud-storage | 2.10.0 | google-crc32c | 1.6.0 | google-pasta | 0.2.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | greenlet | 3.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| gymnasium | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | holidays | 0.54 | htmlmin | 0.1.12 |
| httpcore | 1.0.5 | httplib2 | 0.20.4 | httpx | 0.27.2 |
| huggingface-hub | 0.24.5 | idna | 3.7 | ImageHash | 4.3.1 |
| imageio | 2.33.1 | imbalanced-learn | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.4.5 | 活用 | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | isodate | 0.6.1 | isoduration | 20.11.0 |
| itsdangerous | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | jedi | 0.19.1 |
| Jinja2 | 3.1.4 | jiter | 0.5.0 | jmespath | 1.0.1 |
| joblib | 1.4.2 | joblibspark | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.19.2 |
| jsonschema-specifications | 2023.7.1 | jupyter-events | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
| jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| jupyterlab_server | 2.25.1 | keras | 3.5.0 | kiwisolver | 1.4.4 |
| langchain | 0.2.12 | langchain-core | 0.2.41 | langchain-text-splitters | 0.2.4 |
| langcodes | 3.4.1 | langsmith | 0.1.129 | language_data | 1.2.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| lazy_loader | 0.4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | lightning-utilities | 0.11.7 | linkify-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | Mako | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.3 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| memray | 1.14.0 | mistune | 2.0.4 | ml-dtypes | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 |
| mosaicml-streaming | 0.8.0 | mpmath | 1.3.0 | msal | 1.31.0 |
| msal-extensions | 1.2.0 | msgpack | 1.1.0 | multidict | 6.0.4 |
| multimethod | 1.12 | multiprocess | 0.70.16 | murmurhash | 1.0.10 |
| mypy | 1.10.0 | mypy-extensions | 1.0.0 | namex | 0.0.8 |
| nbclient | 0.8.0 | nbconvert | 7.10.0 | nbformat | 5.9.2 |
| nest-asyncio | 1.6.0 | networkx | 3.2.1 | ninja | 1.11.1.1 |
| nltk | 3.8.1 | nodeenv | 1.9.1 | ノートブック | 7.0.8 |
| notebook_shim | 0.2.3 | numba | 0.59.1 | numpy | 1.26.4 |
| nvidia-cublas-cu12 | 12.4.2.65 | nvidia-cuda-cupti-cu12 | 12.4.99 | nvidia-cuda-nvrtc-cu12 | 12.4.99 |
| nvidia-cuda-runtime-cu12 | 12.4.99 | nvidia-cudnn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.0.44 |
| nvidia-curand-cu12 | 10.3.5.119 | nvidia-cusolver-cu12 | 11.6.0.99 | nvidia-cusparse-cu12 | 12.3.0.142 |
| nvidia-ml-py | 12.560.30 | nvidia-nccl-cu12 | 2.20.5 | nvidia-nvjitlink-cu12 | 12.4.99 |
| nvidia-nvtx-cu12 | 12.4.99 | oauthlib | 3.2.0 | oci | 2.135.0 |
| openai | 1.40.2 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
| opentelemetry-api | 1.27.0 | opentelemetry-sdk | 1.27.0 | opentelemetry-semantic-conventions | 0.48b0 |
| opt_einsum | 3.4.0 | optree | 0.12.1 | optuna | 3.6.1 |
| optuna-integration | 3.6.0 | orjson | 3.10.7 | overrides | 7.4.0 |
| パッケージング | 24.1 | pandas | 1.5.3 | pandocfilters | 1.5.0 |
| paramiko | 3.4.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.6 | pexpect | 4.8.0 | phik | 0.12.4 |
| pillow | 10.3.0 | pip | 24.2 | platformdirs | 3.10.0 |
| plotly | 5.22.0 | pluggy | 1.0.0 | pmdarima | 2.0.4 |
| pooch | 1.8.2 | portalocker | 2.10.1 | preshed | 3.0.9 |
| prometheus-client | 0.14.1 | prompt-toolkit | 3.0.43 | prophet | 1.1.5 |
| proto-plus | 1.24.0 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 9.0.0 | py-spy | 0.3.14 | pyarrow | 15.0.2 |
| pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.13.6 | pyccolo | 0.0.65 | pycparser | 2.21 |
| pydantic | 2.8.2 | pydantic_core | 2.20.1 | pyflakes | 3.2.0 |
| Pygments | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| PyNaCl | 1.5.0 | pyodbc | 5.0.1 | pyOpenSSL | 24.0.0 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pytesseract | 0.3.10 |
| python-dateutil | 2.9.0.post0 | python-editor | 1.0.4 | python-json-logger | 2.0.7 |
| python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 | python-snappy | 0.6.1 |
| pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 | pytz | 2024.1 |
| PyWavelets | 1.5.0 | PyYAML | 6.0.1 | pyzmq | 25.1.2 |
| questionary | 1.10.0 | ray | 2.35.0 | 参照元 | 0.30.2 |
| regex | 2023.10.3 | requests | 2.32.2 | requests-oauthlib | 1.3.1 |
| rfc3339-validator | 0.1.4 | rfc3986-validator | 0.1.1 | rich | 13.3.5 |
| rope | 1.12.0 | rpds-py | 0.10.6 | rsa | 4.9 |
| ruamel.yaml | 0.18.6 | ruamel.yaml.clib | 0.2.8 | s3transfer | 0.10.2 |
| safetensors | 0.4.4 | scikit-image | 0.23.2 | scikit-learn | 1.4.2 |
| scipy | 1.13.1 | seaborn | 0.13.2 | Send2Trash | 1.8.2 |
| sentence-transformers | 3.0.1 | sentencepiece | 0.2.0 | setuptools | 74.0.0 |
| shap | 0.46.0 | shellingham | 1.5.4 | simplejson | 3.17.6 |
| 6 | 1.16.0 | slicer | 0.0.8 | smart-open | 5.2.1 |
| smmap | 5.0.0 | sniffio | 1.3.0 | soundfile | 0.12.1 |
| soupsieve | 2.5 | soxr | 0.5.0.post1 | spacy | 3.7.5 |
| spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 |
| sqlparse | 0.4.2 | srsly | 2.4.8 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | stanio | 0.5.1 | statsmodels | 0.14.2 |
| sympy | 1.12 | tabulate | 0.9.0 | tangled-up-in-unicode | 0.2.0 |
| tenacity | 8.2.2 | TensorBoard | 2.17.0 | tensorboard-data-server | 0.7.2 |
| tensorboard-plugin-profile | 2.17.0 | tensorboardX | 2.6.2.2 | tensorflow | 2.17.0 |
| tensorflow-estimator | 2.15.0 | termcolor | 2.4.0 | terminado | 0.17.1 |
| テキスト | 0.81.0 | tf_keras | 2.17.0 | thinc | 8.2.5 |
| threadpoolctl | 2.2.0 | tifffile | 2023.4.12 | tiktoken | 0.7.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tokenizers | 0.19.1 |
| tomli | 2.0.1 | torch | 2.4.0+cu124 | torch-optimizer | 0.3.0 |
| torcheval | 0.0.7 | torchmetrics | 1.4.0.post0 | torchvision | 0.19.0+cu124 |
| tornado | 6.4.1 | tqdm | 4.66.4 | traitlets | 5.14.3 |
| transformers | 4.44.0 | triton | 3.0.0 | typeguard | 4.3.0 |
| typer | 0.12.5 | types-protobuf | 3.20.3 | types-psutil | 5.9.0 |
| types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 | types-requests | 2.31.0.0 |
| types-setuptools | 68.0.0.0 | types-six | 1.16.0 | types-urllib3 | 1.26.25.14 |
| typing_extensions | 4.11.0 | uc-micro-py | 1.0.1 | ujson | 5.10.0 |
| unattended-upgrades | 0.1 | uri-template | 1.3.0 | urllib3 | 1.26.16 |
| validators | 0.34.0 | virtualenv | 20.26.2 | visions | 0.7.5 |
| wadllib | 1.3.6 | wasabi | 1.1.3 | wcwidth | 0.2.5 |
| weasel | 0.4.1 | webcolors | 24.8.0 | webencodings | 0.5.1 |
| websocket-client | 1.8.0 | websockets | 11.0.3 | Werkzeug | 3.0.3 |
| whatthepatch | 1.0.2 | wheel | 0.43.0 | wordcloud | 1.9.3 |
| wrapt | 1.14.1 | xgboost | 2.0.3 | xgboost-ray | 0.1.19 |
| xxhash | 3.4.1 | yapf | 0.33.0 | yarl | 1.9.3 |
| ydata-profiling | 4.9.0 | zipp | 3.17.0 | zstd | 1.5.5.1 |
R ライブラリ
R ライブラリは、Databricks Runtime 16.0 の R ライブラリ と同じです。
Java と Scala のライブラリ (Scala 2.12 クラスター)
Databricks Runtime 16.0 の Java および Scala ライブラリに加えて、Databricks Runtime 16.0 ML には次の JAR が含まれています。
CPU クラスター
| グループ ID | 成果物 ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
| グループ ID | 成果物 ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |