適用於機器學習的 Databricks Runtime 15.2(EoS)
注意
此 Databricks 執行時間版本的支援已結束。 如需終止支援日期,請參閱 終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本,請參閱 Databricks Runtime 版本資訊和相容性。
Databricks Runtime 15.2 for Machine Learning 基於 Databricks Runtime 15.2 (EoS),為機器學習和數據科學提供已配置的現成to-go 環境。 Databricks Runtime ML 包含許多熱門的機器學習連結庫,包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 包含 AutoML,這是自動定型機器學習管線的工具。 Databricks Runtime ML 也支援使用 Horovod 的分散式深度學習訓練。
提示
若要查看已達到終止支援之 Databricks Runtime 版本的版本資訊(EoS),請參閱 終止支援 Databricks Runtime 版本資訊。 EoS Databricks Runtime 版本已淘汰,且可能未更新。
新功能和改善
Databricks Runtime 15.2 ML 建置在 Databricks Runtime 15.2 之上。 如需 Databricks Runtime 15.2 新功能的相關信息,包括 Apache Spark MLlib 和 SparkR,請參閱 Databricks Runtime 15.2 (EoS) 版本資訊。
新增 StreamingDataset
StreamingDataset 可用來快速、廉價且具延展性地從雲端儲存處理大型數據集的訓練。 它會預安裝在 Databricks Runtime 15.2 ML 中。
Databricks Runtime ML CPU 叢集的 Photon 支援
從 Databricks Runtime 15.2 ML 開始,您可以在 CPU 叢集上啟用 photon,以加速 Spark SQL 和 Spark DataFrame 工作負載。
針對機器學習應用程式,Photon 為使用案例提供更快的效能,例如:
- 使用 SQL 或 DataFrame API 進行數據準備。
- 具有 時間點查閱的功能工程。
- 使用 GraphFrames進行圖表分析。
Photon 不會增強 Python 連結庫的效能,例如 TensorFlow、PyTorch 和 XGBoost。
Spark RDD API 和 Spark MLlib 與 Photon 的相容性有限。 使用 Spark RDD 或 Spark MLlib 處理大型資料集時,可能會遇到 Spark 記憶體問題。 請參閱 Spark 記憶體問題。
系統環境
Databricks Runtime 15.2 ML 中的系統環境與 Databricks Runtime 15.2 不同,如下所示:
- 針對 GPU 叢集,Databricks Runtime ML 包含下列 NVIDIA GPU 連結庫:
- CUDA 12.1
- cusolver 11.4.5.107-1
- cupti 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
圖書館
下列各節列出了 Databricks Runtime 15.2 ML 中包含的函式庫,這些函式庫與 Databricks Runtime 15.2 所包含的有所不同。
在本節中:
頂級圖書館
Databricks Runtime 15.2 ML 包含下列頂級的 程式庫:
Python 函式庫
Databricks Runtime 15.2 ML 使用 virtualenv
進行 Python 套件管理,並包含許多熱門 ML 套件。
除了下列各節中指定的套件之外,Databricks Runtime 15.2 ML 也包含下列套件:
- hyperopt 0.2.7+db3
- sparkdl 3.0.0_db1
- automl 1.26.0
若要在本機 Python 虛擬環境中重現 Databricks Runtime ML Python 環境,請下載 requirements-15.2.txt 檔案並執行 pip install -r requirements-15.2.txt
。 此命令會安裝 Databricks Runtime ML 使用的所有開放原始碼連結庫,但不會安裝 Databricks 所開發的連結庫,例如 databricks-automl
、databricks-feature-engineering
或 hyperopt
的 Databricks 分支。
CPU 叢集上的 Python 函式庫
圖書館 | 版本 | 圖書館 | 版本 | 圖書館 | 版本 |
---|---|---|---|---|---|
absl-py | 1.0.0 | 加速 | 0.28.0 | aiohttp | 3.8.5 |
aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | 阿斯特 | 0.8.1 |
asttokens | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
屬性 | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
azure-cosmos | 4.3.1 | azure-identity(Azure 身份驗證服務) | 1.16.0 | azure-storage-blob | 12.19.1 |
azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 | bcrypt | 3.2.0 |
beautifulsoup4 | 4.12.2 | 黑 | 23.3.0 | 漂白劑 | 4.1.0 |
閃爍器 | 1.4 | 極樂 | 0.7.11 | boto3 | 1.34.39 |
botocore | 1.34.39 | Brotli | 1.0.9 | cachetools | 5.3.3 |
目錄 | 2.0.10 | 類別編碼器 | 2.6.3 | certifi | 2023.7.22 |
cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
斷路器 | 1.4.0 | 點擊 | 8.0.4 | cloudpathlib | 0.16.0 |
cloudpickle | 2.2.1 | cmdstanpy | 1.2.2 | 豐富多彩 | 0.5.6 |
通訊 | 0.1.2 | 糖果 | 0.1.4 | configparser | 5.2.0 |
contourpy | 1.0.5 | 密碼學 | 41.0.3 | 自行車騎士 | 0.11.0 |
cymem | 2.0.8 | Cython | 0.29.32 | 英安岩 | 1.8.1 |
databricks-automl-runtime | 0.2.21 | Databricks 特徵工程 | 0.4.0 | databricks-sdk | 0.20.0 |
dataclasses-json | 0.6.4 | 數據集 | 2.18.0 | dbl-tempo | 0.1.26 |
dbus-python | 1.2.18 | debugpy | 1.6.7 | 裝飾者 | 5.1.1 |
deepspeed | 0.14.0 | defusedxml | 0.7.1 | 蒔蘿 | 0.3.6 |
diskcache | 5.6.3 | distlib | 0.3.8 | dm-tree | 0.1.8 |
入口點 | 0.4 | 評估 | 0.4.1 | 執行 | 0.8.3 |
面向概述 | 1.1.1 | Farama-Notifications | 0.0.4 | fastjsonschema | 2.19.1 |
fasttext | 0.9.2 | 檔案鎖定 | 3.9.0 | 瓶 | 2.2.5 |
flatbuffers | 24.3.25 | fonttools | 4.25.0 | frozenlist | 1.3.3 |
fsspec | 2023.5.0 | 未來 | 0.18.3 | gast | 0.4.0 |
gitdb | 4.0.11 | GitPython | 3.1.27 | google-api-core (Google API 核心庫) | 2.18.0 |
谷歌驗證 | 2.21.0 | google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 |
google-cloud-storage | 2.10.0 | google-crc32c | 1.5.0 | google-pasta | 0.2.0 |
google-resumable-media | 2.7.0 | googleapis-common-protos | 1.63.0 | greenlet | 2.0.1 |
grpcio | 1.60.0 | grpcio-status | 1.60.0 | gunicorn | 20.1.0 |
gviz-api | 1.10.0 | 體育館 | 0.28.1 | h11 | 0.14.0 |
h5py | 3.10.0 | hjson | 3.1.0 | 假期 | 0.45 |
horovod | 0.28.1+db1 | htmlmin | 0.1.12 | httpcore | 1.0.5 |
httplib2 | 0.20.2 | httpx | 0.27.0 | huggingface-hub | 0.20.2 |
idna | 3.4 | ImageHash | 4.3.1 | imageio | 2.31.1 |
不平衡學習 | 0.11.0 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 |
ipyflow-core | 0.0.198 | ipykernel | 6.25.1 | ipython | 8.15.0 |
ipython-genutils | 0.2.0 | ipywidgets | 8.0.4 | isodate | 0.6.1 |
itsdangerous(Python庫) | 2.0.1 | jax-jumpy | 1.0.0 | jedi | 0.18.1 |
吉普尼 | 0.7.1 | Jinja2 | 3.1.2 | jmespath | 0.10.0 |
joblib | 1.2.0 | joblibspark | 0.5.1 | jsonpatch | 1.33 |
jsonpointer | 2.4 | jsonschema | 4.17.3 | jupyter-server | 1.23.4 |
jupyter_client | 7.4.9 | jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 |
jupyterlab-widgets | 3.0.5 | keras | 3.1.1 | 鑰匙圈 | 23.5.0 |
kiwisolver | 1.4.4 | langchain | 0.1.13 | langchain-community | 0.0.32 |
langchain-core | 0.1.41 | langchain-text-splitters | 0.0.1 | 語言代碼 | 3.3.0 |
langsmith | 0.1.45 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
lazr.uri | 1.0.6 | lazy_loader | 0.2 | libclang | 15.0.6.1 |
librosa | 0.10.1 | lightgbm | 4.3.0 | llvmlite | 0.40.0 |
lxml | 4.9.2 | lz4 | 4.3.2 | Mako | 1.2.0 |
Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 |
棉花糖 | 3.21.1 | matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 |
mdurl | 0.1.0 | mistune | 0.8.4 | ml-dtypes | 0.3.2 |
mlflow-skinny | 2.11.3 | more-itertools | 8.10.0 | mosaicml-streaming | 0.7.4 |
mpmath | 1.3.0 | msal | 1.28.0 | msal-extensions | 1.1.0 |
msgpack | 1.0.8 | multidict | 6.0.2 | 多元方法 | 1.11.2 |
多重處理 | 0.70.14 | murmurhash | 1.0.10 | mypy-extensions(MyPy 擴充套件) | 0.4.3 |
namex | 0.0.7 | nbclassic | 0.5.5 | nbclient | 0.5.13 |
nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
networkx | 3.1 | 忍者 | 1.11.1.1 | nltk | 3.8.1 |
筆記本 | 6.5.4 | notebook_shim | 0.2.2 | numba | 0.57.1 |
numpy | 1.23.5 | oauthlib | 3.2.0 | oci | 2.125.2 |
OpenAI公司 | 1.14.3 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
opt-einsum | 3.3.0 | optree | 0.11.0 | orjson | 3.10.0 |
包裝 | 23.2 | 熊貓 | 1.5.3 | pandocfilters | 1.5.0 |
paramiko | 3.4.0 | parso | 0.8.3 | pathspec | 0.10.3 |
替罪羊 | 0.5.3 | petastorm | 0.12.1 | pexpect | 4.8.0 |
菲克 | 0.12.4 | pickleshare | 0.7.5 | 枕頭 | 9.4.0 |
果仁 | 23.2.1 | platformdirs | 3.10.0 | plotly | 5.9.0 |
pmdarima | 2.0.4 | 狗狗 | 1.8.1 | portalocker | 2.8.2 |
preshed | 3.0.9 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
先知 | 1.1.5 | proto-plus | 1.23.0 | protobuf | 4.24.1 |
psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
pure-eval | 0.2.2 | py-cpuinfo | 8.0.0 | py-spy | 0.3.14 |
pyarrow | 14.0.1 | pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 |
pyasn1-modules | 0.2.8 | pybind11 | 2.12.0 | pyccolo | 0.0.52 |
pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
pynvml | 11.5.0 | pyodbc | 4.0.38 | pyOpenSSL | 23.2.0 |
pyparsing | 3.0.9 | 火熱 | 0.18.0 | pytesseract | 0.3.10 |
python-dateutil | 2.8.2 | Python 編輯器 | 1.0.4 | python-lsp-jsonrpc | 1.1.1 |
python-snappy | 0.6.1 | pytz | 2022.7 | PyWavelets | 1.4.1 |
PyYAML | 6.0 | pyzmq | 23.2.0 | 射線 | 2.10.0 |
regex | 2022.7.9 | 要求 | 2.31.0 | requests-oauthlib | 1.3.1 |
反應 | 0.13.3 | 富 | 13.7.1 | rsa | 4.9 |
s3transfer | 0.10.1 | safetensors | 0.4.2 | scikit-image | 0.20.0 |
scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | 句子轉換器 | 2.6.1 |
sentencepiece | 0.1.99 | setuptools | 68.0.0 | 沙普 | 0.44.0 |
simplejson | 3.17.6 | 六 | 1.16.0 | 切片機 | 0.0.7 |
smart-open | 5.2.1 | smmap | 5.0.0 | sniffio | 1.2.0 |
音訊檔案 | 0.12.1 | 濾湯器 | 2.4 | soxr | 0.3.7 |
空間感十足 | 3.7.2 | spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 |
spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
認真 | 2.4.8 | ssh-import-id | 5.11 | 堆疊資料 | 0.2.0 |
stanio | 0.5.0 | statsmodels(統計模型) | 0.14.0 | sympy | 1.11.1 |
tangled-up-in-unicode | 0.2.0 | 韌性 | 8.2.2 | tensorboard | 2.16.2 |
tensorboard-data-server | 0.7.2 | tensorboard_plugin_profile | 2.15.1 | tensorboardX | 2.6.2.2 |
tensorflow-cpu | 2.16.1 | tensorflow-estimator | 2.15.0 | tensorflow-io-gcs-filesystem | 0.36.0 |
termcolor | 2.4.0 | 結束 | 0.17.1 | thinc | 8.2.3 |
threadpoolctl | 2.2.0 | tifffile | 2021.7.2 | tiktoken | 0.5.2 |
tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | 分詞器 | 0.15.0 |
火炬 / 手電筒 | 2.2.2+cpu | torcheval | 0.0.7 | torchvision | 0.17.2+cpu |
龍捲風 | 6.3.2 | tqdm | 4.65.0 | 特性 | 5.7.1 |
變壓器 | 4.39.2 | typeguard | 2.13.3 | 打字員 | 0.9.4 |
輸入檢查 | 0.9.0 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
ujson | 5.4.0 | 無人值守升級 | 0.1 | urllib3 | 1.26.16 |
virtualenv | 20.21.0 | 願景 | 0.7.5 | wadllib | 1.3.6 |
山葵 | 1.1.2 | wcwidth | 0.2.5 | 黃鼠狼 | 0.3.4 |
web編碼 | 0.5.1 | websocket-client | 0.58.0 | Werkzeug | 2.2.3 |
輪子 | 0.38.4 | widgetsnbextension | 4.0.5 | 文字雲 | 1.9.3 |
包裹著 | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
yarl | 1.8.1 | ydata 概況分析 | 4.5.1 | zip | 3.11.0 |
GPU 叢集上的 Python 函式庫
圖書館 | 版本 | 圖書館 | 版本 | 圖書館 | 版本 |
---|---|---|---|---|---|
absl-py | 1.0.0 | 加速 | 0.28.0 | aiohttp | 3.8.5 |
aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | 阿斯特 | 0.8.1 |
asttokens | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
屬性 | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
azure-cosmos | 4.3.1 | azure-identity(Azure 身份驗證服務) | 1.16.0 | azure-storage-blob | 12.19.1 |
azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 | bcrypt | 3.2.0 |
beautifulsoup4 | 4.12.2 | 黑 | 23.3.0 | 漂白劑 | 4.1.0 |
閃爍器 | 1.4 | 極樂 | 0.7.11 | boto3 | 1.34.39 |
botocore | 1.34.39 | Brotli | 1.0.9 | cachetools | 5.3.3 |
目錄 | 2.0.10 | 類別編碼器 | 2.6.3 | certifi | 2023.7.22 |
cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
斷路器 | 1.4.0 | 點擊 | 8.0.4 | cloudpathlib | 0.16.0 |
cloudpickle | 2.2.1 | cmdstanpy | 1.2.2 | 豐富多彩 | 0.5.6 |
通訊 | 0.1.2 | 糖果 | 0.1.4 | configparser | 5.2.0 |
contourpy | 1.0.5 | 密碼學 | 41.0.3 | 自行車騎士 | 0.11.0 |
cymem | 2.0.8 | Cython | 0.29.32 | 英安岩 | 1.8.1 |
databricks-automl-runtime | 0.2.21 | Databricks 特徵工程 | 0.4.0 | databricks-sdk | 0.20.0 |
dataclasses-json | 0.6.4 | 數據集 | 2.18.0 | dbl-tempo | 0.1.26 |
dbus-python | 1.2.18 | debugpy | 1.6.7 | 裝飾者 | 5.1.1 |
deepspeed | 0.14.0 | defusedxml | 0.7.1 | 蒔蘿 | 0.3.6 |
diskcache | 5.6.3 | distlib | 0.3.8 | dm-tree | 0.1.8 |
einops | 0.7.0 | 入口點 | 0.4 | 評估 | 0.4.1 |
執行 | 0.8.3 | 面向概述 | 1.1.1 | Farama-Notifications | 0.0.4 |
fastjsonschema | 2.19.1 | fasttext | 0.9.2 | 檔案鎖定 | 3.9.0 |
flash-attn | 2.5.6 | 瓶 | 2.2.5 | flatbuffers | 24.3.25 |
fonttools | 4.25.0 | frozenlist | 1.3.3 | fsspec | 2023.5.0 |
未來 | 0.18.3 | gast | 0.4.0 | gitdb | 4.0.11 |
GitPython | 3.1.27 | google-api-core (Google API 核心庫) | 2.18.0 | 谷歌驗證 | 2.21.0 |
google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 | google-cloud-storage | 2.10.0 |
google-crc32c | 1.5.0 | google-pasta | 0.2.0 | google-resumable-media | 2.7.0 |
googleapis-common-protos | 1.63.0 | greenlet | 2.0.1 | grpcio | 1.60.0 |
grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
體育館 | 0.28.1 | h11 | 0.14.0 | h5py | 3.10.0 |
hjson | 3.1.0 | 假期 | 0.45 | horovod | 0.28.1+db1 |
htmlmin | 0.1.12 | httpcore | 1.0.5 | httplib2 | 0.20.2 |
httpx | 0.27.0 | huggingface-hub | 0.20.2 | idna | 3.4 |
ImageHash | 4.3.1 | imageio | 2.31.1 | 不平衡學習 | 0.11.0 |
importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 | ipyflow-core | 0.0.198 |
ipykernel | 6.25.1 | ipython | 8.15.0 | ipython-genutils | 0.2.0 |
ipywidgets | 8.0.4 | isodate | 0.6.1 | itsdangerous(Python庫) | 2.0.1 |
jax-jumpy | 1.0.0 | jedi | 0.18.1 | 吉普尼 | 0.7.1 |
Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
joblibspark | 0.5.1 | jsonpatch | 1.33 | jsonpointer | 2.4 |
jsonschema | 4.17.3 | jupyter-server | 1.23.4 | jupyter_client | 7.4.9 |
jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 |
keras | 3.1.1 | 鑰匙圈 | 23.5.0 | kiwisolver | 1.4.4 |
langchain | 0.1.13 | langchain-community | 0.0.32 | langchain-core | 0.1.41 |
langchain-text-splitters | 0.0.1 | 語言代碼 | 3.3.0 | langsmith | 0.1.45 |
launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
lazy_loader | 0.2 | libclang | 15.0.6.1 | librosa | 0.10.1 |
lightgbm | 4.3.0 | llvmlite | 0.40.0 | lxml | 4.9.2 |
lz4 | 4.3.2 | Mako | 1.2.0 | Markdown | 3.4.1 |
markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 | 棉花糖 | 3.21.1 |
matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mdurl | 0.1.0 |
mistune | 0.8.4 | ml-dtypes | 0.3.2 | mlflow-skinny | 2.11.3 |
more-itertools | 8.10.0 | mosaicml-streaming | 0.7.4 | mpmath | 1.3.0 |
msal | 1.28.0 | msal-extensions | 1.1.0 | msgpack | 1.0.8 |
multidict | 6.0.2 | 多元方法 | 1.11.2 | 多重處理 | 0.70.14 |
murmurhash | 1.0.10 | mypy-extensions(MyPy 擴充套件) | 0.4.3 | namex | 0.0.7 |
nbclassic | 0.5.5 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
nbformat | 5.7.0 | nest-asyncio | 1.5.6 | networkx | 3.1 |
忍者 | 1.11.1.1 | nltk | 3.8.1 | 筆記本 | 6.5.4 |
notebook_shim | 0.2.2 | numba | 0.57.1 | numpy | 1.23.5 |
nvidia-cublas-cu12 | 12.1.3.1 | nvidia-cuda-cupti-cu12 | 12.1.105 | nvidia-cuda-nvrtc-cu12 | 12.1.105 |
nvidia-cuda-runtime-cu12 | 12.1.105 | nvidia-cudnn-cu12 | 8.9.2.26 | nvidia-cufft-cu12 | 11.0.2.54 |
nvidia-curand-cu12 | 10.3.2.106 | nvidia-cusolver-cu12 | 11.4.5.107 | nvidia-cusparse-cu12 | 12.1.0.106 |
nvidia-nccl-cu12 | 2.19.3 | nvidia-nvjitlink-cu12 | 12.4.127 | nvidia-nvtx-cu12 | 12.1.105 |
oauthlib | 3.2.0 | oci | 2.125.2 | OpenAI公司 | 1.14.3 |
opencensus | 0.11.4 | opencensus-context | 0.1.3 | opt-einsum | 3.3.0 |
optree | 0.11.0 | orjson | 3.10.0 | 包裝 | 23.2 |
熊貓 | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
parso | 0.8.3 | pathspec | 0.10.3 | 替罪羊 | 0.5.3 |
petastorm | 0.12.1 | pexpect | 4.8.0 | 菲克 | 0.12.4 |
pickleshare | 0.7.5 | 枕頭 | 9.4.0 | 果仁 | 23.2.1 |
platformdirs | 3.10.0 | plotly | 5.9.0 | pmdarima | 2.0.4 |
狗狗 | 1.8.1 | portalocker | 2.8.2 | preshed | 3.0.9 |
prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 | 先知 | 1.1.5 |
proto-plus | 1.23.0 | protobuf | 4.24.1 | psutil | 5.9.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
py-cpuinfo | 8.0.0 | py-spy | 0.3.14 | pyarrow | 14.0.1 |
pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
pybind11 | 2.12.0 | pyccolo | 0.0.52 | pycparser | 2.21 |
pydantic | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml | 11.5.0 |
pyodbc | 4.0.38 | pyOpenSSL | 23.2.0 | pyparsing | 3.0.9 |
火熱 | 0.18.0 | pytesseract | 0.3.10 | python-dateutil | 2.8.2 |
Python 編輯器 | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | python-snappy | 0.6.1 |
pytz | 2022.7 | PyWavelets | 1.4.1 | PyYAML | 6.0 |
pyzmq | 23.2.0 | 射線 | 2.10.0 | regex | 2022.7.9 |
要求 | 2.31.0 | requests-oauthlib | 1.3.1 | 反應 | 0.13.3 |
富 | 13.7.1 | rsa | 4.9 | s3transfer | 0.10.1 |
safetensors | 0.4.2 | scikit-image | 0.20.0 | scikit-learn | 1.3.0 |
scipy | 1.11.1 | seaborn | 0.12.2 | SecretStorage | 3.3.1 |
Send2Trash | 1.8.0 | 句子轉換器 | 2.6.1 | sentencepiece | 0.1.99 |
setuptools | 68.0.0 | 沙普 | 0.44.0 | simplejson | 3.17.6 |
六 | 1.16.0 | 切片機 | 0.0.7 | smart-open | 5.2.1 |
smmap | 5.0.0 | sniffio | 1.2.0 | 音訊檔案 | 0.12.1 |
濾湯器 | 2.4 | soxr | 0.3.7 | 空間感十足 | 3.7.2 |
spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 | spark-tensorflow-distributor | 1.0.0 |
SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 | 認真 | 2.4.8 |
ssh-import-id | 5.11 | 堆疊資料 | 0.2.0 | stanio | 0.5.0 |
statsmodels(統計模型) | 0.14.0 | sympy | 1.11.1 | tangled-up-in-unicode | 0.2.0 |
韌性 | 8.2.2 | tensorboard | 2.16.2 | tensorboard-data-server | 0.7.2 |
tensorboard_plugin_profile | 2.15.1 | tensorboardX | 2.6.2.2 | tensorflow | 2.16.1 |
tensorflow-estimator | 2.15.0 | tensorflow-io-gcs-filesystem | 0.36.0 | termcolor | 2.4.0 |
結束 | 0.17.1 | thinc | 8.2.3 | threadpoolctl | 2.2.0 |
tifffile | 2021.7.2 | tiktoken | 0.5.2 | tinycss2 | 1.2.1 |
tokenize-rt | 4.2.1 | 分詞器 | 0.15.0 | 火炬 / 手電筒 | 2.2.2+cu121 |
torcheval | 0.0.7 | torchvision | 0.17.2+cu121 | 龍捲風 | 6.3.2 |
tqdm | 4.65.0 | 特性 | 5.7.1 | 變壓器 | 4.39.2 |
氚核 | 2.2.0 | typeguard | 2.13.3 | 打字員 | 0.9.4 |
輸入檢查 | 0.9.0 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
ujson | 5.4.0 | 無人值守升級 | 0.1 | urllib3 | 1.26.16 |
virtualenv | 20.21.0 | 願景 | 0.7.5 | wadllib | 1.3.6 |
山葵 | 1.1.2 | wcwidth | 0.2.5 | 黃鼠狼 | 0.3.4 |
web編碼 | 0.5.1 | websocket-client | 0.58.0 | Werkzeug | 2.2.3 |
輪子 | 0.38.4 | widgetsnbextension | 4.0.5 | 文字雲 | 1.9.3 |
包裹著 | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
yarl | 1.8.1 | ydata 概況分析 | 4.5.1 | zip | 3.11.0 |
zstd | 1.5.5.1 |
R 函式庫
R 連結庫與 Databricks Runtime 15.2 中 R 連結庫 相同。
Java 和 Scala 函式庫(Scala 2.12 集群)
除了 Databricks Runtime 15.2 中的 Java 和 Scala 連結庫之外,Databricks Runtime 15.2 ML 還包含下列 JAR:
CPU 叢集
群組標識碼 | 工件識別碼 | 版本 |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
ml.dmlc | xgboost4j_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.3-db1-spark3.5 |
org.mlflow | mlflow-client | 2.11.1 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU 叢集
群組標識碼 | 工件識別碼 | 版本 |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.3-db1-spark3.5 |
org.mlflow | mlflow-client | 2.11.1 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |