Databricks Runtime 15.2 for Machine Learning
Środowisko Databricks Runtime 15.2 for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 15.2. Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.
Napiwek
Aby wyświetlić informacje o wersji środowiska Databricks Runtime, które osiągnęły koniec wsparcia technicznego (EoS), zobacz End-of-support Databricks Runtime release notes (Informacje o wersji środowiska Databricks Runtime). Wersje środowiska Uruchomieniowego usługi EoS Databricks zostały wycofane i mogą nie zostać zaktualizowane.
Nowe funkcje i ulepszenia
Środowisko Databricks Runtime 15.2 ML jest oparte na środowisku Databricks Runtime 15.2. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 15.2, w tym apache Spark MLlib i SparkR, zobacz informacje o wersji środowiska Databricks Runtime 15.2 .
Dodawanie zestawu danych przesyłania strumieniowego
StreamingDataset służy do trenowania dużych zestawów danych z magazynu w chmurze tak szybko, taniego i skalowalnego, jak to możliwe. Jest ona wstępnie zainstalowana w środowisku Databricks Runtime 15.2 ML.
Obsługa aplikacji Photon w klastrach procesora ML środowiska Databricks Runtime
Począwszy od środowiska Databricks Runtime 15.2 ML, możesz przyspieszyć obciążenia spark SQL i Spark DataFrame, włączając aplikację Photon w klastrze procesora CPU.
W przypadku aplikacji uczenia maszynowego aplikacja Photon zapewnia szybszą wydajność w przypadku przypadków użycia, takich jak:
- Przygotowywanie danych przy użyciu interfejsu API SQL lub ramki danych.
- Inżynieria cech z wyszukiwaniem do punktu w czasie.
- Analiza grafu za pomocą elementów GraphFrame.
Aplikacja Photon nie zwiększa wydajności bibliotek języka Python, takich jak TensorFlow, PyTorch i XGBoost.
Interfejsy API RDD platformy Spark i biblioteki MLlib platformy Spark mają ograniczoną zgodność z aplikacją Photon. Podczas przetwarzania dużych zestawów danych przy użyciu rdD platformy Spark lub biblioteki MLlib platformy Spark mogą wystąpić problemy z pamięcią platformy Spark. Zobacz Problemy z pamięcią platformy Spark.
Środowisko systemu
Środowisko systemowe w środowisku Databricks Runtime 15.2 ML różni się od środowiska Databricks Runtime 15.2 w następujący sposób:
- W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
- CUDA 12.1
- cusolver 11.4.5.107-1
- cupti 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
Biblioteki
W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 15.2 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 15.2.
W tej sekcji:
- Biblioteki najwyższego poziomu
- Biblioteki języka Python
- Biblioteki języka R
- Biblioteki Java i Scala (klaster Scala 2.12)
Biblioteki najwyższego poziomu
Środowisko Databricks Runtime 15.2 ML obejmuje następujące biblioteki najwyższego poziomu:
- Zestawy danych
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- TensorFlow
- TensorBoard
- Transformatory
Biblioteki języka Python
Środowisko Databricks Runtime 15.2 ML używa virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.
Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 15.2 ML zawiera również następujące pakiety:
- hyperopt 0.2.7+db3
- sparkdl 3.0.0_db1
- automl 1.26.0
Aby odtworzyć środowisko Języka Python środowiska Databricks Runtime ML w lokalnym środowisku wirtualnym języka Python, pobierz plik requirements-15.2.txt i uruchom polecenie pip install -r requirements-15.2.txt. To polecenie instaluje wszystkie biblioteki typu open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez usługę Databricks, takich jak databricks-automl, databricks-feature-engineeringlub rozwidlenie usługi Databricks .hyperopt
Biblioteki języka Python w klastrach procesora CPU
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | przyspieszać | 0.28.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | limit czasu asynchronicznego | 4.0.2 |
| attrs | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
| azure-cosmos | 4.3.1 | azure-identity | 1.16.0 | azure-storage-blob | 12.19.1 |
| azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.2 | black (czarny) | 23.3.0 | wybielacz | 4.1.0 |
| kierunkowskaz | 1.4 | blis | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | Brotli | 1.0.9 | cachetools | 5.3.3 |
| katalog | 2.0.10 | kodery kategorii | 2.6.3 | certifi | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| wyłącznik obwodowy | 1.4.0 | kliknięcie | 8.0.4 | cloudpathlib | 0.16.0 |
| cloudpickle | 2.2.1 | cmdstanpy | 1.2.2 | kolorowy | 0.5.6 |
| Comm | 0.1.2 | słodycze | 0.1.4 | configparser | 5.2.0 |
| konturowy | 1.0.5 | kryptografia | 41.0.3 | rowerzysta | 0.11.0 |
| cymem | 2.0.8 | Cython | 0.29.32 | dacite | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.4.0 | databricks-sdk | 0.20.0 |
| dataclasses-json | 0.6.4 | usługi Power BI | 2.18.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.2.18 | debugpy | 1.6.7 | dekorator | 5.1.1 |
| deepspeed | 0.14.0 | defusedxml | 0.7.1 | koper | 0.3.6 |
| diskcache | 5.6.3 | distlib | 0.3.8 | dm-tree | 0.1.8 |
| punkty wejścia | 0,4 | evaluate | 0.4.1 | Wykonywanie | 0.8.3 |
| aspekty — omówienie | 1.1.1 | Farama-Notifications | 0.0.4 | fastjsonschema | 2.19.1 |
| fasttext | 0.9.2 | filelock | 3.9.0 | Flask | 2.2.5 |
| flatbuffers | 24.3.25 | fonttools | 4.25.0 | zamrożona lista | 1.3.3 |
| fsspec | 2023.5.0 | przyszłość | 0.18.3 | Gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.27 | google-api-core | 2.18.0 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 |
| google-cloud-storage | 2.10.0 | google-crc32c | 1.5.0 | makaron google | 0.2.0 |
| google-resumable-media | 2.7.0 | googleapis-common-protos | 1.63.0 | greenlet | 2.0.1 |
| grpcio | 1.60.0 | stan obiektu grpcio | 1.60.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | sala gimnastyczna | 0.28.1 | h11 | 0.14.0 |
| h5py | 3.10.0 | hjson | 3.1.0 | wakacje | 0,45 |
| horovod | 0.28.1+db1 | htmlmin | 0.1.12 | httpcore | 1.0.5 |
| httplib2 | 0.20.2 | httpx | 0.27.0 | przytulanieface-hub | 0.20.2 |
| idna | 3.4 | ImageHash | 4.3.1 | imageio | 2.31.1 |
| niezrównoważona nauka | 0.11.0 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 |
| ipyflow-core | 0.0.198 | ipykernel | 6.25.1 | ipython | 8.15.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 8.0.4 | isodate | 0.6.1 |
| jegodangerous | 2.0.1 | jax-jumpy | 1.0.0 | jedi | 0.18.1 |
| Jeepney | 0.7.1 | Jinja2 | 3.1.2 | jmespath | 0.10.0 |
| joblib | 1.2.0 | joblibspark | 0.5.1 | jsonpatch | 1.33 |
| jsonpointer | 2,4 | jsonschema | 4.17.3 | jupyter-server | 1.23.4 |
| jupyter_client | 7.4.9 | jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 3.0.5 | keras | 3.1.1 | keyring | 23.5.0 |
| kiwisolver | 1.4.4 | langchain | 0.1.13 | langchain-community | 0.0.32 |
| langchain-core | 0.1.41 | langchain-text-splitters | 0.0.1 | langcodes | 3.3.0 |
| langsmith | 0.1.45 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lazy_loader | 0,2 | libclang | 15.0.6.1 |
| librosa | 0.10.1 | lightgbm | 4.3.0 | llvmlite | 0.40.0 |
| lxml | 4.9.2 | lz4 | 4.3.2 | Mako | 1.2.0 |
| Znaczniki języka Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 |
| Zefir | 3.21.1 | matplotlib | 3.7.2 | biblioteka matplotlib-inline | 0.1.6 |
| mdurl | 0.1.0 | mistune | 0.8.4 | ml-dtypes | 0.3.2 |
| mlflow-skinny | 2.11.3 | więcej itertools | 8.10.0 | mosaicml-streaming | 0.7.4 |
| mpmath | 1.3.0 | msal | 1.28.0 | msal-extensions | 1.1.0 |
| msgpack | 1.0.8 | multidict | 6.0.2 | multimethod | 1.11.2 |
| przetwarzanie wieloprocesowe | 0.70.14 | szmurhash | 1.0.10 | mypy-extensions | 0.4.3 |
| namex | 0.0.7 | nbclassic | 0.5.5 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| networkx | 3.1 | Ninja | 1.11.1.1 | nltk | 3.8.1 |
| notes | 6.5.4 | notebook_shim | 0.2.2 | numba | 0.57.1 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | Oci | 2.125.2 |
| openai | 1.14.3 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
| opt-einsum | 3.3.0 | optree | 0.11.0 | orjson | 3.10.0 |
| opakowanie | 23.2 | Pandas | 1.5.3 | pandocfilters | 1.5.0 |
| paramiko | 3.4.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| Patsy | 0.5.3 | petastorm | 0.12.1 | pexpect | 4.8.0 |
| phik | 0.12.4 | pickleshare | 0.7.5 | Poduszka | 9.4.0 |
| 23.2.1 | platformdirs | 3.10.0 | kreślenie | 5.9.0 | |
| pmdarima | 2.0.4 | kundel | 1.8.1 | portalocker | 2.8.2 |
| preshed | 3.0.9 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
| prorok | 1.1.5 | proto-plus | 1.23.0 | protobuf | 4.24.1 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py-cpuinfo | 8.0.0 | py-szpieg | 0.3.14 |
| pyarrow | 14.0.1 | pyarrow-hotfix | 0,6 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.12.0 | pyccolo | 0.0.52 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
| pynvml | 11.5.0 | pyodbc | 4.0.38 | pyOpenSSL | 23.2.0 |
| pyparsing | 3.0.9 | pirstent | 0.18.0 | pytesseract | 0.3.10 |
| python-dateutil | 2.8.2 | Python-editor | 1.0.4 | python-lsp-jsonrpc | 1.1.1 |
| python-snappy | 0.6.1 | pytz | 2022.7 | PyWavelets | 1.4.1 |
| PyYAML | 6.0 | pyzmq | 23.2.0 | promień | 2.10.0 |
| regex | 2022.7.9 | żądania | 2.31.0 | requests-oauthlib | 1.3.1 |
| Odpowiedzi | 0.13.3 | rich | 13.7.1 | rsa | 4.9 |
| s3transfer | 0.10.1 | bezpiecznetensory | 0.4.2 | scikit-image | 0.20.0 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | transformatory zdań | 2.6.1 |
| element zdania | 0.1.99 | setuptools | 68.0.0 | Shap | 0.44.0 |
| simplejson | 3.17.6 | Sześć | 1.16.0 | krajalnica | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | wąchanie | 1.2.0 |
| soundfile | 0.12.1 | zupy | 2,4 | soxr | 0.3.7 |
| spacy | 3.7.2 | spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 |
| spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
| srsly | 2.4.8 | ssh-import-id | 5,11 | stack-data | 0.2.0 |
| stanio | 0.5.0 | statsmodels | 0.14.0 | sympy | 1.11.1 |
| splątane-up-in-unicode | 0.2.0 | Wytrzymałość | 8.2.2 | tablica tensorboard | 2.16.2 |
| tensorboard-data-server | 0.7.2 | tensorboard_plugin_profile | 2.15.1 | tensorboardX | 2.6.2.2 |
| tensorflow-cpu | 2.16.1 | tensorflow-estimator | 2.15.0 | tensorflow-io-gcs-filesystem | 0.36.0 |
| termcolor | 2.4.0 | terminado | 0.17.1 | cienki | 8.2.3 |
| threadpoolctl | 2.2.0 | tifffile | 2021.7.2 | tiktoken | 0.5.2 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tokenizatory | 0.15.0 |
| pochodnia | 2.2.2+ procesor | torcheval | 0.0.7 | torchvision | 0.17.2+ procesor |
| tornado | 6.3.2 | tqdm | 4.65.0 | traitlety | 5.7.1 |
| Transformatory | 4.39.2 | osłona typów | 2.13.3 | typer | 0.9.4 |
| inspekcja wpisywania | 0.9.0 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
| ujson | 5.4.0 | nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.21.0 | Wizje | 0.7.5 | wadllib | 1.3.6 |
| wasabi | 1.1.2 | wcwidth | 0.2.5 | łasica | 0.3.4 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | Werkzeug | 2.2.3 |
| koło | 0.38.4 | widgetsnbextension | 4.0.5 | wordcloud | 1.9.3 |
| zawijanie | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| Yarl | 1.8.1 | profilowanie danych | 4.5.1 | zipp | 3.11.0 |
Biblioteki języka Python w klastrach gpu
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | przyspieszać | 0.28.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | limit czasu asynchronicznego | 4.0.2 |
| attrs | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
| azure-cosmos | 4.3.1 | azure-identity | 1.16.0 | azure-storage-blob | 12.19.1 |
| azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.2 | black (czarny) | 23.3.0 | wybielacz | 4.1.0 |
| kierunkowskaz | 1.4 | blis | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | Brotli | 1.0.9 | cachetools | 5.3.3 |
| katalog | 2.0.10 | kodery kategorii | 2.6.3 | certifi | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| wyłącznik obwodowy | 1.4.0 | kliknięcie | 8.0.4 | cloudpathlib | 0.16.0 |
| cloudpickle | 2.2.1 | cmdstanpy | 1.2.2 | kolorowy | 0.5.6 |
| Comm | 0.1.2 | słodycze | 0.1.4 | configparser | 5.2.0 |
| konturowy | 1.0.5 | kryptografia | 41.0.3 | rowerzysta | 0.11.0 |
| cymem | 2.0.8 | Cython | 0.29.32 | dacite | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.4.0 | databricks-sdk | 0.20.0 |
| dataclasses-json | 0.6.4 | usługi Power BI | 2.18.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.2.18 | debugpy | 1.6.7 | dekorator | 5.1.1 |
| deepspeed | 0.14.0 | defusedxml | 0.7.1 | koper | 0.3.6 |
| diskcache | 5.6.3 | distlib | 0.3.8 | dm-tree | 0.1.8 |
| einops | 0.7.0 | punkty wejścia | 0,4 | evaluate | 0.4.1 |
| Wykonywanie | 0.8.3 | aspekty — omówienie | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.19.1 | fasttext | 0.9.2 | filelock | 3.9.0 |
| flash-attn | 2.5.6 | Flask | 2.2.5 | flatbuffers | 24.3.25 |
| fonttools | 4.25.0 | zamrożona lista | 1.3.3 | fsspec | 2023.5.0 |
| przyszłość | 0.18.3 | Gast | 0.4.0 | gitdb | 4.0.11 |
| GitPython | 3.1.27 | google-api-core | 2.18.0 | google-auth | 2.21.0 |
| google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 | google-cloud-storage | 2.10.0 |
| google-crc32c | 1.5.0 | makaron google | 0.2.0 | google-resumable-media | 2.7.0 |
| googleapis-common-protos | 1.63.0 | greenlet | 2.0.1 | grpcio | 1.60.0 |
| stan obiektu grpcio | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| sala gimnastyczna | 0.28.1 | h11 | 0.14.0 | h5py | 3.10.0 |
| hjson | 3.1.0 | wakacje | 0,45 | horovod | 0.28.1+db1 |
| htmlmin | 0.1.12 | httpcore | 1.0.5 | httplib2 | 0.20.2 |
| httpx | 0.27.0 | przytulanieface-hub | 0.20.2 | idna | 3.4 |
| ImageHash | 4.3.1 | imageio | 2.31.1 | niezrównoważona nauka | 0.11.0 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 | ipyflow-core | 0.0.198 |
| ipykernel | 6.25.1 | ipython | 8.15.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 8.0.4 | isodate | 0.6.1 | jegodangerous | 2.0.1 |
| jax-jumpy | 1.0.0 | jedi | 0.18.1 | Jeepney | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| joblibspark | 0.5.1 | jsonpatch | 1.33 | jsonpointer | 2,4 |
| jsonschema | 4.17.3 | jupyter-server | 1.23.4 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 |
| keras | 3.1.1 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
| langchain | 0.1.13 | langchain-community | 0.0.32 | langchain-core | 0.1.41 |
| langchain-text-splitters | 0.0.1 | langcodes | 3.3.0 | langsmith | 0.1.45 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| lazy_loader | 0,2 | libclang | 15.0.6.1 | librosa | 0.10.1 |
| lightgbm | 4.3.0 | llvmlite | 0.40.0 | lxml | 4.9.2 |
| lz4 | 4.3.2 | Mako | 1.2.0 | Znaczniki języka Markdown | 3.4.1 |
| markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 | Zefir | 3.21.1 |
| matplotlib | 3.7.2 | biblioteka matplotlib-inline | 0.1.6 | mdurl | 0.1.0 |
| mistune | 0.8.4 | ml-dtypes | 0.3.2 | mlflow-skinny | 2.11.3 |
| więcej itertools | 8.10.0 | mosaicml-streaming | 0.7.4 | mpmath | 1.3.0 |
| msal | 1.28.0 | msal-extensions | 1.1.0 | msgpack | 1.0.8 |
| multidict | 6.0.2 | multimethod | 1.11.2 | przetwarzanie wieloprocesowe | 0.70.14 |
| szmurhash | 1.0.10 | mypy-extensions | 0.4.3 | namex | 0.0.7 |
| nbclassic | 0.5.5 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | networkx | 3.1 |
| Ninja | 1.11.1.1 | nltk | 3.8.1 | notes | 6.5.4 |
| notebook_shim | 0.2.2 | numba | 0.57.1 | numpy | 1.23.5 |
| nvidia-cublas-cu12 | 12.1.3.1 | nvidia-cuda-cupti-cu12 | 12.1.105 | nvidia-cuda-nvrtc-cu12 | 12.1.105 |
| nvidia-cuda-runtime-cu12 | 12.1.105 | nvidia-cudnn-cu12 | 8.9.2.26 | nvidia-cufft-cu12 | 11.0.2.54 |
| nvidia-curand-cu12 | 10.3.2.106 | nvidia-cusolver-cu12 | 11.4.5.107 | nvidia-cusparse-cu12 | 12.1.0.106 |
| nvidia-nccl-cu12 | 2.19.3 | nvidia-nvjitlink-cu12 | 12.4.127 | nvidia-nvtx-cu12 | 12.1.105 |
| oauthlib | 3.2.0 | Oci | 2.125.2 | openai | 1.14.3 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opt-einsum | 3.3.0 |
| optree | 0.11.0 | orjson | 3.10.0 | opakowanie | 23.2 |
| Pandas | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
| parso | 0.8.3 | pathspec | 0.10.3 | Patsy | 0.5.3 |
| petastorm | 0.12.1 | pexpect | 4.8.0 | phik | 0.12.4 |
| pickleshare | 0.7.5 | Poduszka | 9.4.0 | 23.2.1 | |
| platformdirs | 3.10.0 | kreślenie | 5.9.0 | pmdarima | 2.0.4 |
| kundel | 1.8.1 | portalocker | 2.8.2 | preshed | 3.0.9 |
| prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 | prorok | 1.1.5 |
| proto-plus | 1.23.0 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 8.0.0 | py-szpieg | 0.3.14 | pyarrow | 14.0.1 |
| pyarrow-hotfix | 0,6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.12.0 | pyccolo | 0.0.52 | pycparser | 2.21 |
| pydantic | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml | 11.5.0 |
| pyodbc | 4.0.38 | pyOpenSSL | 23.2.0 | pyparsing | 3.0.9 |
| pirstent | 0.18.0 | pytesseract | 0.3.10 | python-dateutil | 2.8.2 |
| Python-editor | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | python-snappy | 0.6.1 |
| pytz | 2022.7 | PyWavelets | 1.4.1 | PyYAML | 6.0 |
| pyzmq | 23.2.0 | promień | 2.10.0 | regex | 2022.7.9 |
| żądania | 2.31.0 | requests-oauthlib | 1.3.1 | Odpowiedzi | 0.13.3 |
| rich | 13.7.1 | rsa | 4.9 | s3transfer | 0.10.1 |
| bezpiecznetensory | 0.4.2 | scikit-image | 0.20.0 | scikit-learn | 1.3.0 |
| scipy | 1.11.1 | seaborn | 0.12.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | transformatory zdań | 2.6.1 | element zdania | 0.1.99 |
| setuptools | 68.0.0 | Shap | 0.44.0 | simplejson | 3.17.6 |
| Sześć | 1.16.0 | krajalnica | 0.0.7 | smart-open | 5.2.1 |
| smmap | 5.0.0 | wąchanie | 1.2.0 | soundfile | 0.12.1 |
| zupy | 2,4 | soxr | 0.3.7 | spacy | 3.7.2 |
| spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 | spark-tensorflow-distributor | 1.0.0 |
| SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 | srsly | 2.4.8 |
| ssh-import-id | 5,11 | stack-data | 0.2.0 | stanio | 0.5.0 |
| statsmodels | 0.14.0 | sympy | 1.11.1 | splątane-up-in-unicode | 0.2.0 |
| Wytrzymałość | 8.2.2 | tablica tensorboard | 2.16.2 | tensorboard-data-server | 0.7.2 |
| tensorboard_plugin_profile | 2.15.1 | tensorboardX | 2.6.2.2 | tensorflow | 2.16.1 |
| tensorflow-estimator | 2.15.0 | tensorflow-io-gcs-filesystem | 0.36.0 | termcolor | 2.4.0 |
| terminado | 0.17.1 | cienki | 8.2.3 | threadpoolctl | 2.2.0 |
| tifffile | 2021.7.2 | tiktoken | 0.5.2 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tokenizatory | 0.15.0 | pochodnia | 2.2.2+cu121 |
| torcheval | 0.0.7 | torchvision | 0.17.2+cu121 | tornado | 6.3.2 |
| tqdm | 4.65.0 | traitlety | 5.7.1 | Transformatory | 4.39.2 |
| tryton | 2.2.0 | osłona typów | 2.13.3 | typer | 0.9.4 |
| inspekcja wpisywania | 0.9.0 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
| ujson | 5.4.0 | nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.21.0 | Wizje | 0.7.5 | wadllib | 1.3.6 |
| wasabi | 1.1.2 | wcwidth | 0.2.5 | łasica | 0.3.4 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | Werkzeug | 2.2.3 |
| koło | 0.38.4 | widgetsnbextension | 4.0.5 | wordcloud | 1.9.3 |
| zawijanie | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| Yarl | 1.8.1 | profilowanie danych | 4.5.1 | zipp | 3.11.0 |
| zstd | 1.5.5.1 |
Biblioteki R
Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 15.2.
Biblioteki Java i Scala (klaster Scala 2.12)
Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 15.2 środowisko Databricks Runtime 15.2 ML zawiera następujące dane JAR:
Klastry procesora CPU
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.3-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.11.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Klastry procesora GPU
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.3-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.11.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |