Databricks Runtime 15.0 do uczenia maszynowego (EoS)
Uwaga
Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).
Środowisko Databricks Runtime 15.0 for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 15.0 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.
Nowe funkcje i ulepszenia
Środowisko Databricks Runtime 15.0 ML jest oparte na środowisku Databricks Runtime 15.0. Aby uzyskać informacje o nowościach w środowisku Databricks Runtime 15.0, w tym Apache Spark MLlib i SparkR, zobacz notatki o wydaniu środowiska Databricks Runtime 15.0 (EoS).
Zmiany powodujące niezgodność
Starszy interfejs wiersza polecenia usługi Databricks nie jest już instalowany domyślnie
W środowisku Databricks Runtime 14.3 LTS ML i nowszym, ponieważ wstępnie zainstalowana wersja biblioteki MLflow wymagała starszego interfejsu wiersza polecenia usługi Databricks (databricks/databricks-cli), została ona automatycznie zainstalowana w $PATH. Środowisko Databricks Runtime 15.0 ML zawiera bibliotekę MLflow w wersji 2.10.2, która nie wymaga starszego interfejsu wiersza polecenia.
Począwszy od wersji Databricks Runtime 15.0 ML, starszy interfejs CLI Databricks nie jest już automatycznie umieszczany w $PATH. Jest to zmiana powodująca niekompatybilność dla użytkowników, którzy polegają na przestarzałym interfejsie wiersza polecenia obecnym w środowisku uruchomieniowym. Polecenia takie jak %sh databricks ... nie działają już w środowisku Databricks Runtime 15.0 ML i nowszym.
Aby nadal korzystać ze starszego interfejsu wiersza polecenia (CLI) usługi Databricks z notatnika, zainstaluj go jako bibliotekę klastra lub notatnika. Nowy interfejs wiersza polecenia usługi Databricks (databricks/cli) jest dostępny w terminalu internetowym. Aby uzyskać więcej informacji, zobacz Używanie terminalu internetowego i interfejsu wiersza polecenia usługi Databricks.
Rozwiązanie MLeap nie jest już dostępne, począwszy od środowiska Databricks Runtime 15.0 ML
Rozwiązanie MLeap nie jest już dostępne w środowisku Databricks Runtime 15.0 ML i nowszym. Aby spakować modele do wdrażania na platformach opartych na JVM, usługa Databricks zaleca użycie formatu ONNX.
Zaprzestanie wsparcia dla Horovod i HorovodRunner
Horovod i HorovodRunner są teraz przestarzałe. W przypadku rozproszonego uczenia głębokiego usługa Databricks zaleca używanie narzędzia TorchDistributor do trenowania rozproszonego za pomocą biblioteki PyTorch lub interfejsu tf.distribute.Strategy API na potrzeby trenowania rozproszonego za pomocą biblioteki TensorFlow. Narzędzia Horovod i HorovodRunner są wstępnie zainstalowane w Databricks Runtime 15.0 ML, ale zostaną usunięte w następnej głównej wersji Databricks Runtime ML.
Uwaga
horovod.spark nie obsługuje pyarrow w wersji 11.0 i nowszych (zobacz odpowiednie zgłoszenie GitHub). Środowisko Databricks Runtime 15.0 ML zawiera wersję pyarrow 14.0.1. Aby używać horovod.spark z Databricks Runtime 15.0 ML lub nowszym, należy ręcznie zainstalować pakiet pyarrow, określając wersję poniżej 11.0.
Środowisko systemu
Środowisko systemowe w środowisku Databricks Runtime 15.0 ML różni się od środowiska Databricks Runtime 15.0 w następujący sposób:
- W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
- CUDA 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
Biblioteki
W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 15.0 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 15.0.
W tej sekcji:
- Biblioteki najwyższego poziomu
- Biblioteki języka Python
- Biblioteki języka R
- Biblioteki Java i Scala (klaster Scala 2.12)
Biblioteki najwyższego poziomu
Środowisko Databricks Runtime 15.0 ML obejmuje następujące biblioteki najwyższego poziomu:
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
- (Przestarzałe) Horovod i HorovodRunner
Biblioteki języka Python
Środowisko Databricks Runtime 15.0 ML używa virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.
Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 15.0 ML zawiera również następujące pakiety:
- hyperopt 0.2.7+db4
- sparkdl 3.0.0_db1
- automl 1.25.0
Aby odtworzyć środowisko Databricks Runtime ML dla języka Python w lokalnym środowisku wirtualnym języka Python, pobierz plik requirements-15.0.txt i uruchom polecenie pip install -r requirements-15.0.txt. To polecenie instaluje wszystkie biblioteki open source, które są używane przez Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez Databricks, takich jak databricks-automl, databricks-feature-store, lub rozwidlenie Databricks dla hyperopt.
Biblioteki języka Python w klastrach procesora CPU
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | przyspieszać | 0.25.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | limit czasu asynchronicznego | 4.0.2 |
| attrs | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
| azure-cosmos | 4.3.1 | azure-storage-blob | 12.19.0 | azure-storage-file-datalake | 12.14.0 |
| oddzwonienie | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
| czarny | 23.3.0 | wybielacz | 4.1.0 | błogosławiony | 1.20.0 |
| kierunkowskaz | 1.4 | błogość | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | katalog | 2.0.10 |
| kodery kategorii | 2.6.3 | certyfikat | 2023.7.22 | cffi | 1.15.1 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | kliknięcie | 8.0.4 |
| cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
| kolorowy | 0.5.6 | Komunikacja | 0.1.2 | słodycze | 0.1.4 |
| configparser | 5.2.0 | contourpy | 1.0.5 | kryptografia | 41.0.3 |
| rowerzysta | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
| dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks inżynieria cech | 0.3.0 |
| databricks-sdk | 0.20.0 | dataclasses-json | 0.6.4 | zestawy danych | 2.16.1 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| dekorator | 5.1.1 | deepspeed | 0.13.1 | defusedxml | 0.7.1 |
| koper | 0.3.6 | diskcache | 5.6.3 | distlib | 0.3.8 |
| dm-tree | 0.1.8 | punkty wejścia | 0,4 | ocenić | 0.4.1 |
| Wykonywanie | 0.8.3 | aspekty — omówienie | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.19.1 | fasttext | 0.9.2 | filelock | 3.9.0 |
| Flask | 2.2.5 | flatbuffers | 23.5.26 | fonttools | 4.25.0 |
| zamrożona lista | 1.3.3 | fsspec | 2023.5.0 | przyszłość | 0.18.3 |
| Гаст | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.27 |
| google-api-core | 2.17.1 | google-auth | 2.21.0 | google-auth-oauthlib | 1.0.0 |
| google-cloud-core | 2.4.1 | google-cloud-storage (usługa przechowywania w chmurze Google) | 2.11.0 | google-crc32c | 1.5.0 |
| google-pasta | 0.2.0 | google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 |
| gpustat | 1.1.1 | greenlet | 2.0.1 | grpcio | 1.60.0 |
| status grpcio | 1.60.0 | gunicorn | 20.1.0 | Gviz-API | 1.10.0 |
| sala gimnastyczna | 0.28.1 | h11 | 0.14.0 | h5py | 3.9.0 |
| hjson | 3.1.0 | wakacje | 0.38 | horovod | 0.28.1+db1 |
| htmlmin | 0.1.12 | httpcore | 1.0.4 | httplib2 | 0.20.2 |
| httpx | 0.27.0 | huggingface-hub | 0.20.2 | idna | 3.4 |
| ImageHash | 4.3.1 | imageio | 2.31.1 | niezrównoważona nauka | 0.11.0 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 |
| ipykernel | 6.25.1 | ipython | 8.15.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 8.0.4 | isodate | 0.6.1 | to jest niebezpieczne | 2.0.1 |
| jax-jumpy | 1.0.0 | Jedi | 0.18.1 | Jeepney | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| joblibspark | 0.5.1 | jsonpatch | 1.33 | jsonpointer | 2,4 |
| jsonschema | 4.17.3 | jupyter-server | 1.23.4 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 |
| keras | 2.15.0 | brelok | 23.5.0 | kiwisolver | 1.4.4 |
| langchain | 0.1.3 | langchain-community | 0.0.20 | langchain-core | 0.1.23 |
| kody językowe | 3.3.0 | langsmith | 0.0.87 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lazy_loader | 0,2 |
| libclang | 16.0.6 | librosa | 0.10.1 | lightgbm | 4.2.0 |
| llvmlite | 0.40.0 | lxml | 4.9.2 | lz4 | 4.3.2 |
| Mako | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.1 | Zefir | 3.21.1 | matplotlib | 3.7.2 |
| biblioteka matplotlib-inline | 0.1.6 | mdurl | 0.1.0 | mistune | 0.8.4 |
| ml-dtypes | 0.2.0 | mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 |
| mpmath | 1.3.0 | msgpack | 1.0.8 | multidict | 6.0.2 |
| wielometoda | 1.11.2 | przetwarzanie wieloprocesowe | 0.70.14 | szmurhash | 1.0.10 |
| mypy-extensions | 0.4.3 | nbclassic | 0.5.5 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| networkx | 3.1 | Ninja | 1.11.1.1 | nltk | 3.8.1 |
| notatnik | 6.5.4 | notebook_shim | 0.2.2 | numba | 0.57.1 |
| numpy | 1.23.5 | nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 |
| OpenAI | 1.9.0 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
| opt-einsum | 3.3.0 | opakowanie | 23.2 | Pandas | 2.0.3 |
| pandocfilters | 1.5.0 | paramiko | 2.9.2 | parso | 0.8.3 |
| pathspec | 0.10.3 | Patsy | 0.5.3 | petastorm | 0.12.1 |
| pexpect | 4.8.0 | phik | 0.12.4 | pickleshare | 0.7.5 |
| Poduszka | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
| kreślenie | 5.9.0 | pmdarima | 2.0.4 | kundel | 1.8.1 |
| preshed | 3.0.9 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
| prorok | 1.1.5 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 8.0.0 | py-spy | 0.3.14 | pyarrow | 14.0.1 |
| pyarrow-hotfix | 0,6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.11.1 | pyccolo | 0.0.52 | pycparser | 2.21 |
| pydantic | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml | 11.5.0 |
| pyodbc | 4.0.38 | pyparsing | 3.0.9 | pyrsistent | 0.18.0 |
| pytesseract | 0.3.10 | python-dateutil | 2.8.2 | Python-editor | 1.0.4 |
| python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 | PyWavelets | 1.4.1 |
| PyYAML | 6.0 | pyzmq | 23.2.0 | promień | 2.9.3 |
| regex | 2022.7.9 | żądania | 2.31.0 | requests-oauthlib | 1.3.1 |
| Odpowiedzi | 0.13.3 | bogaty | 13.7.1 | rsa | 4.9 |
| s3transfer | 0.10.0 | bezpiecznetensory | 0.3.2 | scikit-image | 0.20.0 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | transformatory zdań | 2.2.2 |
| element zdania | 0.1.99 | setuptools | 68.0.0 | Shap | 0.44.0 |
| simplejson | 3.17.6 | Sześć | 1.16.0 | krajalnica | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | sniffio | 1.2.0 |
| plik dźwiękowy | 0.12.1 | sito do zup | 2,4 | soxr | 0.3.7 |
| spacy | 3.7.2 | spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 |
| spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
| serio | 2.4.8 | ssh-import-id | 5,11 | stack-data | 0.2.0 |
| cyna | 0.3.0 | statsmodels | 0.14.0 | sympy | 1.11.1 |
| splątane w unicode | 0.2.0 | Wytrzymałość | 8.2.2 | TensorBoard | 2.15.1 |
| tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile (plugin profilowania tensorboard) | 2.15.0 | tensorboardX | 2.6.2.2 |
| tensorflow-cpu | 2.15.0 | tensorflow-estimator | 2.15.0 | tensorflow-io-gcs-filesystem | 0.36.0 |
| termcolor | 2.4.0 | ukończony | 0.17.1 | cienki | 8.2.3 |
| threadpoolctl | 2.2.0 | tifffile | 2021.7.2 | tiktoken | 0.5.2 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tokenizatory | 0.15.0 |
| pochodnia | 2.1.2+ procesor | torcheval | 0.0.7 | torchvision | 0.16.2+ procesor |
| tornado | 6.3.2 | tqdm | 4.65.0 | traitlets | 5.7.1 |
| Transformatory | 4.36.2 | stróż typów | 2.13.3 | typer | 0.9.0 |
| inspekcja pisania | 0.9.0 | typing_extensions | 4.7.1 | tzdata | 2022.1 |
| ujson | 5.4.0 | nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.21.0 | Wizje | 0.7.5 | wadllib | 1.3.6 |
| wasabi | 1.1.2 | wcwidth | 0.2.5 | łasica | 0.3.4 |
| webencodings | 0.5.1 | klient websocket | 0.58.0 | Werkzeug | 2.2.3 |
| koło | 0.38.4 | widgetsnbextension | 4.0.5 | wordcloud | 1.9.3 |
| zawijanie | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| Yarl | 1.8.1 | profilowanie danych | 4.5.1 | zipp | 3.11.0 |
Biblioteki języka Python w klastrach gpu
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | przyspieszać | 0.25.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
| attrs | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
| azure-cosmos | 4.3.1 | magazyn-blob w usłudze Azure | 12.19.0 | azure-storage-file-datalake | 12.14.0 |
| przywołanie zwrotne | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
| czarny | 23.3.0 | wybielacz | 4.1.0 | błogosławiony | 1.20.0 |
| kierunkowskaz | 1.4 | blis | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | katalog | 2.0.10 |
| kodery kategorii | 2.6.3 | certyfikat | 2023.7.22 | cffi | 1.15.1 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | kliknięcie | 8.0.4 |
| cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
| kolorowy | 0.5.6 | Komunikacja | 0.1.2 | cukiernictwo | 0.1.4 |
| configparser | 5.2.0 | contourpy | 1.0.5 | kryptografia | 41.0.3 |
| rowerzysta | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
| dacyt | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-inżynieria cech | 0.3.0 |
| databricks-sdk | 0.20.0 | dataclasses-json | 0.6.4 | zbiory danych | 2.16.1 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| dekorator | 5.1.1 | deepspeed | 0.13.1 | defusedxml | 0.7.1 |
| koper | 0.3.6 | diskcache | 5.6.3 | distlib | 0.3.8 |
| dm-tree | 0.1.8 | einops | 0.7.0 | punkty wejścia | 0,4 |
| ocenić | 0.4.1 | Wykonywanie | 0.8.3 | aspekty — omówienie | 1.1.1 |
| Farama-Powiadomienia | 0.0.4 | fastjsonschema | 2.19.1 | fasttext | 0.9.2 |
| filelock | 3.9.0 | flash-attn | 2.5.0 | Flask | 2.2.5 |
| flatbuffers | 23.5.26 | fonttools | 4.25.0 | lista zamrożona | 1.3.3 |
| fsspec | 2023.5.0 | przyszłość | 0.18.3 | gość | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.27 | google-api-core | 2.17.1 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 |
| google-cloud-storage | 2.11.0 | google-crc32c | 1.5.0 | Makaron Google | 0.2.0 |
| google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 | gpustat | 1.1.1 |
| greenlet | 2.0.1 | grpcio | 1.60.0 | status grpcio | 1.60.0 |
| gunicorn | 20.1.0 | gviz-api | 1.10.0 | sala gimnastyczna | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.9.0 | hjson | 3.1.0 |
| wakacje | 0.38 | horowód | 0.28.1+db1 | htmlmin | 0.1.12 |
| httpcore | 1.0.4 | httplib2 | 0.20.2 | httpx | 0.27.0 |
| huggingface-hub | 0.20.2 | idna | 3.4 | ImageHash | 4.3.1 |
| imageio | 2.31.1 | niezrównoważona nauka | 0.11.0 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 8.0.4 |
| isodate | 0.6.1 | jegodangerous | 2.0.1 | jax-jumpy | 1.0.0 |
| Jedi | 0.18.1 | Jeepney | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | joblibspark | 0.5.1 |
| jsonpatch | 1.33 | jsonpointer | 2,4 | jsonschema | 4.17.3 |
| serwer Jupyter | 1.23.4 | jupyter_client | 7.4.9 | jupyter_core | 5.3.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 | keras | 2.15.0 |
| brelok | 23.5.0 | kiwisolver | 1.4.4 | langchain | 0.1.3 |
| langchain-community | 0.0.20 | langchain-core | 0.1.23 | kody językowe | 3.3.0 |
| langsmith | 0.0.87 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lazy_loader | 0,2 | libclang | 16.0.6 |
| librosa | 0.10.1 | lightgbm | 4.2.0 | llvmlite | 0.40.0 |
| lxml | 4.9.2 | lz4 | 4.3.2 | Mako | 1.2.0 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 |
| pianka cukrowa | 3.21.1 | matplotlib | 3.7.2 | pakiet matplotlib-inline | 0.1.6 |
| mdurl | 0.1.0 | mistune | 0.8.4 | ml-dtypes | 0.2.0 |
| mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 | mpmath | 1.3.0 |
| msgpack | 1.0.8 | multidict | 6.0.2 | wielometodowy | 1.11.2 |
| wieloprocesowy | 0.70.14 | szmurhash | 1.0.10 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.5 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | networkx | 3.1 |
| Ninja | 1.11.1.1 | nltk | 3.8.1 | notatnik | 6.5.4 |
| notebook_shim | 0.2.2 | numba | 0.57.1 | numpy | 1.23.5 |
| nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 | OpenAI | 1.9.0 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opt-einsum | 3.3.0 |
| opakowanie | 23.2 | Pandas | 2.0.3 | pandocfilters | 1.5.0 |
| paramiko | 2.9.2 | parso | 0.8.3 | specyfikacja ścieżki | 0.10.3 |
| frajer | 0.5.3 | petastorm | 0.12.1 | pexpect | 4.8.0 |
| phik | 0.12.4 | pickleshare | 0.7.5 | Poduszka | 9.4.0 |
| pip | 23.2.1 | platformdirs | 3.10.0 | kreślenie | 5.9.0 |
| pmdarima | 2.0.4 | kundel | 1.8.1 | wstępnie przetworzony | 3.0.9 |
| prompt-toolkit | 3.0.36 | prorok | 1.1.5 | protobuf | 4.24.1 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py-cpuinfo | 8.0.0 | py-spy | 0.3.14 |
| pyarrow | 14.0.1 | pyarrow-hotfix | 0,6 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | pyccolo | 0.0.52 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
| pynvml | 11.5.0 | pyodbc | 4.0.38 | pyparsing | 3.0.9 |
| pyrsistent | 0.18.0 | pytesseract | 0.3.10 | python-dateutil | 2.8.2 |
| Python-editor | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 |
| PyWavelets | 1.4.1 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| promień | 2.9.3 | regex | 2022.7.9 | żądania | 2.31.0 |
| requests-oauthlib | 1.3.1 | Odpowiedzi | 0.13.3 | bogaty | 13.7.1 |
| rsa | 4.9 | s3transfer | 0.10.0 | safetensors | 0.3.2 |
| scikit-image | 0.20.0 | scikit-learn | 1.3.0 | scipy | 1.11.1 |
| seaborn | 0.12.2 | SecretStorage | 3.3.1 | Send2Trash | 1.8.0 |
| transformatory zdań | 2.2.2 | element zdania | 0.1.99 | setuptools | 68.0.0 |
| Shap | 0.44.0 | simplejson | 3.17.6 | Sześć | 1.16.0 |
| krajalnica | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.2.0 | plik dźwiękowy | 0.12.1 | sito do zupy | 2,4 |
| soxr | 0.3.7 | przestronny | 3.7.2 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 |
| sqlparse | 0.4.2 | serio | 2.4.8 | ssh-import-id | 5,11 |
| stack-data | 0.2.0 | stanio | 0.3.0 | statsmodels | 0.14.0 |
| sympy | 1.11.1 | splątane w Unicode | 0.2.0 | Wytrzymałość | 8.2.2 |
| TensorBoard | 2.15.1 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.15.0 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.15.0 | TensorFlow-estymator | 2.15.0 |
| tensorflow-io-gcs-filesystem | 0.36.0 | termcolor | 2.4.0 | zakończone | 0.17.1 |
| cienki | 8.2.3 | threadpoolctl | 2.2.0 | tifffile | 2021.7.2 |
| tiktoken | 0.5.2 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
| tokenizatory | 0.15.0 | pochodnia | 2.1.2+cu121 | torcheval | 0.0.7 |
| torchvision | 0.16.2+cu121 | tornado | 6.3.2 | tqdm | 4.65.0 |
| traitlets | 5.7.1 | Transformatory | 4.36.2 | tryton | 2.1.0 |
| osłona typów | 2.13.3 | typer | 0.9.0 | analiza wpisywania | 0.9.0 |
| typing_extensions | 4.7.1 | tzdata | 2022.1 | ujson | 5.4.0 |
| nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.21.0 |
| Wizje | 0.7.5 | wadllib | 1.3.6 | wasabi | 1.1.2 |
| wcwidth | 0.2.5 | łasica | 0.3.4 | kodowania sieciowe | 0.5.1 |
| websocket-client | 0.58.0 | Werkzeug | 2.2.3 | koło | 0.38.4 |
| widgetsnbextension | 4.0.5 | wordcloud | 1.9.3 | owinięty | 1.14.1 |
| xgboost | 2.0.3 | xxhash | 3.4.1 | Yarl | 1.8.1 |
| profilowanie danych | 4.5.1 | zipp | 3.11.0 |
Biblioteki R
Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 15.0.
Biblioteki Java i Scala (klaster Scala 2.12)
Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 15.0 środowisko Databricks Runtime 15.0 ML zawiera następujące jednostki JAR:
Klastry procesora CPU
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.10.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Klastry procesora GPU
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.10.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |