Databricks Runtime 15.1 for Machine Learning (EoS)
Uwaga
Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).
Środowisko Databricks Runtime 15.1 for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 15.1 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.
Napiwek
Aby wyświetlić informacje o wersji środowiska Databricks Runtime, które osiągnęły koniec wsparcia technicznego (EoS), zobacz End-of-support Databricks Runtime release notes (Informacje o wersji środowiska Databricks Runtime). Wersje środowiska Uruchomieniowego usługi EoS Databricks zostały wycofane i mogą nie zostać zaktualizowane.
Nowe funkcje i ulepszenia
Środowisko Databricks Runtime 15.1 ML jest oparte na środowisku Databricks Runtime 15.1. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 15.1, w tym apache Spark MLlib i SparkR, zobacz informacje o wersji środowiska Databricks Runtime 15.1 (EoS).
Zmiany powodujące niezgodność
Starszy interfejs wiersza polecenia usługi Databricks nie jest już instalowany domyślnie
W środowisku Databricks Runtime 14.3 LTS ML i nowszym, ponieważ wstępnie zainstalowana wersja biblioteki MLflow wymagała starszego interfejsu wiersza polecenia usługi Databricks, została ona automatycznie zainstalowana w programie $PATH
. Środowisko Databricks Runtime 15.1 ML zawiera bibliotekę MLflow w wersji 2.10.2, która nie wymaga starszego interfejsu wiersza polecenia.
Począwszy od środowiska Databricks Runtime 15.1 ML, starszy interfejs wiersza polecenia usługi Databricks nie jest już automatycznie instalowany w programie $PATH
. Jest to zmiana powodująca niezgodność dla użytkowników, którzy zależą od starszego interfejsu wiersza polecenia instalowanego w środowisku uruchomieniowym. Polecenia takie jak %sh databricks ...
nie działają już w środowisku Databricks Runtime 15.1 ML i nowszym.
Aby nadal korzystać ze starszego interfejsu wiersza polecenia usługi Databricks z notesu, zainstaluj go jako klaster lub bibliotekę notesów. Nowy interfejs wiersza polecenia usługi Databricks jest dostępny w terminalu internetowym. Aby uzyskać więcej informacji, zobacz Używanie terminalu internetowego i interfejsu wiersza polecenia usługi Databricks.
Środowisko MLeap nie jest już dostępne, począwszy od środowiska Databricks Runtime 15.1 ML
Rozwiązanie MLeap nie jest już dostępne w środowisku Databricks Runtime 15.1 ML i nowszym. Aby spakować modele wdrażania na platformach opartych na maszynach JVM, usługa Databricks zaleca użycie formatu ONNX.
Wycofanie platform Horovod i HorovodRunner
Horovod i HorovodRunner są teraz przestarzałe. W przypadku rozproszonego uczenia głębokiego usługa Databricks zaleca używanie narzędzia TorchDistributor do trenowania rozproszonego za pomocą biblioteki PyTorch lub interfejsu tf.distribute.Strategy
API na potrzeby trenowania rozproszonego za pomocą biblioteki TensorFlow. Narzędzia Horovod i HorovodRunner są wstępnie zainstalowane w środowisku Databricks Runtime 15.1 ML, ale zostaną usunięte w następnej głównej wersji uczenia maszynowego środowiska Databricks Runtime.
Uwaga
horovod.spark
program nie obsługuje wersji pyarrow w wersji 11.0 lub nowszej (zobacz odpowiedni problem z usługą GitHub). Środowisko Databricks Runtime 15.1 ML zawiera pyarrow w wersji 14.0.1. Aby korzystać horovod.spark
z środowiska Databricks Runtime 15.1 ML lub nowszego, należy ręcznie zainstalować plik pyarrow, określając wersję poniżej wersji 11.0.
Środowisko systemu
Środowisko systemowe w środowisku Databricks Runtime 15.1 ML różni się od środowiska Databricks Runtime 15.1 w następujący sposób:
- W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
- CUDA 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
Biblioteki
W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 15.1 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 15.1.
W tej sekcji:
- Biblioteki najwyższego poziomu
- Biblioteki języka Python
- Biblioteki języka R
- Biblioteki Java i Scala (klaster Scala 2.12)
Biblioteki najwyższego poziomu
Środowisko Databricks Runtime 15.1 ML obejmuje następujące biblioteki najwyższego poziomu:
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
- (Przestarzałe) Horovod i HorovodRunner
Biblioteki języka Python
Środowisko Databricks Runtime 15.1 ML używa virtualenv
do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.
Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 15.1 ML zawiera również następujące pakiety:
- hyperopt 0.2.7+db4
- sparkdl 3.0.0_db1
- automl 1.25.0
Aby odtworzyć środowisko Języka Python środowiska Databricks Runtime ML w lokalnym środowisku wirtualnym języka Python, pobierz plik requirements-15.1.txt i uruchom polecenie pip install -r requirements-15.1.txt
. To polecenie instaluje wszystkie biblioteki typu open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez usługę Databricks, takich jak databricks-automl
, databricks-feature-store
lub rozwidlenie usługi Databricks .hyperopt
Biblioteki języka Python w klastrach procesora CPU
Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
---|---|---|---|---|---|
absl-py | 1.0.0 | przyspieszać | 0.25.0 | aiohttp | 3.8.5 |
aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Astor | 0.8.1 |
asttokens | 2.0.5 | astunparse | 1.6.3 | limit czasu asynchronicznego | 4.0.2 |
attrs | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
azure-cosmos | 4.3.1 | azure-storage-blob | 12.19.0 | azure-storage-file-datalake | 12.14.0 |
backcall | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
black (czarny) | 23.3.0 | wybielacz | 4.1.0 | błogosławiony | 1.20.0 |
kierunkowskaz | 1.4 | blis | 0.7.11 | boto3 | 1.34.39 |
botocore | 1.34.39 | cachetools | 5.3.3 | katalog | 2.0.10 |
kodery kategorii | 2.6.3 | certifi | 2023.7.22 | cffi | 1.15.1 |
chardet | 4.0.0 | charset-normalizer | 2.0.4 | kliknięcie | 8.0.4 |
cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
kolorowy | 0.5.6 | Comm | 0.1.2 | słodycze | 0.1.4 |
configparser | 5.2.0 | konturowy | 1.0.5 | kryptografia | 41.0.3 |
rowerzysta | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.3.0 |
databricks-sdk | 0.20.0 | dataclasses-json | 0.6.4 | usługi Power BI | 2.16.1 |
dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
dekorator | 5.1.1 | deepspeed | 0.13.1 | defusedxml | 0.7.1 |
koper | 0.3.6 | diskcache | 5.6.3 | distlib | 0.3.8 |
dm-tree | 0.1.8 | punkty wejścia | 0,4 | evaluate | 0.4.1 |
Wykonywanie | 0.8.3 | aspekty — omówienie | 1.1.1 | Farama-Notifications | 0.0.4 |
fastjsonschema | 2.19.1 | fasttext | 0.9.2 | filelock | 3.9.0 |
Flask | 2.2.5 | flatbuffers | 23.5.26 | fonttools | 4.25.0 |
zamrożona lista | 1.3.3 | fsspec | 2023.5.0 | przyszłość | 0.18.3 |
Gast | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.27 |
google-api-core | 2.17.1 | google-auth | 2.21.0 | google-auth-oauthlib | 1.0.0 |
google-cloud-core | 2.4.1 | google-cloud-storage | 2.11.0 | google-crc32c | 1.5.0 |
makaron google | 0.2.0 | google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 |
gpustat | 1.1.1 | greenlet | 2.0.1 | grpcio | 1.60.0 |
stan obiektu grpcio | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
sala gimnastyczna | 0.28.1 | h11 | 0.14.0 | h5py | 3.9.0 |
hjson | 3.1.0 | wakacje | 0.38 | horovod | 0.28.1+db1 |
htmlmin | 0.1.12 | httpcore | 1.0.4 | httplib2 | 0.20.2 |
httpx | 0.27.0 | przytulanieface-hub | 0.20.2 | idna | 3.4 |
ImageHash | 4.3.1 | imageio | 2.31.1 | niezrównoważona nauka | 0.11.0 |
importlib-metadata | 6.0.0 | importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 |
ipykernel | 6.25.1 | ipython | 8.15.0 | ipython-genutils | 0.2.0 |
ipywidgets | 8.0.4 | isodate | 0.6.1 | jegodangerous | 2.0.1 |
jax-jumpy | 1.0.0 | jedi | 0.18.1 | Jeepney | 0.7.1 |
Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
joblibspark | 0.5.1 | jsonpatch | 1.33 | jsonpointer | 2,4 |
jsonschema | 4.17.3 | jupyter-server | 1.23.4 | jupyter_client | 7.4.9 |
jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 |
keras | 2.15.0 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
langchain | 0.1.3 | langchain-community | 0.0.20 | langchain-core | 0.1.23 |
langcodes | 3.3.0 | langsmith | 0.0.87 | launchpadlib | 1.10.16 |
lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lazy_loader | 0,2 |
libclang | 16.0.6 | librosa | 0.10.1 | lightgbm | 4.2.0 |
llvmlite | 0.40.0 | lxml | 4.9.2 | lz4 | 4.3.2 |
Mako | 1.2.0 | Znaczniki języka Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
MarkupSafe | 2.1.1 | Zefir | 3.21.1 | matplotlib | 3.7.2 |
biblioteka matplotlib-inline | 0.1.6 | mdurl | 0.1.0 | mistune | 0.8.4 |
ml-dtypes | 0.2.0 | mlflow-skinny | 2.10.2 | więcej itertools | 8.10.0 |
mpmath | 1.3.0 | msgpack | 1.0.8 | multidict | 6.0.2 |
multimethod | 1.11.2 | przetwarzanie wieloprocesowe | 0.70.14 | szmurhash | 1.0.10 |
mypy-extensions | 0.4.3 | nbclassic | 0.5.5 | nbclient | 0.5.13 |
nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
networkx | 3.1 | Ninja | 1.11.1.1 | nltk | 3.8.1 |
notes | 6.5.4 | notebook_shim | 0.2.2 | numba | 0.57.1 |
numpy | 1.23.5 | nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 |
openai | 1.9.0 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
opt-einsum | 3.3.0 | opakowanie | 23.2 | Pandas | 1.5.3 |
pandocfilters | 1.5.0 | paramiko | 2.9.2 | parso | 0.8.3 |
pathspec | 0.10.3 | Patsy | 0.5.3 | petastorm | 0.12.1 |
pexpect | 4.8.0 | phik | 0.12.4 | pickleshare | 0.7.5 |
Poduszka | 9.4.0 | 23.2.1 | platformdirs | 3.10.0 | |
kreślenie | 5.9.0 | pmdarima | 2.0.4 | kundel | 1.8.1 |
preshed | 3.0.9 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
prorok | 1.1.5 | protobuf | 4.24.1 | psutil | 5.9.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
py-cpuinfo | 8.0.0 | py-szpieg | 0.3.14 | pyarrow | 14.0.1 |
pyarrow-hotfix | 0,6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
pybind11 | 2.11.1 | pyccolo | 0.0.52 | pycparser | 2.21 |
pydantic | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml | 11.5.0 |
pyodbc | 4.0.38 | pyparsing | 3.0.9 | pirstent | 0.18.0 |
pytesseract | 0.3.10 | python-dateutil | 2.8.2 | Python-editor | 1.0.4 |
python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 | PyWavelets | 1.4.1 |
PyYAML | 6.0 | pyzmq | 23.2.0 | promień | 2.9.3 |
regex | 2022.7.9 | żądania | 2.31.0 | requests-oauthlib | 1.3.1 |
Odpowiedzi | 0.13.3 | rich | 13.7.1 | rsa | 4.9 |
s3transfer | 0.10.0 | bezpiecznetensory | 0.3.2 | scikit-image | 0.20.0 |
scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | transformatory zdań | 2.2.2 |
element zdania | 0.1.99 | setuptools | 68.0.0 | Shap | 0.44.0 |
simplejson | 3.17.6 | Sześć | 1.16.0 | krajalnica | 0.0.7 |
smart-open | 5.2.1 | smmap | 5.0.0 | wąchanie | 1.2.0 |
soundfile | 0.12.1 | zupy | 2,4 | soxr | 0.3.7 |
spacy | 3.7.2 | spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 |
spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
srsly | 2.4.8 | ssh-import-id | 5,11 | stack-data | 0.2.0 |
stanio | 0.3.0 | statsmodels | 0.14.0 | sympy | 1.11.1 |
splątane-up-in-unicode | 0.2.0 | Wytrzymałość | 8.2.2 | tablica tensorboard | 2.15.1 |
tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.15.0 | tensorboardX | 2.6.2.2 |
tensorflow-cpu | 2.15.0 | tensorflow-estimator | 2.15.0 | tensorflow-io-gcs-filesystem | 0.36.0 |
termcolor | 2.4.0 | terminado | 0.17.1 | cienki | 8.2.3 |
threadpoolctl | 2.2.0 | tifffile | 2021.7.2 | tiktoken | 0.5.2 |
tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tokenizatory | 0.15.0 |
pochodnia | 2.1.2+ procesor | torcheval | 0.0.7 | torchvision | 0.16.2+ procesor |
tornado | 6.3.2 | tqdm | 4.65.0 | traitlety | 5.7.1 |
Transformatory | 4.36.2 | osłona typów | 2.13.3 | typer | 0.9.0 |
inspekcja wpisywania | 0.9.0 | typing_extensions | 4.7.1 | tzdata | 2022.1 |
ujson | 5.4.0 | nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.26.16 |
virtualenv | 20.21.0 | Wizje | 0.7.5 | wadllib | 1.3.6 |
wasabi | 1.1.2 | wcwidth | 0.2.5 | łasica | 0.3.4 |
webencodings | 0.5.1 | websocket-client | 0.58.0 | Werkzeug | 2.2.3 |
koło | 0.38.4 | widgetsnbextension | 4.0.5 | wordcloud | 1.9.3 |
zawijanie | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
Yarl | 1.8.1 | profilowanie danych | 4.5.1 | zipp | 3.11.0 |
Biblioteki języka Python w klastrach gpu
Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
---|---|---|---|---|---|
absl-py | 1.0.0 | przyspieszać | 0.25.0 | aiohttp | 3.8.5 |
aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Astor | 0.8.1 |
asttokens | 2.0.5 | astunparse | 1.6.3 | limit czasu asynchronicznego | 4.0.2 |
attrs | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
azure-cosmos | 4.3.1 | azure-storage-blob | 12.19.0 | azure-storage-file-datalake | 12.14.0 |
backcall | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
black (czarny) | 23.3.0 | wybielacz | 4.1.0 | błogosławiony | 1.20.0 |
kierunkowskaz | 1.4 | blis | 0.7.11 | boto3 | 1.34.39 |
botocore | 1.34.39 | cachetools | 5.3.3 | katalog | 2.0.10 |
kodery kategorii | 2.6.3 | certifi | 2023.7.22 | cffi | 1.15.1 |
chardet | 4.0.0 | charset-normalizer | 2.0.4 | kliknięcie | 8.0.4 |
cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
kolorowy | 0.5.6 | Comm | 0.1.2 | słodycze | 0.1.4 |
configparser | 5.2.0 | konturowy | 1.0.5 | kryptografia | 41.0.3 |
rowerzysta | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.3.0 |
databricks-sdk | 0.20.0 | dataclasses-json | 0.6.4 | usługi Power BI | 2.16.1 |
dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
dekorator | 5.1.1 | deepspeed | 0.13.1 | defusedxml | 0.7.1 |
koper | 0.3.6 | diskcache | 5.6.3 | distlib | 0.3.8 |
dm-tree | 0.1.8 | einops | 0.7.0 | punkty wejścia | 0,4 |
evaluate | 0.4.1 | Wykonywanie | 0.8.3 | aspekty — omówienie | 1.1.1 |
Farama-Notifications | 0.0.4 | fastjsonschema | 2.19.1 | fasttext | 0.9.2 |
filelock | 3.9.0 | flash-attn | 2.5.0 | Flask | 2.2.5 |
flatbuffers | 23.5.26 | fonttools | 4.25.0 | zamrożona lista | 1.3.3 |
fsspec | 2023.5.0 | przyszłość | 0.18.3 | Gast | 0.4.0 |
gitdb | 4.0.11 | GitPython | 3.1.27 | google-api-core | 2.17.1 |
google-auth | 2.21.0 | google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 |
google-cloud-storage | 2.11.0 | google-crc32c | 1.5.0 | makaron google | 0.2.0 |
google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 | gpustat | 1.1.1 |
greenlet | 2.0.1 | grpcio | 1.60.0 | stan obiektu grpcio | 1.60.0 |
gunicorn | 20.1.0 | gviz-api | 1.10.0 | sala gimnastyczna | 0.28.1 |
h11 | 0.14.0 | h5py | 3.9.0 | hjson | 3.1.0 |
wakacje | 0.38 | horovod | 0.28.1+db1 | htmlmin | 0.1.12 |
httpcore | 1.0.4 | httplib2 | 0.20.2 | httpx | 0.27.0 |
przytulanieface-hub | 0.20.2 | idna | 3.4 | ImageHash | 4.3.1 |
imageio | 2.31.1 | niezrównoważona nauka | 0.11.0 | importlib-metadata | 6.0.0 |
importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 8.0.4 |
isodate | 0.6.1 | jegodangerous | 2.0.1 | jax-jumpy | 1.0.0 |
jedi | 0.18.1 | Jeepney | 0.7.1 | Jinja2 | 3.1.2 |
jmespath | 0.10.0 | joblib | 1.2.0 | joblibspark | 0.5.1 |
jsonpatch | 1.33 | jsonpointer | 2,4 | jsonschema | 4.17.3 |
jupyter-server | 1.23.4 | jupyter_client | 7.4.9 | jupyter_core | 5.3.0 |
jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 | keras | 2.15.0 |
keyring | 23.5.0 | kiwisolver | 1.4.4 | langchain | 0.1.3 |
langchain-community | 0.0.20 | langchain-core | 0.1.23 | langcodes | 3.3.0 |
langsmith | 0.0.87 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
lazr.uri | 1.0.6 | lazy_loader | 0,2 | libclang | 16.0.6 |
librosa | 0.10.1 | lightgbm | 4.2.0 | llvmlite | 0.40.0 |
lxml | 4.9.2 | lz4 | 4.3.2 | Mako | 1.2.0 |
Znaczniki języka Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 |
Zefir | 3.21.1 | matplotlib | 3.7.2 | biblioteka matplotlib-inline | 0.1.6 |
mdurl | 0.1.0 | mistune | 0.8.4 | ml-dtypes | 0.2.0 |
mlflow-skinny | 2.10.2 | więcej itertools | 8.10.0 | mpmath | 1.3.0 |
msgpack | 1.0.8 | multidict | 6.0.2 | multimethod | 1.11.2 |
przetwarzanie wieloprocesowe | 0.70.14 | szmurhash | 1.0.10 | mypy-extensions | 0.4.3 |
nbclassic | 0.5.5 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
nbformat | 5.7.0 | nest-asyncio | 1.5.6 | networkx | 3.1 |
Ninja | 1.11.1.1 | nltk | 3.8.1 | notes | 6.5.4 |
notebook_shim | 0.2.2 | numba | 0.57.1 | numpy | 1.23.5 |
nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 | openai | 1.9.0 |
opencensus | 0.11.4 | opencensus-context | 0.1.3 | opt-einsum | 3.3.0 |
opakowanie | 23.2 | Pandas | 1.5.3 | pandocfilters | 1.5.0 |
paramiko | 2.9.2 | parso | 0.8.3 | pathspec | 0.10.3 |
Patsy | 0.5.3 | petastorm | 0.12.1 | pexpect | 4.8.0 |
phik | 0.12.4 | pickleshare | 0.7.5 | Poduszka | 9.4.0 |
23.2.1 | platformdirs | 3.10.0 | kreślenie | 5.9.0 | |
pmdarima | 2.0.4 | kundel | 1.8.1 | preshed | 3.0.9 |
prompt-toolkit | 3.0.36 | prorok | 1.1.5 | protobuf | 4.24.1 |
psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
pure-eval | 0.2.2 | py-cpuinfo | 8.0.0 | py-szpieg | 0.3.14 |
pyarrow | 14.0.1 | pyarrow-hotfix | 0,6 | pyasn1 | 0.4.8 |
pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | pyccolo | 0.0.52 |
pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
pynvml | 11.5.0 | pyodbc | 4.0.38 | pyparsing | 3.0.9 |
pirstent | 0.18.0 | pytesseract | 0.3.10 | python-dateutil | 2.8.2 |
Python-editor | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 |
PyWavelets | 1.4.1 | PyYAML | 6.0 | pyzmq | 23.2.0 |
promień | 2.9.3 | regex | 2022.7.9 | żądania | 2.31.0 |
requests-oauthlib | 1.3.1 | Odpowiedzi | 0.13.3 | rich | 13.7.1 |
rsa | 4.9 | s3transfer | 0.10.0 | bezpiecznetensory | 0.3.2 |
scikit-image | 0.20.0 | scikit-learn | 1.3.0 | scipy | 1.11.1 |
seaborn | 0.12.2 | SecretStorage | 3.3.1 | Send2Trash | 1.8.0 |
transformatory zdań | 2.2.2 | element zdania | 0.1.99 | setuptools | 68.0.0 |
Shap | 0.44.0 | simplejson | 3.17.6 | Sześć | 1.16.0 |
krajalnica | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
wąchanie | 1.2.0 | soundfile | 0.12.1 | zupy | 2,4 |
soxr | 0.3.7 | spacy | 3.7.2 | spacy-legacy | 3.0.12 |
spacy-loggers | 1.0.5 | spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 |
sqlparse | 0.4.2 | srsly | 2.4.8 | ssh-import-id | 5,11 |
stack-data | 0.2.0 | stanio | 0.3.0 | statsmodels | 0.14.0 |
sympy | 1.11.1 | splątane-up-in-unicode | 0.2.0 | Wytrzymałość | 8.2.2 |
tablica tensorboard | 2.15.1 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.15.0 |
tensorboardX | 2.6.2.2 | tensorflow | 2.15.0 | tensorflow-estimator | 2.15.0 |
tensorflow-io-gcs-filesystem | 0.36.0 | termcolor | 2.4.0 | terminado | 0.17.1 |
cienki | 8.2.3 | threadpoolctl | 2.2.0 | tifffile | 2021.7.2 |
tiktoken | 0.5.2 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
tokenizatory | 0.15.0 | pochodnia | 2.1.2+cu121 | torcheval | 0.0.7 |
torchvision | 0.16.2+cu121 | tornado | 6.3.2 | tqdm | 4.65.0 |
traitlety | 5.7.1 | Transformatory | 4.36.2 | tryton | 2.1.0 |
osłona typów | 2.13.3 | typer | 0.9.0 | inspekcja wpisywania | 0.9.0 |
typing_extensions | 4.7.1 | tzdata | 2022.1 | ujson | 5.4.0 |
nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.21.0 |
Wizje | 0.7.5 | wadllib | 1.3.6 | wasabi | 1.1.2 |
wcwidth | 0.2.5 | łasica | 0.3.4 | webencodings | 0.5.1 |
websocket-client | 0.58.0 | Werkzeug | 2.2.3 | koło | 0.38.4 |
widgetsnbextension | 4.0.5 | wordcloud | 1.9.3 | zawijanie | 1.14.1 |
xgboost | 2.0.3 | xxhash | 3.4.1 | Yarl | 1.8.1 |
profilowanie danych | 4.5.1 | zipp | 3.11.0 |
Biblioteki R
Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 15.1.
Biblioteki Java i Scala (klaster Scala 2.12)
Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 15.1 środowisko Databricks Runtime 15.1 ML zawiera następujące jednostki JAR:
Klastry procesora CPU
Identyfikator grupy | Identyfikator artefaktu | Wersja |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
ml.dmlc | xgboost4j_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
org.mlflow | mlflow-client | 2.10.2 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Klastry procesora GPU
Identyfikator grupy | Identyfikator artefaktu | Wersja |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
org.mlflow | mlflow-client | 2.10.2 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |