Databricks Runtime per 10.1 ML (EoS)
Nota
Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.
Databricks Runtime 10.1 for Machine Learning fornisce un ambiente immediatamente disponibile ottimizzato per l'esecuzione di processi di apprendimento automatico e data science basati su Databricks Runtime 10.1 (EoS). Databricks Runtime per Machine Learning contiene molte di queste librerie, tra cui TensorFlow, PyTorch, Keras e XGBoost. È inoltre supportato il training distribuito con Horovod.
Per altre informazioni, incluse le istruzioni per la creazione di un cluster di Machine Learning di Databricks Runtime, vedere Intelligenza artificiale e Machine Learning in Databricks.
Miglioramenti e nuove funzionalità
Databricks Runtime 10.1 ML è basato su Databricks Runtime 10.1. Per informazioni sulle novità di Databricks Runtime 10.1, tra cui Apache Spark MLlib e SparkR, vedere le note sulla versione di Databricks Runtime 10.1 (EoS).
Miglioramenti a AutoML
In Databricks Runtime 10.1 AutoML include un rilevamento semantico migliorato, nuovi avvisi per potenziali problemi di dati durante il training, nuove funzionalità per impedire l'overfitting dei modelli e la possibilità di suddividere il set di dati di input in set di training, convalida e test cronologicamente.
Rilevamenti di tipi semantici aggiuntivi
AutoML supporta ora il rilevamento di tipi semantici aggiuntivi:
- Le colonne numeriche che contengono etichette categoriche vengono considerate come un tipo categorico.
- Le colonne stringa che contengono testo in lingua inglese vengono considerate come una funzionalità di testo.
È ora anche possibile aggiungere annotazioni per specificare un tipo di dati della colonna. Per informazioni dettagliate, vedere Rilevamento dei tipi semantici.
Avvisi durante il training per potenziali problemi di dati
AutoML ora rileva e genera avvisi per potenziali problemi con il set di dati. Gli avvisi di esempio includono tipi di colonna non supportati e colonne di cardinalità elevata. Questi avvisi vengono visualizzati nella pagina dell'esperimento nella nuova scheda Avvisi . Altre informazioni sugli avvisi sono incluse nel notebook di esplorazione dei dati. Per altre informazioni, vedere Eseguire l'esperimento e monitorare i risultati.
Overfitting del modello ridotto
Due nuove funzionalità riducono le probabilità di overfitting di un modello quando si usa AutoML:
- AutoML ora segnala le metriche di test in aggiunta alle metriche di convalida e training.
- AutoML ora usa l'arresto anticipato. Arresta il training e l'ottimizzazione dei modelli se la metrica di convalida non è più migliorata.
Suddividere il set di dati in set di training/convalida/test in ordine cronologico
Per i problemi di classificazione e regressione, è possibile suddividere il set di dati in set di training, convalida e test in ordine cronologico. Per maggiori dettagli, vedere Dividere i dati in training, convalida e set di test
Miglioramenti all'archivio funzionalità di Databricks
Databricks Feature Store supporta ora tipi di dati aggiuntivi per le tabelle delle funzionalità: BinaryType, DecimalTypee MapType.
MLflow
I miglioramenti seguenti sono disponibili a partire da Mlflow versione 1.21.0, incluso in Databricks Runtime 10.1 ML.
- [Modelli] Aggiornare il tipo di
fastaimodello per supportare fastai v2 (2.4.1 e versioni successive). - [Modelli] Introdurre un modello mlflow.prophet per i modelli di serie temporali Prophet.
- [Assegnazione dei punteggi] Correzione di un errore di imposizione dello schema che esegue il cast non corretto di stringhe simili a datetime a oggetti datetime.
Hyperopt
SparkTrials supporta ora il early_stopping_fn parametro per fmin. È possibile usare la funzione di arresto anticipato per specificare le condizioni in cui Hyperopt deve interrompere l'ottimizzazione degli iperparametri prima che venga raggiunto il numero massimo di valutazioni. Ad esempio, è possibile usare questo parametro per terminare l'ottimizzazione se la funzione obiettivo non diminuisce più. Per informazioni dettagliate, vedere e .
Modifiche principali all'ambiente ML Python di Databricks Runtime
Pacchetti Python aggiornati
- automl 1.3.1 => 1.4.1
- feature_store 0.3.4 => 0.3.5
- festività 0.11.2 => 0.11.3.1
- horovod 0.22.1 => 0.23.0
- hyperopt 0.2.5.db2 => 0.2.5.db4
- sbilanciato-learn 0.8.0 => 0.8.1
- lightgbm 3.1.1 => 3.3.0
- mlflow 1.20.2 => 1.21.0
- petastorm 0.11.2 => 0.11.3
- plotly 5.1.0 => 5.3.0
- pytorch 1.9.0 => 1.9.1
- spacy 3.1.2 => 3.1.3
- sparkdl 2.2.0_db3 => 2.2.0_db4
- torchvision 0.10.0 => 0.10.1
- trasformatori 4.9.2 => 4.11.3
Pacchetti Python aggiunti
- fasttext => 0.9.2
- tensorboard-plugin-profile => 2.5.0
Elementi deprecati
Il rilevamento automatizzato di MLlib MLflow è deprecato nei cluster che eseguono Databricks Runtime 10.1 ML e versioni successive. Usare invece l'assegnazione automatica di MLflow PySpark ML chiamando mlflow.pyspark.ml.autolog(). L'assegnazione automatica dei tag è abilitata per impostazione predefinita con l'assegnazione automatica di Databricks.
Ambiente di sistema
L'ambiente di sistema in Databricks Runtime 10.1 ML differisce da Databricks Runtime 10.1 come indicato di seguito:
- DBUtils: Databricks Runtime ML non include l'utilità libreria (dbutils.library) (legacy)..
Usare
%pipinvece i comandi. Vedere Librerie Python con ambito notebook. - Per i cluster GPU, Databricks Runtime ML include le librerie GPU NVIDIA seguenti:
- CUDA 11.0
- CUDNN 8.0.5.39
- NCCL 2.10.3
- TensorRT 7.2.2
Librerie
Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 10.1 ML che differiscono da quelle incluse in Databricks Runtime 10.1.
Contenuto della sezione:
Librerie di livello superiore
Databricks Runtime 10.1 ML include le librerie di livello superiore seguenti:
- GraphFrames
- Horovod e HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
Librerie Python
Databricks Runtime 10.1 ML usa Virtualenv per la gestione dei pacchetti Python e include molti pacchetti di Machine Learning più diffusi.
Oltre ai pacchetti specificati nelle sezioni seguenti, Databricks Runtime 10.1 ML include anche i pacchetti seguenti:
- hyperopt 0.2.5.db4
- sparkdl 2.2.0-db4
- feature_store 0.3.5
- automl 1.4.0
Nota
Databricks Runtime 10.1 ML include scikit-learn versione 0.24 anziché la versione 1.0 a causa di problemi di incompatibilità. Il pacchetto scikit-learn interagisce con molti altri pacchetti in Databricks Runtime 10.1 ML.
È possibile eseguire l'aggiornamento a scikit-learn versione 1.0; Tuttavia, Databricks non supporta questa versione.
Per eseguire l'aggiornamento, usare le librerie con ambito notebook. Da un notebook eseguire %pip install --upgrade "scikit-learn>=1.0,<1.1".
Un'alternativa consiste nell'usare questo script init del cluster:
#!/bin/bash
set -e
pip install --upgrade "scikit-learn>=1.0,<1.1"
Librerie Python nei cluster CPU
| Library | Versione | Library | Versione | Library | Versione |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 |
| argon2-cffi | 20.1.0 | astor | 0.8.1 | astunparse | 1.6.3 |
| async-generator | 1.10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bcrypt | 3.2.0 | bleach | 3.3.0 | blis | 0.7.4 |
| boto3 | 1.16.7 | botocore | 1.19.7 | cachetools | 4.2.4 |
| servizio | 2.0.6 | certifi | 2020.12.5 | cffi | 1.14.5 |
| chardet | 4.0.0 | Clang | 5.0 | click | 7.1.2 |
| cloudpickle | 1.6.0 | cmdstanpy | 0.9.68 | configparser | 5.0.1 |
| convertdate | 2.3.2 | cryptography | 3.4.7 | cycler | 0.10.0 |
| cymem | 2.0.5 | Cython | 0.29.23 | databricks-automl-runtime | 0.2.3 |
| databricks-cli | 0.14.3 | dbus-python | 1.2.16 | decorator | 5.0.6 |
| defusedxml | 0.7.1 | dill | 0.3.2 | diskcache | 5.2.1 |
| distlib | 0.3.3 | informazioni sulla distribuzione | 0.23ubuntu1 | entrypoints | 0.3 |
| ephem | 4.1 | facet-overview | 1.0.0 | fasttext | 0.9.2 |
| filelock | 3.0.12 | Flask | 1.1.2 | flatbuffers | 1.12 |
| fsspec | 0.9.0 | future | 0.18.2 | gast | 0.4.0 |
| gitdb | 4.0.7 | gitpython | 3.1.12 | google-auth | 1.22.1 |
| google-auth-oauthlib | 0.4.2 | google-pasta | 0.2.0 | grpcio | 1.39.0 |
| gunicorn | 20.0.4 | gviz-api | 1.10.0 | h5py | 3.1.0 |
| hijri-converter | 2.2.2 | holidays | 0.11.3.1 | Horovod | 0.23.0 |
| htmlmin | 0.1.12 | huggingface-hub | 0.0.19 | idna | 2.10 |
| ImageHash | 4.2.1 | sbilanciato-learn | 0.8.1 | importlib-metadata | 3.10.0 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | isodate | 0.6.0 | itsdangerous | 1.1.0 |
| jedi | 0.17.2 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.0.1 | joblibspark | 0.3.0 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | keras | 2.6.0 | keras-preprocessing | 1.1.2 |
| kiwisolver | 1.3.1 | koalas | 1.8.2 | coreano-lunare-calendario | 0.2.1 |
| lightgbm | 3.3.0 | llvmlite | 0.37.0 | LunarCalendar | 0.0.9 |
| Mako | 1.1.3 | Markdown | 3.3.3 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.2 | missingno | 0.5.0 | mistune | 0.8.4 |
| mleap | 0.18.1 | mlflow-skinny | 1.21.0 | multimethod | 1.6 |
| mormurhash | 1.0.5 | nbclient | 0.5.3 | nbconvert | 6.0.7 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2.5 |
| nltk | 3.6.1 | notebook | 6.3.0 | numba | 0.54.1 |
| numpy | 1.19.2 | oauthlib | 3.1.0 | opt-einsum | 3.3.0 |
| packaging | 20.9 | pandas | 1.2.4 | pandas-profiling | 3.1.0 |
| pandocfilters | 1.4.3 | paramiko | 2.7.2 | parso | 0.7.0 |
| patia | 0.6.0 | patsy | 0.5.1 | Petastorm | 0.11.3 |
| pexpect | 4.8.0 | phik | 0.12.0 | pickleshare | 0.7.5 |
| Pillow | 8.2.0 | pip | 21.0.1 | plotly | 5.3.0 |
| preshed | 3.0.5 | prometheus-client | 0.10.1 | prompt-toolkit | 3.0.17 |
| prophet | 1.0.1 | protobuf | 3.17.2 | psutil | 5.8.0 |
| Psycopg2 | 2.8.5 | ptyprocess | 0.7.0 | pyarrow | 4.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | PyBind11 | 2.8.0 |
| pycparser | 2.20 | pydantic | 1.8.2 | Pygments | 2.8.1 |
| pygobject | 3.36.0 | PyMeeus | 0.5.11 | PyNaCl | 1.4.0 |
| pyodbc | 4.0.30 | pyparsing | 2.4.7 | pirsistente | 0.17.3 |
| pystan | 2.19.1.1 | API Python | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 |
| python-editor | 1.0.4 | pytz | 2020.5 | PyWavelets | 1.1.1 |
| PyYAML | 5.4.1 | pyzmq | 20.0.0 | regex | 2021.4.4 |
| requests | 2.25.1 | requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 |
| rsa | 4.7.2 | s3transfer | 0.3.7 | sacrimoses | 0.0.46 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
| Send2Trash | 1.5.0 | setuptools | 52.0.0 | setuptools-git | 1.2 |
| shap | 0.39.0 | simplejson | 3.17.2 | six | 1.15.0 |
| slicer | 0.0.7 | Ritaglio intelligente | 5.2.0 | smmap | 3.0.5 |
| spaCy | 3.1.3 | spacy-legacy | 3.0.8 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.1 | srsly | 2.4.1 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | tabulate | 0.8.7 | tangled-up-in-unicode | 0.1.0 |
| tenacity | 6.2.0 | tensorboard | 2.6.0 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.5.0 | tensorboard-plugin-wit | 1.8.0 | tensorflow-cpu | 2.6.0 |
| tensorflow-estimator | 2.6.0 | termcolor | 1.1.0 | terminado | 0.9.4 |
| testpath | 0.4.4 | thinc | 8.0.9 | threadpoolctl | 2.1.0 |
| tokenizers | (0.10.3) | Torch | 1.9.1+CPU | torchvision | 0.10.1+CPU |
| tornado | 6.1 | tqdm | 4.59.0 | traitlets | 5.0.5 |
| Convertitori | 4.11.3 | Typer | 0.3.2 | typing-extensions | 3.7.4.3 |
| ujson | 4.0.2 | aggiornamenti automatici | 0.1 | urllib3 | 1.25.11 |
| virtualenv | 20.4.1 | Visione | 0.7.4 | wasabi | 0.8.2 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 0.57.0 |
| Werkzeug | 1.0.1 | wheel | 0.36.2 | widgetsnbextension | 3.5.1 |
| wrapt | 1.12.1 | xgboost | 1.4.2 | zipp | 3.4.1 |
Librerie Python nei cluster GPU
| Library | Versione | Library | Versione | Library | Versione |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 |
| argon2-cffi | 20.1.0 | astor | 0.8.1 | astunparse | 1.6.3 |
| async-generator | 1.10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bcrypt | 3.2.0 | bleach | 3.3.0 | blis | 0.7.4 |
| boto3 | 1.16.7 | botocore | 1.19.7 | cachetools | 4.2.4 |
| servizio | 2.0.6 | certifi | 2020.12.5 | cffi | 1.14.5 |
| chardet | 4.0.0 | Clang | 5.0 | click | 7.1.2 |
| cloudpickle | 1.6.0 | cmdstanpy | 0.9.68 | configparser | 5.0.1 |
| convertdate | 2.3.2 | cryptography | 3.4.7 | cycler | 0.10.0 |
| cymem | 2.0.5 | Cython | 0.29.23 | databricks-automl-runtime | 0.2.3 |
| databricks-cli | 0.14.3 | dbus-python | 1.2.16 | decorator | 5.0.6 |
| defusedxml | 0.7.1 | dill | 0.3.2 | diskcache | 5.2.1 |
| distlib | 0.3.3 | informazioni sulla distribuzione | 0.23ubuntu1 | entrypoints | 0.3 |
| ephem | 4.1 | facet-overview | 1.0.0 | fasttext | 0.9.2 |
| filelock | 3.0.12 | Flask | 1.1.2 | flatbuffers | 1.12 |
| fsspec | 0.9.0 | future | 0.18.2 | gast | 0.4.0 |
| gitdb | 4.0.7 | gitpython | 3.1.12 | google-auth | 1.22.1 |
| google-auth-oauthlib | 0.4.2 | google-pasta | 0.2.0 | grpcio | 1.39.0 |
| gunicorn | 20.0.4 | gviz-api | 1.10.0 | h5py | 3.1.0 |
| hijri-converter | 2.2.2 | holidays | 0.11.3.1 | Horovod | 0.23.0 |
| htmlmin | 0.1.12 | huggingface-hub | 0.0.19 | idna | 2.10 |
| ImageHash | 4.2.1 | sbilanciato-learn | 0.8.1 | importlib-metadata | 3.10.0 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | isodate | 0.6.0 | itsdangerous | 1.1.0 |
| jedi | 0.17.2 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.0.1 | joblibspark | 0.3.0 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | keras | 2.6.0 | keras-preprocessing | 1.1.2 |
| kiwisolver | 1.3.1 | koalas | 1.8.2 | coreano-lunare-calendario | 0.2.1 |
| lightgbm | 3.3.0 | llvmlite | 0.37.0 | LunarCalendar | 0.0.9 |
| Mako | 1.1.3 | Markdown | 3.3.3 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.2 | missingno | 0.5.0 | mistune | 0.8.4 |
| mleap | 0.18.1 | mlflow-skinny | 1.21.0 | multimethod | 1.6 |
| mormurhash | 1.0.5 | nbclient | 0.5.3 | nbconvert | 6.0.7 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2.5 |
| nltk | 3.6.1 | notebook | 6.3.0 | numba | 0.54.1 |
| numpy | 1.19.2 | oauthlib | 3.1.0 | opt-einsum | 3.3.0 |
| packaging | 20.9 | pandas | 1.2.4 | pandas-profiling | 3.1.0 |
| pandocfilters | 1.4.3 | paramiko | 2.7.2 | parso | 0.7.0 |
| patia | 0.6.0 | patsy | 0.5.1 | Petastorm | 0.11.3 |
| pexpect | 4.8.0 | phik | 0.12.0 | pickleshare | 0.7.5 |
| Pillow | 8.2.0 | pip | 21.0.1 | plotly | 5.3.0 |
| preshed | 3.0.5 | prompt-toolkit | 3.0.17 | prophet | 1.0.1 |
| protobuf | 3.17.2 | psutil | 5.8.0 | Psycopg2 | 2.8.5 |
| ptyprocess | 0.7.0 | pyarrow | 4.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | PyBind11 | 2.8.1 | pycparser | 2.20 |
| pydantic | 1.8.2 | Pygments | 2.8.1 | pygobject | 3.36.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.4.0 | pyodbc | 4.0.30 |
| pyparsing | 2.4.7 | pirsistente | 0.17.3 | pystan | 2.19.1.1 |
| API Python | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 | python-editor | 1.0.4 |
| pytz | 2020.5 | PyWavelets | 1.1.1 | PyYAML | 5.4.1 |
| pyzmq | 20.0.0 | regex | 2021.4.4 | requests | 2.25.1 |
| requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 | rsa | 4.7.2 |
| s3transfer | 0.3.7 | sacrimoses | 0.0.46 | scikit-learn | 0.24.1 |
| scipy | 1.6.2 | seaborn | 0.11.1 | Send2Trash | 1.5.0 |
| setuptools | 52.0.0 | setuptools-git | 1.2 | shap | 0.39.0 |
| simplejson | 3.17.2 | six | 1.15.0 | slicer | 0.0.7 |
| Ritaglio intelligente | 5.2.0 | smmap | 3.0.5 | spaCy | 3.1.3 |
| spacy-legacy | 3.0.8 | spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.1 |
| srsly | 2.4.1 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tabulate | 0.8.7 | tangled-up-in-unicode | 0.1.0 | tenacity | 6.2.0 |
| tensorboard | 2.6.0 | tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.5.0 |
| tensorboard-plugin-wit | 1.8.0 | tensorflow | 2.6.0 | tensorflow-estimator | 2.6.0 |
| termcolor | 1.1.0 | terminado | 0.9.4 | testpath | 0.4.4 |
| thinc | 8.0.9 | threadpoolctl | 2.1.0 | tokenizers | (0.10.3) |
| Torch | 1.9.1+cu111 | torchvision | 0.10.1+cu111 | tornado | 6.1 |
| tqdm | 4.59.0 | traitlets | 5.0.5 | Convertitori | 4.11.3 |
| Typer | 0.3.2 | typing-extensions | 3.7.4.3 | ujson | 4.0.2 |
| aggiornamenti automatici | 0.1 | urllib3 | 1.25.11 | virtualenv | 20.4.1 |
| Visione | 0.7.4 | wasabi | 0.8.2 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 0.57.0 | Werkzeug | 1.0.1 |
| wheel | 0.36.2 | widgetsnbextension | 3.5.1 | wrapt | 1.12.1 |
| xgboost | 1.4.2 | zipp | 3.4.1 |
Pacchetti Spark contenenti moduli Python
| Pacchetti Spark | Modulo Python | Versione |
|---|---|---|
| GraphFrames | GraphFrames | 0.8.2-db1-spark3.2 |
Librerie R
Le librerie R sono identiche alle librerie R in Databricks Runtime 10.1.
Librerie Java e Scala (cluster Scala 2.12)
Oltre alle librerie Java e Scala in Databricks Runtime 10.1, Databricks Runtime 10.1 ML contiene i file JAR seguenti:
Cluster CPU
| ID gruppo | ID artefatto | Versione |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.17.0-4882dc3 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.4.1 |
| ml.dmlc | xgboost4j_2.12 | 1.4.1 |
| org.graphframes | graphframes_2.12 | 0.8.1-db6-spark3.2 |
| org.mlflow | mlflow-client | 1.20.2 |
| org.mlflow | mlflow-spark | 1.20.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Cluster GPU
| ID gruppo | ID artefatto | Versione |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.4.1 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.4.1-spark3.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.21.0 |
| org.mlflow | mlflow-spark | 1.21.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |