Aprile 2019
Queste funzionalità e i miglioramenti della piattaforma Azure Databricks sono stati rilasciati ad aprile 2019.
Nota
Le versioni vengono gestite in staging. L'account Azure Databricks potrebbe non essere aggiornato fino a una settimana dopo la data di rilascio iniziale.
MLflow in Azure Databricks (disponibilità a livello generale)
25 aprile 2019
MLflow gestito in Azure Databricks è ora disponibile a livello generale. MLflow in Azure Databricks offre una versione ospitata di MLflow completamente integrata con il modello di sicurezza Databricks e l'area di lavoro interattiva. Vedere Gestione del ciclo di vita di ML con MLflow.
Delta Lake in Azure Databricks
24 aprile 2019
Databricks ha originato il progetto Delta Lake. Delta Lake è un livello di archiviazione che offre affidabilità ai data lake basati su HDFS e archiviazione cloud fornendo transazioni ACID tramite il controllo della concorrenza ottimistica tra scritture e isolamento di snapshot per letture coerenti durante le operazioni di scrittura. Delta Lake offre anche il controllo delle versioni dei dati predefinito per eseguire facilmente il rollback e la riproduzione di report.
Nota
Quello che in precedenza era denominato Databricks Delta è ora il progetto open source Delta Lake più le ottimizzazioni disponibili in Azure Databricks. Vedere Cos'è Delta Lake?.
Barra laterale delle esecuzioni di MLflow
9-16 aprile 2019: versione 2.95
È ora possibile visualizzare le esecuzioni di MLflow e le revisioni del notebook che hanno prodotto queste esecuzioni in una barra laterale accanto al notebook. Nella barra laterale destra del notebook, fare clic sull'icona Esperimento
.
Vedere Creare un esperimento di notebook.
Accedi automaticamente ad Azure Data Lake Storage Gen1 e Gen2 con le credenziali Microsoft Entra ID (GA)
9-16 aprile 2019: versione 2.95
Siamo lieti di annunciare la disponibilità generale dell'autenticazione automatica ad Azure Data Lake Storage Gen1 e Gen2 dai cluster Azure Databricks usando la stessa identità ID di Microsoft Entra usata per accedere ad Azure Databricks.
Abilitare il cluster per il pass-through delle credenziali Microsoft Entra ID e i comandi eseguiti in tale cluster saranno in grado di leggere e scrivere i dati in Azure Data Lake Storage Gen1 e Gen2 senza che sia necessario configurare le credenziali dell'entità servizio per l'accesso all'archiviazione.
Per ulteriori informazioni, vedere Accedere ad Azure Data Lake Storage usando il pass-through delle credenziali di Microsoft Entra ID (legacy).
Databricks Runtime 5.3 (disponibilità a livello generale)
3 aprile 2019
Databricks Runtime 5.3 è ora disponibile a livello generale. Databricks Runtime 5.3 include nuove funzionalità e aggiornamenti di Delta Lake e librerie Python, R, Java e Scala aggiornate.
Gli aggiornamenti principali includono:
- Disponibilità a livello generale dello spostamento cronologico Databricks Delta
- Replica di tabelle MySQL in Delta, anteprima pubblica
- Cartella DBFS FUSE ottimizzata per carichi di lavoro di Deep Learning
- Miglioramenti della libreria con ambito notebook
- Nuovi hint di Databricks Advisor
Per informazioni dettagliate, vedere Databricks Runtime 5.3 (EoS).
Databricks Runtime 5.3 ML (disponibilità a livello generale)
3 aprile 2019
Con Databricks Runtime 5.3 per Machine Learning, è stata ottenuta la prima disponibilità generale di Databricks Runtime ML. Databricks Runtime ML, è un ambiente pronto all'uso per l'esecuzione di processi di Machine Learning e data science. Si basa su Databricks Runtime e aggiunge molte diffuse librerie di Machine Learning, tra cui TensorFlow, PyTorch, Keras e XGBoost. È inoltre supportato il training distribuito con Horovod.
Questa versione è basata su Databricks Runtime 5.3, con librerie aggiuntive, alcune versioni diverse della libreria e gestione pacchetti Conda per le librerie Python. Le nuove funzionalità principali da Databricks Runtime 5.2 ML Beta includono:
Integrazione di MLlib con MLflow (anteprima privata), che fornisce la registrazione automatica delle esecuzioni MLflow per i modelli adatti usando gli algoritmi
CrossValidatordi ottimizzazione pySpark eTrainValidationSplit.Per partecipare all'anteprima, contattare il team dell'account Databricks.
Aggiornamenti alle librerie PyArrow, Horovod e TensorboardX.
L'aggiornamento pyArrow aggiunge la possibilità di usare
BinaryTypequando si esegue la conversione basata su freccia e la rende disponibile nella funzione definita dall'utente pandas UDF.
Per altre informazioni, vedere Databricks Runtime 5.3 ML (EoS). Per istruzioni sulla creazione di un cluster di Databricks Runtime ML, vedere IA e Machine Learning in Databricks.