Luglio 2024
Queste funzionalità e i miglioramenti della piattaforma Azure Databricks sono stati rilasciati a luglio 2024.
Nota
Le versioni vengono distribuite gradualmente. L’account Azure Databricks potrebbe non essere aggiornato fino a una settimana o più dopo la data di rilascio iniziale.
Aumento del limite per le attività simultanee
31 luglio 2024
Il limite dell'area di lavoro per le attività in esecuzione simultaneamente è stato elevato a 2000. Vedere Limiti delle risorse.
Incorporare e trascinare immagini nei notebook
31 luglio 2024
È ora possibile visualizzare le immagini nei notebook incorporandole direttamente nelle celle markdown. Trascinare e rilasciare immagini dal desktop direttamente nelle celle markdown per caricarle e visualizzarle automaticamente. Vedi Visualizzare immagini e trascinare immagini.
Riquadro comandi disponibile nei notebook
31 luglio 2024
È ora possibile eseguire rapidamente azioni nel notebook usando il riquadro comandi. Premere CMD + MAIUSC + P in MacOS o CTRL + MAIUSC + P in Windows mentre si usa un notebook per accedere alle azioni usate di frequente. Vedere il riquadro comandi.
Schema del sistema del flusso di lavoro rinominato in lakeflow
31 luglio 2024
Lo workflow schema viene aggiornato a lakeflow. È consigliabile passare a lakeflow perché includerà tutte le tabelle correnti e quelle nuove in futuro, ad esempio le pipeline. I clienti devono acconsentire esplicitamente allo lakeflow schema per renderlo visibile nel metastore. Consultare Informazioni di riferimento sulla tabella di sistema processi.
LakeFlow Connect (anteprima pubblica controllata)
31 luglio 2024
LakeFlow Connect offre connettori nativi che consentono di inserire dati da database e applicazioni aziendali e caricarli in Azure Databricks. LakeFlow Connect sfrutta letture e scritture incrementali efficienti per rendere l’inserimento dei dati più veloce, scalabile e più conveniente, mentre i dati rimangono aggiornati per l’utilizzo downstream.
Salesforce Sales Cloud, database SQL di Microsoft Azure, Amazon RDS per SQL Server e Workday sono attualmente supportati. Consultare LakeFlow Connect.
Il supporto per l’archiviazione di Cloudflare R2 è disponibile a livello generale
30 luglio 2024
La possibilità di usare Cloudflare R2 come archiviazione cloud per i dati registrati in Unity Catalog è ora disponibile a livello generale. Cloudflare R2 è destinato principalmente ai casi d’uso di condivisione delta in cui si vogliono evitare le tariffe di uscita dei dati addebitate dai provider di servizi cloud quando i dati attraversano aree. L’archiviazione R2 supporta tutti gli asset di dati e intelligenza artificiale di Databricks supportati in AWS S3, Azure Data Lake Storage Gen2 e Google Cloud Storage. Il supporto per R2 richiede SQL Warehouse o Databricks Runtime 14.3 o versione successiva. Consultare Usare repliche Cloudflare R2 o eseguire la migrazione dell’archiviazione a R2 e Creare credenziali di archiviazione per la connessione a Cloudflare R2.
Monitorare le attività di Databricks Assistant con le tabelle di sistema (anteprima pubblica)
30 luglio 2024
È ora possibile monitorare le attività di Databricks Assistant in un dashboard usando le tabelle di sistema. Per altre informazioni, consultare Informazioni di riferimento sulla tabella di sistema di Databricks Assistant ed esempio.
La condivisione degli schemi con la condivisione differenziale è ora disponibile a livello generale
30 luglio 2024
La possibilità di condividere gli schemi usando la condivisione delta è disponibile a livello generale. La condivisione dell’intero schema consente al destinatario di accedere a tutte le tabelle e le viste nello schema al momento della condivisione, insieme alle tabelle e alle viste aggiunte allo schema in futuro. L’aggiunta di schemi a una condivisione tramite i comandi SQL richiede un'istanza di SQL Warehouse o un cluster che esegue Databricks Runtime 13.2 o una versione successiva. Per eseguire la stessa operazione con Esplora Catalog non sono previsti requisiti di calcolo. Consultare Aggiungere schemi a una condivisione.
Mosaic AI Agent Framework è disponibile in northcentral e centralus
29 luglio 2024
Mosaic AI Agent Framework è ora disponibile nelle northcentral aree e centralus . Consultare Funzionalità con disponibilità a livello di area limitata.
Databricks Assistant può diagnosticare i problemi relativi ai processi (anteprima pubblica)
29 luglio 2024
Databricks Assistant può ora diagnosticare i problemi con i processi non riusciti. Consultare Diagnosticare gli errori nei processi.
Aggiornamenti ai comportamenti di autenticazione e condivisione delle cartelle Git di Databricks
29 luglio 2024
- Gestione dell’autenticazione basata su finestre di dialogo della cartella Git: l’esperienza utente è ora semplificata per facilitare il ripristino da errori di autenticazione durante l’apertura della finestra di dialogo della cartella Git. Nella finestra di dialogo è possibile aggiornare direttamente le credenziali Git, che attiva un nuovo tentativo automatico. È possibile usare questo approccio per facilitare la risoluzione degli errori di autenticazione.
- Quando si verifica un errore di autenticazione, la finestra di dialogo della cartella Git mostra ora il provider e l’URL della cartella Git nell’errore. In precedenza era nascosto, rendendo difficile sapere quali credenziali Git devono essere usate per risolvere l’errore.
- Condivisione cartelle Git: gli utenti possono ora condividere un collegamento URL ad altri utenti dell’area di lavoro. Quando l’URL viene aperto nel browser del destinatario, Databricks apre e avvia la finestra di dialogo “Aggiungi cartella Git esistente” con valori precompilati, ad esempio il provider Git e l’URL del repository Git. Ciò semplifica la clonazione di cartelle Git per i repository Git di uso comune tra gli utenti dell’area di lavoro.
Per altri dettagli, consultare Procedura consigliata: Collaborazione in cartelle Git.
- Agli utenti viene ora richiesto di creare cartelle Git personalizzate nella propria area di lavoro anziché lavorare in modo collaborativo nella cartella Git di un altro utente.
- Lo stato della finestra di dialogo della cartella Git è ora fissa nell’URL. Se si copia l’URL dal browser quando la finestra di dialogo della cartella Git è aperta, è possibile aprirla in un secondo momento o condivisa con un altro utente e verranno visualizzate le stesse informazioni.
- Visualizzazione diff della cartella Git: nella visualizzazione diff della cartella Git è stata aggiunta l’evidenziazione più scura e verde per il testo sostituito e per più righe di modifiche, rendendo più semplice determinare cosa è stato modificato nelle modifiche di cui non è stato eseguito il commit.
- L’apertura della finestra di dialogo della cartella Git da un notebook o da un editor di file seleziona il notebook o il file nella finestra di dialogo della cartella Git e visualizza le modifiche (differenze) per impostazione predefinita.
Timeout di installazione della libreria cluster
29 luglio 2024
L’installazione della libreria nei cluster ha ora un timeout di 2 ore. Una libreria che ha impiegato più di 2 ore per l’installazione verrà contrassegnata come non riuscita. Per informazioni sulle librerie cluster, consultare Librerie cluster.
Gli indirizzi IP in uscita del piano di calcolo devono essere aggiunti a un elenco indirizzi IP consentiti dell’area di lavoro
29 luglio 2024
Quando si configura la connettività sicura del cluster e gli elenchi di accesso IP in una nuova area di lavoro, è necessario aggiungere a un elenco di indirizzi IP pubblici usati dal piano di calcolo per accedere al piano di controllo a un elenco di elementi consentiti o configurare il collegamento privato back-end. Questa modifica influirà su tutte le nuove aree di lavoro il 29 luglio 2024 e le aree di lavoro esistenti il 26 agosto 2024. Per altre informazioni, consultare Databricks Community post.
Ad esempio, se si abilita la connettività sicura del cluster in un’area di lavoro che usa l’inserimento di reti virtuali, Databricks consiglia che l’area di lavoro disponga di un indirizzo IP pubblico in uscita stabile. Tale indirizzo IP pubblico e qualsiasi altro utente deve essere incluso in un elenco elementi consentiti. Consultare Indirizzi IP in uscita quando si usa la connettività sicura del cluster. In alternativa, se si usa una rete virtuale gestita da Azure Databricks e si configura il gateway NAT gestito per accedere agli indirizzi IP pubblici, tali indirizzi IP devono trovarsi in un elenco di indirizzi consentiti.
Consultare Configurare gli elenchi di accesso IP per le aree di lavoro.
Termine del supporto di Databricks Runtime serie 9.1
26 luglio 2024
Il supporto per Databricks Runtime 9.1 LTS e Databricks Runtime 9.1 LTS per Machine Learning è stato esteso dal 23 settembre 2024 al 19 dicembre 2024.
L’accesso Single Sign-On (SSO) è supportato in Lakehouse Federation per SQL Server
25 luglio 2024
Unity Catalog consente ora di creare connessioni SQL Server usando l’autenticazione SSO. Vedere Eseguire query federate in Microsoft SQL Server.
La condivisione di modelli con la condivisione delta è ora disponibile a livello generale
26 luglio 2024
Il supporto della condivisione differenziale per la condivisione dei modelli di intelligenza artificiale è ora disponibile a livello generale. Sia il provider che le aree di lavoro dei destinatari devono essere abilitate per il catalogo Unity e i modelli devono essere registrati nel catalogo unity.
Consultare Aggiungere modelli a una condivisione.
Condividere commenti e vincoli di chiave primaria usando la condivisione differenziale
25 luglio 2024
La condivisione differenziale supporta ora la condivisione dei metadati degli oggetti, inclusi i commenti e i vincoli di chiave primaria:
I commenti del modello e i commenti sulla versione del modello sono stati inclusi nelle condivisioni da Databricks a Databricks per qualche tempo, ma non annunciate.
I commenti delle tabelle, i commenti di colonna, i vincoli di chiave primaria e i commenti del volume sono ora inclusi nelle condivisioni da Databricks a Databricks condivise con il destinatario il 25 luglio 2024.
Se si desidera includere commenti o vincoli in una condivisione condivisa con un destinatario prima di tale data, è necessario revocare e concedere di nuovo l’accesso del destinatario per attivare la condivisione di commenti e vincoli.
Vedere Creare e gestire le condivisioni in Delta Sharing.
Nuovo driver JDBC di Databricks (OSS)
25 luglio 2024
È stato rilasciato un nuovo driver JDBC di Databricks open source per l’anteprima pubblica. Questo driver ha implementato le API JDBC e offre altre funzionalità di base, tra cui OAuth, Cloud Fetch e funzionalità come l’inserimento di volumi di Unity Catalog. Per altre informazioni, consultare Databricks JDBC Driver (OSS).
Databricks Runtime 15.4 LTS (Beta)
23 luglio 2024
Databricks Runtime 15.4 LTS e Databricks Runtime 15.4 LTS ML sono ora disponibili come versioni beta.
Consultare Databricks Runtime 15.4 LTS e Databricks Runtime 15.4 LTS per Machine Learning.
Scala è disponibile a livello generale nel calcolo condiviso del catalogo unity
23 luglio 2024
In Databricks Runtime 15.4 LTS e versioni successive, Scala è disponibile a livello generale nelle risorse di calcolo abilitate per Unity Catalog in modalità di accesso condiviso, incluso il supporto per le funzioni definite dall’utente scalar. Le funzioni di aggregazione Structured Streaming, Hive UDF e Hive definite dall’utente non sono supportate. Per un elenco completo delle limitazioni, consultare Limitazioni della modalità di accesso alle risorse di calcolo per il catalogo unity.
Il calcolo utente singolo supporta il controllo di accesso con granularità fine, le viste materializzate e le tabelle di streaming
23 luglio 2024
Databricks Runtime 15.4 LTS introduce il supporto per il controllo di accesso con granularità fine su un singolo ambiente di calcolo utente, purché l'area di lavoro sia abilitata per il calcolo serverless. Quando una query accede a una delle risorse di calcolo seguenti, la singola risorsa di calcolo utente in Databricks Runtime 15.4 LTS passa la query al calcolo serverless per eseguire il filtro dei dati:
- Viste compilate su tabelle in cui l’utente non dispone del
SELECTprivilegio - Visualizzazioni dinamiche
- Tabelle con filtri di riga o maschere di colonna applicate
- Viste materializzate e tabelle di streaming
Queste query non sono supportate nel calcolo a singolo utente in esecuzione in Databricks Runtime 15.3 e versioni successive.
Per altre informazioni, vedere Controllo di accesso con granularità fine per il calcolo di un singolo utente.
La tabella di sistema della sequenza temporale dei nodi è ora disponibile (anteprima pubblica)
23 luglio 2024
Lo system.compute schema include ora una node_timeline tabella. Questa tabella registra le metriche di utilizzo minuto per minuto per le risorse di calcolo di tutti gli scopi e i processi eseguiti nell’account. Consultare Schema della tabella della sequenza temporale del nodo.
Nota
Per accedere a questa tabella, un amministratore deve abilitare lo compute schema, se non è già stato fatto. Consultare Abilitare gli schemi di tabella di sistema.
Meta Llama 3.1 è ora supportato in Model Serving
23 luglio 2024
Mosaic AI Model Serving ha collaborato con Meta per supportare Meta Llama 3.1, un’architettura del modello creata e sottoposta a training da Meta ed è distribuita da Azure Machine Learning usando il catalogo dei modelli di AzureML. Llama 3.1 è supportato come parte delle API del modello di base. Consultare Usare le API del modello foundation.
- Meta-Llama-3.1-405B-Instruct e Meta-Llama-3.1-70B-Instruct sono disponibili nelle aree dell’endpoint di gestione con pagamento per token.
- L’utilizzo di produzione della suite completa di modelli Llama 3.1 (8B, 70B e 405B) è disponibile negli Stati Uniti usando la velocità effettiva con provisioning.
A partire dal 23 luglio 2024, Meta-Llama-3.1-70B-Instruct sostituisce il supporto per gli endpoint Meta-Llama-3-70B-Instruct in Foundation Model API con pagamento per token.
Notebook: attivare o disattivare i titoli delle celle visibili
18 luglio 2024
Gli utenti possono abilitare Mostra titoli di cella alzati di livello nelle impostazioni di sviluppo per rendere i titoli delle celle del notebook più visibili nell’interfaccia utente. Consultare Titoli delle celle alzati di livello
/ nei nomi degli asset dell’area di lavoro è deprecato
17 luglio 2024
Per evitare ambiguità nelle stringhe di percorso, l’uso di “/” nei nomi dei nuovi asset dell’area di lavoro (ad esempio notebook, cartelle e query) è stato deprecato. Gli asset esistenti con "/" nei nomi non sono interessati, ma la ridenominazione degli asset esistenti segue le stesse regole dei nuovi asset.
La condivisione differenziale consente di condividere tabelle che usano clustering liquido
16 luglio 2024
La condivisione differenziale consente ora di condividere tabelle abilitate per il clustering liquido e i destinatari possono eseguire query batch su di esse. Il clustering liquido semplifica le decisioni relative al layout dei dati e ottimizza le prestazioni delle query. Consulare Usare il clustering liquido per le tabelle Delta e la matrice di supporto delle funzionalità Delta Lake.
La tabella di sistema della cronologia delle query è ora disponibile (anteprima pubblica)
16 luglio 2024
Le tabelle di sistema di Azure Databricks includono ora una tabella della cronologia delle query. Questa tabella registra i record dettagliati di ogni query eseguita in un archivio SQL nell’account. Per accedere alla tabella, gli amministratori devono abilitare il nuovo query schema di sistema. Consultare Informazionidi riferimento sulla tabella di sistema della cronologia query.
I report di analisi della vulnerabilità vengono ora inoltrati tramite posta elettronica agli amministratori
16 luglio 2024
I report di analisi della vulnerabilità vengono ora inoltrati tramite posta elettronica agli amministratori dell’area di lavoro nelle aree di lavoro che consentono il monitoraggio della sicurezza avanzato. In precedenza, gli amministratori dell’area di lavoro dovevano richiederli da Azure Databricks. Consultare Monitoraggio della sicurezza avanzato.
Registrazione dei metadati di partizione per le tabelle esterne del catalogo Unity
15 luglio 2024
In Databricks Runtime 13.3 LTS e versioni successive è possibile abilitare facoltativamente la registrazione dei metadati delle partizioni per le tabelle esterne registrate nel catalogo Unity che usano Parquet, ORC, CSV o JSON. La registrazione metatdata della partizione è una strategia di individuazione delle partizioni coerente con il metastore Hive. Consultare Individuazione delle partizioni per tabelle esterne.
Il calcolo serverless per i flussi di lavoro è disponibile a livello generale
15 luglio 2024
Il calcolo serverless per i flussi di lavoro è ora disponibile a livello generale. Il calcolo serverless per i flussi di lavoro consente di eseguire il processo di Azure Databricks senza configurare e distribuire l’infrastruttura. Con il calcolo serverless per i flussi di lavoro, Azure Databricks gestisce in modo efficiente le risorse di calcolo che eseguono il processo, inclusa l’ottimizzazione e la scalabilità del calcolo per i carichi di lavoro. Consultare Eseguire il processo di Azure Databricks con calcolo serverless per i flussi di lavoro.
L’ambiente di calcolo serverless per i notebook è disponibile a livello generale
15 luglio 2024
L’ambiente di calcolo serverless per i notebook è ora disponibile a livello generale. L’ambiente di calcolo serverless per notebook offre l’accesso su richiesta alle risorse di calcolo scalabili nei notebook, consentendo di scrivere ed eseguire immediatamente il codice Python o SQL. Consultare Calcolo serverless per notebook.
Databricks Connect per Python supporta ora l’ambiente di calcolo serverless
15 luglio 2024
Databricks Connect per Python supporta ora la connessione al calcolo serverless. Questa funzionalità è disponibile come Anteprima Pubblica. Consultare Configurare una connessione al calcolo serverless.
Filtrare gli output dei dati usando i prompt del linguaggio naturale
11 luglio 2024
È ora possibile usare Databricks Assistant per filtrare gli output dei dati usando i prompt del linguaggio naturale. Ad esempio, per filtrare la tabella dei dati dei sopravvissuti del Titanic, è possibile digitare "Mostra solo maschi oltre 70". Consultare Filtrare i dati con i prompt del linguaggio naturale.
Supporto dei segreti in testo non crittografato per i modelli esterni
11 luglio 2024
È ora possibile immettere direttamente le chiavi API come stringhe di testo non crittografato per modellare gli endpoint che ospitano modelli esterni. Consultare Configurare il provider per un endpoint.
Prevedere i dati delle serie temporali usando ai_forecast()
11 luglio 2024
Funzioni di intelligenza artificiale supporta ai_forecast()ora , una nuova funzione SQL di Databricks per analisti e data scientist progettati per estrapolare i dati delle serie temporali in futuro. Consultare ai_forecast funzione.
Il supporto delle attività file SQL per i file con query SQL con più istruzioni è disponibile a livello generale
10 luglio 2024
Il supporto per l'uso di file che contengono query SQL con più istruzioni con l'attività File SQL è ora disponibile a livello generale. Questa modifica consente di eseguire più istruzioni SQL da un singolo file. In precedenza, era necessario aggiungere un file separato per ogni istruzione. Per altre informazioni sull'attività File SQL, vedere Attività SQL per i processi.
Lakehouse Federation supporta Salesforce Data Cloud (anteprima pubblica)
10 luglio 2024
È ora possibile eseguire query federate sui dati gestiti da Salesforce Data Cloud. Consultare Eseguire query federate in Salesforce Data Cloud.
Tabella di sistema databricks Assistant ora disponibile (anteprima pubblica)
10 luglio 2024
Gli eventi di Databricks Assistant vengono ora registrati in una tabella di sistema che si trova in system.access.assistant_events. Consultare Riferimento alla tabella di sistema di Databricks Assistant ed esempio.
API SCIM account v2.1 (anteprima pubblica)
10 luglio 2024
Le API SCIM account vengono aggiornate dalla versione 2.0 alla versione 2.1 per garantire velocità e affidabilità. È possibile scaricare un PDF delle informazioni di riferimento sull’API SCIM v2.1 dell’account.
Aumento della quota di risorse per le tabelle per metastore del catalogo Unity
3 luglio 2024
Il metastore del catalogo unity può ora registrare fino a un milione di tabelle. Vedere Quote di risorse.
Databricks Assistant può diagnosticare automaticamente gli errori del notebook
2 luglio 2024
Databricks Assistant può ora essere eseguito /fix automaticamente nei notebook quando rileva un messaggio di errore. Assistant usa l’intelligenza artificiale generativa per analizzare il codice e il messaggio di errore per suggerire una correzione direttamente nel notebook. Per altre informazioni, consultare Eseguire il debug del codice Python ed esempi SQL.
Il supporto per la sintassi :param con l'attività file SQL è disponibile a livello generale
1 luglio 2024
Il supporto per l'uso della sintassi :param con query con parametri nell'attività Processi SQL di Azure Databricks è disponibile a livello generale. È ora possibile fare riferimento ai parametri di query anteponendo i relativi nomi con due punti (:parameter_name). Questa sintassi è oltre al supporto esistente per la sintassi delle parentesi graffe doppie ({{parameter_name}}). Per ulteriori informazioni sull'uso di query parametrizzate con l'attività File SQL, vedere Configurazione dei parametri dell'attività.