Agosto 2022

Queste funzionalità e i miglioramenti della piattaforma Azure Databricks sono stati rilasciati ad agosto 2022.

Nota

Le versioni vengono gestite in staging. L'account Azure Databricks potrebbe non essere aggiornato fino a una settimana o più dopo la data di rilascio iniziale.

Gli utenti dell’account possono accedere alla console dell’account

1-31 agosto 2022

Gli utenti dell'account possono accedere alla console dell'account Azure Databricks per visualizzare un elenco delle aree di lavoro. Gli utenti dell'account possono visualizzare solo le aree di lavoro per i quali hanno ricevuto i diritti di accesso. Vedere Gestire l'account Azure Databricks.

Gli utenti delle aree di lavoro vengono sincronizzati automaticamente con l'account come utenti dell'account. Tutti gli utenti e le entità servizio esistenti dell'area di lavoro vengono sincronizzati automaticamente con l'account come utenti a livello di account e entità servizio. Vedere In che modo gli amministratori assegnano gli utenti all'account?.

Driver ODBC di Databricks 2.6.26

29 agosto 2022

È stata rilasciata la versione 2.6.26 del driver ODBC di Databricks (download). Questa versione aggiorna il supporto delle query. È ora possibile annullare in modo asincrono le query sulle connessioni HTTP su richiesta API.

Questa versione risolve anche il problema seguente:

• Quando si usano query personalizzate in Spotfire, il connettore non risponde.

Driver JDBC di Databricks 2.6.29

29 agosto 2022

È stata rilasciata la versione 2.6.29 del driver JDBC di Databricks (download). Questa versione risolve i problemi seguenti:

• Quando si usa un proxy HTTP con Cloud Fetch abilitato, il connettore non restituisce risultati di set di dati di grandi dimensioni.
• Problemi di testo secondari nel testo della licenza di Databricks. Mancavano i collegamenti alla documentazione.
• I nomi dei file JAR non erano corretti. Invece di SparkJDBC41.jar avrebbe dovuto essere DatabricksJDBC41.jar. Invece di SparkJDBC42.jar avrebbe dovuto essere DatabricksJDBC42.jar.

Client Databricks Feature Store ora disponibile in PyPI

26 agosto 2022

Il client Feature Store è ora disponibile in PyPI. Il client richiede Databricks Runtime 9.1 LTS o versione successiva e può essere installato usando:

%pip install databricks-feature-store

Il client è già incluso in un pacchetto con Databricks Runtime per Machine Learning 9.1 LTS e versioni successive.

Il client non può essere eseguito all'esterno di Databricks. Tuttavia, è possibile installarlo in locale per facilitare il testing unità e per il supporto dell'IDE aggiuntivo (ad esempio, completamento automatico). Per altre informazioni, vedere Client Python per Databricks Feature Store

Unity Catalog è disponibile a livello generale

25 agosto 2022

Unity Catalog è disponibile a livello generale. Per informazioni dettagliate sugli annunci e sulle limitazioni delle funzionalità, vedere Note sulla versione disponibile a livello generale di Unity Catalog.

Delta Sharing è disponibile a livello generale

25 agosto 2022

Delta Sharing è ora disponibile a livello generale, a partire da Databricks Runtime 11.1. Per informazioni dettagliate, vedere Che cos'è Delta Sharing?.

• Delta Sharing da Databricks a Databricks è completamente gestito senza la necessità di scambiare i token.
• Creare e gestire provider, destinatari e condivisioni con un'interfaccia utente semplice da usare.
• Creare e gestire provider, destinatari e condivisioni con le API SQL e REST con supporto completo CLI e Terraform.
• Eseguire query su modifiche ai dati o condividere versioni incrementali con feed di dati delle modifiche.
• Limitare l'accesso dei destinatari al download di file di credenziali o all'esecuzione di query sui dati tramite elenchi di accesso IP e restrizioni all'area.
• L'uso di Delta Sharing per condividere i dati all'interno dello stesso account Azure Databricks è abilitato per impostazione predefinita.
• Applicare la separazione dei diritti delegando la gestione di Delta Sharing a utenti non amministratori.

Databricks Runtime 11.2 (Beta)

23 agosto 2022

Databricks Runtime 11.2, 11.2 Photon e 11.2 ML sono ora disponibili come versioni beta.

Vedere le note complete sulla versione di Databricks Runtime 11.2 (EoS) e Databricks Runtime 11.2 for Machine Learning (EoS).

Riduzione del volume di messaggi nell’interfaccia utente delle tabelle live delta per le pipeline continue

22-29 agosto 2022 - Versione 3.79

Con questa versione, le transizioni di stato per le tabelle live in una pipeline continua Delta Live Tables vengono visualizzate nell'interfaccia utente solo fino a quando le tabelle non attivano lo stato di esecuzione. Tutte le transizioni correlate alla ricompilazione corretta delle tabelle non vengono visualizzate nell'interfaccia utente, ma sono disponibili nel registro eventi di Delta Live Tables a livello METRICS. Tutte le transizioni agli stati di errore vengono comunque visualizzate nell'interfaccia utente. In precedenza, tutte le transizioni di stato venivano visualizzate nell'interfaccia utente per le tabelle attive. Questa modifica riduce il volume di eventi della pipeline visualizzati nell'interfaccia utente e semplifica la ricerca dei messaggi importanti per le pipeline. Per maggiori informazioni sull'esecuzione di query sul registro eventi, vedere Che cos'è il registro eventi di Delta Live Tables?.

Configurazione del cluster più semplice per le pipeline Delta Live Tables

22-29 agosto 2022 - Versione 3.79

È ora possibile selezionare una modalità cluster, ovvero la scalabilità automatica o le dimensioni fisse, direttamente nell'interfaccia utente di Delta Live Tables quando si crea una pipeline. In precedenza, la configurazione di un cluster a scalabilità automatica richiedeva modifiche alle impostazioni JSON della pipeline. Per maggiori informazioni sulla creazione di una pipeline e sulla nuova impostazione della modalità cluster, vedere Eseguire un aggiornamento in una pipeline di Delta Live Tables.

Orchestrare lei task dbt nei flussi di lavoro di Databricks (anteprima pubblica)

22-29 agosto 2022 - Versione 3.79

È possibile eseguire il progetto dbt core come task in un processo di Azure Databricks con il nuovo task dbt, consentendo di includere le trasformazioni dbt in un flusso di lavoro di elaborazione dati. Ad esempio, il flusso di lavoro consente di inserire dati con il caricatore automatico, trasformare i dati con dbt e analizzare i dati con un task notebook. Per altre informazioni sul task dbt, incluso un esempio, vedere Usare trasformazioni dbt in un processo di Azure Databricks. Per altre informazioni sulla creazione, l'esecuzione e la pianificazione di un flusso di lavoro che include un task dbt, vedere Pianificare e orchestrare i flussi di lavoro.

Federazione delle identità è disponibile a livello generale

25 agosto 2022

La federazione delle identità semplifica l'amministrazione di Azure Databricks consentendo di assegnare utenti, entità servizio e gruppi a livello di account ad aree di lavoro con federazione delle identità. È possibile configurare tutti gli utenti, le entità servizio e i gruppi una sola volta nella console dell'account, anziché ripetere la configurazione separatamente in ogni area di lavoro. Per maggiori informazioni sulla federazione delle identità, vedere In che modo gli amministratori assegnano gli utenti alle aree di lavoro?. Per iniziare, vedere In che modo gli amministratori abilitano la federazione delle identità in un'area di lavoro?.

Partner Connect supporta la connessione a Stardog

24 agosto 2022

Ora è possibile creare facilmente una connessione tra Stardog e l'area di lavoro di Azure Databricks usando Partner Connect. Stardog offre una piattaforma del grafico delle conoscenze per rispondere a query complesse tra silo di dati.

Integrazione dell’archivio funzionalità di Databricks con inferenza in tempo reale serverless

22-29 agosto 2022 - Versione 3.79

Databricks Feature Store supporta ora la ricerca automatica delle funzionalità per inferenza serverless in tempo reale. Per informazioni dettagliate, vedere Ricerca automatica delle funzionalità con Databricks Model Serving.

Supporto aggiuntivo dei tipi di dati per la ricerca automatica delle funzionalità di Databricks Feature Store

22-29 agosto 2022 - Versione 3.79

Databricks Feature Store ora supporta BooleanType per la ricerca automatica delle funzionalità. Vedere Ricerca automatica delle funzionalità con Databricks Model Serving.

Bring Your Own Key: Crittografa le credenziali Git

23-29 agosto 2022

È possibile usare una chiave di crittografia per le credenziali Git per Databricks Repos.

Vedere Bring Your Own Key: Crittografare le credenziali Git.

L’anteprima e la modalità di accesso dell’interfaccia utente del cluster sostituiscono la modalità di sicurezza

19 agosto 2022

La nuova interfaccia utente Crea cluster è disponibile in anteprima. Vedere Guida di riferimento per la configurazione di calcolo.

Limitazioni di Unity Catalog (anteprima pubblica)

16 agosto 2022

• I carichi di lavoro Scala, R e Machine Learning Runtime sono supportati solo nei cluster che usano la modalità di accesso utente singolo. I carichi di lavoro in queste lingue non supportano l'uso di visualizzazioni dinamiche per la sicurezza a livello di riga o a livello di colonna.
• I cloni superficiali non sono supportati quando si usa Unity Catalog come origine o destinazione del clone.
• Il bucketing non è supportato per le tabelle di Unity Catalog. I comandi che tentano di creare una tabella in bucket nello Unity Catalog genereranno un'eccezione.
• La modalità di sovrascrittura per le operazioni di scrittura dei DataFrame in Unity Catalog è supportata solo per le tabelle Delta, non per altri formati di file. L'utente deve disporre del privilegio CREATE per lo schema padre e deve essere il proprietario dell'oggetto esistente.
• Lo streaming presenta attualmente le limitazioni seguenti:
  • Non è supportato nei cluster che usano la modalità di accesso condiviso. Per i carichi di lavoro di streaming, è necessario usare la modalità di accesso utente singolo.
  • Il checkpoint asincrono non è ancora supportato.
  • Le query di streaming che durano più di 30 giorni in tutti i cluster obiettivi o processi genereranno un'eccezione. Per le query di streaming a esecuzione prolungata, configurare i tentativi automatici dei processi.
• Il riferimento alle tabelle di Unity Catalog dalle pipeline Delta Live Tables non è attualmente supportato.
• I gruppi creati in precedenza in un'area di lavoro non possono essere usati nelle istruzioni GRANT di Unity Catalog. Ciò consente di garantire una visualizzazione coerente dei gruppi che possono estendersi tra aree di lavoro. Per usare i gruppi nelle istruzioni GRANT, creare i gruppi nella console dell'account e aggiornare qualsiasi automazione per la gestione dell'entità di sicurezza o del gruppo (come i connettori SCIM, Okta e Microsoft Entra ID e Terraform) per fare riferimento agli endpoint dell'account anziché agli endpoint dell'area di lavoro.

Unity Catalog è disponibile nelle seguenti aree:

• canadacentral
• centralus
• francecentral
• germanywestcentral
• japaneast
• norwayeast
• southafricanorth
• swedencentral
• switzerlandnorth
• switzerlandwest
• uaenorth
• westcentralus
• westus3
• australiaeast
• brazilsouth
• centralindia
• eastus
• eastus2
• koreacentral
• northcentralus
• northeurope
• southeastasia
• ukwest
• westeurope
• westus

Per usare Unity Catalog in un'altra area, contattare il team dell'account.

Inferenza serverless in tempo reale nell’anteprima pubblica

16 agosto 2022

L'inferenza in tempo reale serverless elabora i modelli di Machine Learning usando MLflow e li mostra come endpoint dell'API REST. Questa funzionalità usa l'elaborazione serverless, ovvero gli endpoint e le risorse di calcolo associate vengono gestiti ed eseguiti nell'account cloud di Azure Databricks. Al momento non sono previsti costi per utilizzo e archiviazione, ma Azure Databricks fornirà notifiche all'inizio dell'addebito.

Gli amministratori dell'area di lavoro devono abilitare l'inferenza in tempo reale serverless nell'area di lavoro per poter usare questa funzionalità.

Per partecipare all'anteprima pubblica dell'inferenza in tempo reale serverless, contattare il team dell'account Azure Databricks.

La ricerca nell’area di lavoro migliorata è ora disponibile a livello generale

9 agosto 2022

È ora possibile cercare notebook, librerie, cartelle, file e repository in base al nome. È anche possibile cercare il contenuto all'interno di un notebook e visualizzare un'anteprima del contenuto corrispondente. I risultati della ricerca possono essere filtrati in base al tipo. Vedere Cercare oggetti dell'area di lavoro.

Usare le colonne generate quando si creano set di dati Delta Live Tables

8-15 agosto 2022 - Versione 3.78

È ora possibile usare le colonne generate quando si definiscono le tabelle nelle pipeline Delta Live Tables. Le colonne generate sono supportate dalle interfacce Python ed SQL di Delta Live Tables.

Modifica migliorata per i notebook con l’editor basato su Monaco (sperimentale)

8-15 agosto 2022

Per i notebook Python è disponibile un nuovo editor di codice basato su Monaco. Per abilitarla, selezionare l'opzione Attiva il nuovo editor di notebook nella scheda Impostazioni editor della pagina Impostazioni utente.

Il nuovo editor include hint per il tipo di parametro, ispezione degli oggetti al passaggio del mouse, riduzione del codice, supporto multi-cursore, selezione di colonne (caselle) e differenze affiancate nella cronologia delle versioni del notebook.

Termine del supporto di Databricks Runtime serie 10.3

2 agosto 2022

Il supporto per Databricks Runtime 10.3 e Databricks Runtime 10.3 for Machine Learning è terminato il 2 agosto. Vedere Cicli di vita del supporto di Databricks.

Abilitare la connettività privata con collegamento privato di Azure (anteprima pubblica)

2 agosto 2022

Questa funzionalità supporta ora le connessioni di Collegamento privato di Azure per la connettività privata tra gli utenti e le rispettive aree di lavoro di Azure Databricks e anche tra i cluster nel piano di calcolo e i servizi di base nel piano di controllo all'interno dell'infrastruttura delle aree di lavoro di Azure Databricks. Collegamento privato di Azure si connette direttamente ai servizi senza esporre il traffico alla rete pubblica. Questa funzionalità è disponibile come anteprima pubblica. Vedere Abilitare le connessioni back-end e front-end del collegamento privato di Azure.

Abilitare i warehouse SQL serverless per l’area di lavoro nell’interfaccia utente (anteprima pubblica)

2 agosto 2022

I data warehouse SQL serverless sono ora disponibili per gli account e le aree di lavoro in Azure Databricks come anteprima pubblica. Questa funzionalità richiede il piano tariffario Premium. Prima di creare i warehouse SQL serverless, un amministratore deve abilitarli per l'area di lavoro.

Le tabelle live delta supportano ora l’aggiornamento solo delle tabelle selezionate negli aggiornamenti della pipeline

2-24 agosto 2022

È ora possibile avviare un aggiornamento solo per le tabelle selezionate in una pipeline Delta Live Tables. Questa funzionalità accelera il test delle pipeline e la risoluzione degli errori consentendo di avviare un aggiornamento della pipeline che interviene solo sulle tabelle selezionate. Per informazioni su come avviare un aggiornamento solo delle tabelle selezionate, vedere Eseguire un aggiornamento in una pipeline Delta Live Tables.

L’esecuzione del processo attende ora il completamento dell’installazione delle librerie cluster

1 agosto 2022

All'avvio di un cluster, i processi di Databricks ora attendono il completamento dell'installazione delle librerie cluster prima dell'esecuzione. In precedenza, l'esecuzione dei processi attendeva l'installazione delle librerie sui cluster multiuso solo se queste erano specificate come librerie dipendenti per il processo. Per maggiori informazioni sulla configurazione delle librerie dipendenti per i task, vedere Configurare e modificare i task di Databricks.