Agosto 2024
Queste funzionalità e i miglioramenti della piattaforma Azure Databricks sono stati rilasciati a agosto 2024.
Nota
Le versioni vengono distribuite gradualmente. L’account Azure Databricks potrebbe non essere aggiornato fino a una settimana o più dopo la data di rilascio iniziale.
Monitorare l’utilizzo degli oggetti del catalogo Unity rispetto alle quote usando le nuove API quote di risorse
30 agosto 2024
Le nuove API Quote di risorse consentono di monitorare l'utilizzo di oggetti a protezione diretta del catalogo Unity rispetto alle quote di risorse. A breve, sarà anche possibile ricevere notifiche tramite posta elettronica quando si avvicinano i limiti di quota. Si veda Monitorare l'utilizzo delle quote di risorse del catalogo Unity e Informazioni di riferimento sull'API Quote di risorse.
MPT 7B Instruct and MPT 30B Instruct model retirements
30 agosto 2024
I modelli MPT 7B Instruct e MPT 30B Instruct sono stati ritirati. Per i modelli di sostituzione consigliati, si veda Modelli ritirati.
AskSupport sostituito dall’assistente Azure Databricks
29 agosto 2024
AskSupport, il canale di supporto basato su Slack di Databricks, è stato sostituito con Databricks Assistant, disponibile nell'area di lavoro di Databricks. Usare Databricks Assistant per cercare documentazione tecnica, creare ticket e ottenere supporto compatibile con il contesto.
Per usare l’Assistente IA, questo deve essere abilitato nella console dell'account.
Dashboard di gestione dei costi importabile aggiunto alla console dell’account (anteprima pubblica)
28 agosto 2024
Gli amministratori dell'account possono ora importare una dashboard di gestione dei costi personalizzabile dalla console dell'account in qualsiasi area di lavoro del catalogo Unity nel proprio account. Esistono due versioni della dashboard: una che monitora l'utilizzo a livello di account e un'altra per l'utilizzo a singola area di lavoro.
Le tabelle di sistema Lakeflow vengono estese con colonne aggiuntive
23 agosto 2024
Le tabelle nello schema system.lakeflow
vengono estese con colonne aggiuntive. Sono state apportate le seguenti modifiche:
jobs
viene esteso con la colonnadescription
.job_run_timeline
viene esteso con colonnerun_type
,run_name
,compute_ids
,termination_code
ejob_parameters
.job_task_run_timeline
viene esteso con colonnejob_run_id
,parent_run_id
etermination_code
.
La modifica dello schema non causa interruzioni e non interrompe i flussi di lavoro esistenti. Le nuove colonne non verranno riempite per le righe già generate. Per altre informazioni, si veda Tabelle di riferimento del sistema dei processi.
Evidenziazione degli errori di formattazione del codice Python
23 agosto 2024
Il codice Python nei notebook e negli editor di file può evidenziare errori di formattazione e avvisi, ad esempio rientro imprevisto, lunghezza lunga e altro ancora. Si veda Evidenziazione della formattazione in Python
Condivisione differenziale: altre funzionalità delta Lake ora supportate dai connettori Python e Power BI
21 agosto 2024
Il connettore Python per la condivisione delta 1.1.0+ e Power BI v2.132.908.0+ ora supporta:
- Modalità nome mapping colonne
- Vettori di eliminazione
- Formato Uniform
Queste funzionalità Delta Lake erano già supportate in Databricks Runtime 14.1+ e nel connettore Apache Spark sharing open source 3.1+.
Si veda Matrice di supporto delle funzionalità Delta Lake.
La condivisione differenziale aggiunge il supporto per TimestampNTZ
21 agosto 2024
La condivisione Delta aggiunge il supporto per TimestampNTZ su Databricks Runtime 14.1 e versioni successive e sul connettore open-source Delta Sharing Apache Spark 3.3 e versioni successive.
Si veda Matrice di supporto delle funzionalità Delta Lake.
L'attività Processi For each
di Azure Databricks è disponibile a livello generale
21 agosto 2024
L’attività For each
è ora disponibile a livello generale. È possibile usare l'attività For each
per eseguire un'altra attività in un ciclo, passando un set diverso di parametri a ogni iterazione dell'attività. L'attività For each
può scorrere qualsiasi attività di processo standard, ad esempio un notebook, un file JAR, uno script Python o un'attività SQL. Si veda Eseguire un'attività di processo di Azure Databricks con parametri in un ciclo.
Autorizzazione controllo degli accessi in base al ruolo di Azure RBAC per gli amministratori dell'area di lavoro
20 agosto 2024
In precedenza, per concedere a un utente il ruolo di amministratore dell'area di lavoro di Azure Databricks è stato richiesto il ruolo di amministratore dell'area di controllo degli accessi in base al ruolo di Azure (controllo degli accessi in base al ruolo) predefinito. È ora possibile creare un ruolo di controllo degli accessi in base al ruolo di Azure personalizzato con l'autorizzazione Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action
per concedere a un utente il ruolo di amministratore dell'area di lavoro di Azure Databricks. Questi utenti possono gestire il servizio Azure Databricks e configurare la registrazione diagnostica. Per ulteriori informazioni, si veda Autorizzazioni di amministrazione di Azure necessarie.
Databricks Runtime 15.4 LTS è disponibile a livello generale
19 agosto 2024
Databricks Runtime 15.4 LTS e Databricks Runtime 15.4 LTS ML disponibili a livello generale
Vedere Databricks Runtime 15.4 LTS e Databricks Runtime 15.4 LTS per Machine Learning.
Completamento automatico del notebook personalizzato
19 agosto 2024
Il completamento automatico del notebook assegna ora priorità ai suggerimenti in base ai singoli metadati e all'utilizzo del catalogo Unity, fornendo classificazioni di suggerimenti personalizzate per ogni utente. Si veda Completamento automatico personalizzato
Configurare la modalità di accesso predefinita dell’area di lavoro per il calcolo dei processi
16 agosto 2024
Gli amministratori dell'area di lavoro possono ora configurare la modalità di accesso predefinita per i processi di calcolo nell'area di lavoro. Questa modalità di accesso predefinita viene applicata alle risorse di calcolo senza una modalità di accesso definita. Per altre informazioni, vedere Modalità di accesso predefinita per l’ambiente di calcolo dei processi.
Nuovi comandi barra per Databricks Assistant
14 agosto 2024
Databricks Assistant ha aggiunto i comandi barra seguenti come collegamenti per le attività comuni:
/findTables
: cerca le tabelle pertinenti in base ai metadati del catalogo Unity./findQueries
: cerca le query pertinenti in base ai metadati del catalogo Unity./prettify
: formatta il codice in modo che sia facilmente leggibile./rename
: suggerisce nomi aggiornati alle celle del notebook e ad altri elementi, a seconda del contesto./settings
: regola le impostazioni del notebook direttamente da Assistente.
Per altre informazioni, si veda Utilizzare i comandi a barra per le richieste.
La ricerca nell’area di lavoro supporta ora i volumi
14 agosto 2024
I volumi sono ora inclusi nei risultati della ricerca. Si veda Cercare oggetti nell'area di lavoro.
Modelli Meta Llama 3.1 405B supportati nell'ottimizzazione del modello foundation
14 agosto 2024
I modelli Meta Llama 3.1 405B sono ora supportati nell'ottimizzazione del modello foundation. Consulta Modelli supportati.
Driver ODBC di Databricks 2.6.40
13 agosto 2024
Databricks JDBC Driver versione 2.6.40 è ora disponibile tra i download del driver JDBC. Questa versione rimuove i messaggi di log ridondanti WARNING
per aumentare l'usabilità e la sicurezza della registrazione.
Questa versione include i miglioramenti e le nuove funzionalità che seguono:
- Supporto dell'endpoint di individuazione OIDC. Il driver può ora impostare un endpoint di individuazione OIDC per recuperare un token e recuperare un endpoint di autorizzazione.
- Supporto aggiornato di Arrow. Il driver ora usa Apache Arrow versione 14.0.2. Le versioni precedenti del driver usano Apache Arrow versione 9.0.0.
- Supporto di
ProxyIgnoreList
Il driver adesso supporta la proprietàProxyIgnoreList
quandoUseProxy
è impostato su1
. - Supporto dei token di aggiornamento. Il driver supporta ora un token di aggiornamento facoltativo. Salva il token di accesso e lo riutilizza per le nuove connessioni purché sia valido. Se il driver non riesce a rinnovare il token di accesso usando il token di aggiornamento, verrà eseguito di nuovo l'accesso.
- Autenticazione aggiornata supportata Il driver supporta ora l'autenticazione basata su browser (U2M) e le credenziali client (M2M) in Google Cloud.
- Aggiunta di opzioni OAuth predefinite unificate.
- È ora possibile configurare la porta di reindirizzamento OAuth. A tale scopo, impostare la proprietà
OAuth2RedirectUrlPort
sulla porta.
Per informazioni complete sulla configurazione, vedere la Guida al driver JDBC di Databricks installata con il pacchetto di download del driver.
I token di accesso personali di Databricks vengono revocati se non usati dopo 90 giorni
13 agosto 2024
Databricks ora revoca automaticamente tutti i token di accesso personale (PAT) che non sono stati usati in 90 o più giorni. Per altre informazioni, vedere Monitorare e revocare i token di accesso personali.
L’API cluster supporta ora gli aggiornamenti parziali della configurazione
13 agosto 2024
Una nuova chiamata API consente di aggiornare parzialmente una configurazione del cluster, richiedendo di specificare solo gli attributi da aggiornare. Si veda Aggiornare la configurazione del cluster (parziale) nella guida di riferimento all'API REST.
Eseguire il wrapping delle righe nelle celle del notebook
12 agosto 2024
È ora possibile abilitare o disabilitare il ritorno a capo automatico delle righe nelle celle del notebook, consentendo il ritorno a capo su più righe o rimanere su una singola riga con scorrimento orizzontale. Si veda Ritorno a capo automatico.
Specificare le colonne da sincronizzare per La ricerca vettoriale di Mosaic AI
12 agosto 2024
È ora possibile specificare un subset di colonne in una tabella da usare in un indice di ricerca vettoriale. La colonna della chiave primaria e la colonna di incorporamento sono sempre sincronizzate. Si veda Come creare ed eseguire query su un indice di ricerca vettoriale.
I file non possono più avere nomi identici nelle cartelle dell’area di lavoro
9 agosto 2024
Databricks ora impedisce di creare o rinominare le risorse nelle cartelle dell'area di lavoro quando il nome di una risorsa corrisponde esattamente al nome di un altro file, tenendo conto dell'estensione del file della risorsa. Ad esempio, non è più possibile creare un file denominato test.py
se è già presente un notebook con un nome di base test
con un'estensione .py
nella stessa cartella dell'area di lavoro.
Per altre informazioni, vedere Denominazione delle risorse nelle cartelle dell'area di lavoro.
Applicazione dei criteri di calcolo ora disponibile
8 agosto 2024
L'applicazione della conformità dei criteri consente agli amministratori dell'area di lavoro di aggiornare le risorse di calcolo dell'area di lavoro in modo che siano conformi alla versione più recente di un criterio. Questa funzionalità può essere usata nell'interfaccia utente o tramite l'API Criteri cluster.
Si veda Applicare la conformità dei criteri o l'API Criteri cluster.
Le API del modello foundation con pagamento in base al token sono ora disponibili a livello generale
7 agosto 2024
Le API del modello foundation con pagamento in base al token sono ora disponibili a livello generale Si veda API del modello foundation con pagamento in base al token.
Collaborare ai progetti di dati in modo sicuro e privato usando Databricks Clean Rooms (anteprima pubblica)
6 agosto 2024
Databricks Clean Rooms usa la condivisione delta e il calcolo serverless per fornire un ambiente sicuro e protetto dalla privacy in cui più parti possono condividere dati aziendali sensibili e collaborare senza accesso diretto ai dati degli altri.
Con Clean Rooms, gli utenti di altri account Databricks possono collaborare per generare informazioni dettagliate univoche sui progetti condivisi, ad esempio campagne pubblicitarie, decisioni di investimento o ricerca e sviluppo, senza spostare o esporre dati sensibili. Eseguire carichi di lavoro complessi in un ambiente temporaneo usando qualsiasi linguaggio supportato dai notebook di Databricks, tra cui Python, che offre supporto nativo per i carichi di lavoro di Machine Learning.
Per provarla, rivolgersi al rappresentante di Azure Databricks.
Si veda Che cos'è Azure Databricks Clean Rooms?.
Mosaic AI Vector Search è ora conforme a HIPAA
6 agosto 2024
Mosaic AI Vector Search è ora conforme a HIPAA in tutte le regioni.
Formattare le colonne nei notebook e nelle tabelle dei risultati delle query
6 agosto 2024
Personalizzare le tabelle dei risultati in modo che siano più leggibili con opzioni di formattazione delle colonne, ad esempio Valuta, Percentuale, URL, controllo su posizioni decimali e altro ancora. Si veda Formattare le colonne.
I filtri di riga e le maschere di colonna sono ora disponibili a livello generale, con miglioramenti
6 agosto 2024
La possibilità di applicare filtri di riga e maschere di colonna alle tabelle è ora disponibile a livello generale in Databricks Runtime 12.2 e versioni successive. I filtri di riga e le maschere di colonna impediscono l'accesso ai dati sensibili da parte degli utenti specificati. Questi filtri e maschere vengono implementati come funzioni definite dall'utente (UDF) SQL. La disponibilità generale offre il supporto per le funzionalità seguenti che non erano disponibili nell'anteprima pubblica:
Espressioni costanti nei parametri dei criteri (stringhe, numeri, intervalli, valori booleani, valori Null).
Viste materializzate e tabelle di streaming (anteprima pubblica).
Istruzione MERGE
Campionamento delle tabelle.
Il rilascio separato del supporto per il controllo di accesso con granularità fine nel calcolo utente singolo espande anche le opzioni di calcolo per l'uso di tabelle con filtri di riga e maschere di colonna applicate.
Si veda Filtrare i dati delle tabelle sensibili usando filtri di riga e maschere di colonna.
Lakehouse Federation è disponibile a livello generale
1 agosto 2024
In Databricks Runtime 15.2 e versioni successive e Databricks SQL versione 2024.30 e successive, i connettori Lakehouse Federation nei tipi di database seguenti sono disponibili a livello generale:
- MySQL
- PostgreSQL
- Amazon Redshift
- Snowflake
- Microsoft SQL Server
- Azure Synapse (SQL Data Warehouse)
- Databricks
Questa versione introduce anche i miglioramenti seguenti:
Supporto per l'autenticazione Single Sign-On (SSO) nei connettori Snowflake e Microsoft SQL Server.
Il supporto per il collegamento privato di Azure nel connettore SQL Server da ambienti di calcolo serverless. Si veda Passaggio 3: Creare regole per endpoint privati.
Supporto per i pushdown aggiuntivi (string, math e funzioni varie).
Miglioramento della frequenza di successo del pushdown tra forme di query diverse.
Funzionalità di debug pushdown aggiuntive:
- L'output
EXPLAIN FORMATTED
visualizza il testo della query di cui è stato eseguito il push. - L'interfaccia utente del profilo di query visualizza il testo della query di cui è stato eseguito il push, gli identificatori dei nodi federati e i tempi di esecuzione delle query JDBC (in modalità dettagliata). Si veda Visualizzare le query federate generate dal sistema.
- L'output