Maggio 2024

Queste funzionalità e i miglioramenti della piattaforma Azure Databricks sono stati rilasciati a maggio 2024.

Nota

Le versioni vengono distribuite gradualmente. L’account Azure Databricks potrebbe non essere aggiornato fino a una settimana o più dopo la data di rilascio iniziale.

La configurazione del firewall serverless supporta ora più tipi di calcolo

31 maggio 2024

Azure Databricks supporta ora la configurazione di firewall per processi serverless, notebook, pipeline di tabelle live Delta e modello che gestisce gli endpoint CPU tramite configurazioni di connettività di rete. Gli amministratori degli account possono creare controller di rete e collegarli alle aree di lavoro per garantire l'accesso sicuro e controllato tramite subnet stabili.

Vedere Configurare un firewall per l'accesso all’elaborazione serverless.

Termine del supporto di Databricks Runtime serie 15.0

31 maggio 2024

Il supporto per Databricks Runtime 15.0 e Databricks Runtime 15.0 per Machine Learning è terminato il 31 maggio. Vedere Cicli di vita del supporto di Databricks.

Databricks Runtime 15.3 (Beta)

30 maggio 2024

Databricks Runtime 15.3 e Databricks Runtime 15.3 ML sono ora disponibili come versioni beta.

Vedere Databricks Runtime 15.3 e Databricks Runtime 15.2 per Machine Learning.

L’interfaccia utente delle metriche di calcolo è ora disponibile in tutte le versioni di Databricks Runtime

30 maggio 2024

L'interfaccia utente delle metriche di calcolo è stata implementata in tutte le versioni di Databricks Runtime. In precedenza, queste metriche erano disponibili solo sulle risorse di calcolo in esecuzione in Databricks Runtime 13.3 e versioni successive. Vedere Visualizzare le metriche di calcolo.

Miglioramento della ricerca e del filtro nelle tabelle dei risultati del notebook e dell’editor SQL

28 maggio 2024

È ora possibile cercare facilmente le colonne e selezionare i valori di filtro da un elenco a discesa dei valori esistenti nelle tabelle dei risultati all'interno dei notebook e nell'editor SQL.

Il nuovo dashboard consente ai provider di Databricks Marketplace di monitorare l’utilizzo delle presentazioni

28 maggio 2024

Il nuovo dashboard di Analisi del provider consente ai provider di Databricks Marketplace di monitorare visualizzazioni, richieste e installazioni di presentazioni. Il dashboard esegue il pull dei dati dalle tabelle di sistema del Marketplace. Vedere Monitorare l'elenco delle metriche di utilizzo usando i dashboard.

Visualizzare le query federate generate dal sistema in Query Profile

24 maggio 2024

Lakehouse Federation supporta ora la visualizzazione delle query federate generate dal sistema e delle relative metriche nel profilo di query. Fare clic sul nodo di analisi della federazione nella visualizzazione grafico per visualizzare la query inserita nell'origine dati. Vedere Visualizzare le query federate generate dal sistema.

Gli indirizzi IP in uscita del piano di calcolo devono essere aggiunti a un elenco indirizzi IP consentiti dell’area di lavoro

24 maggio 2024

Se si usano elenchi di accesso IP e connettività del cluster sicuro nell'area di lavoro, è necessario aggiungere tutti gli INDIRIZZI IP pubblici usati dal piano di calcolo per accedere al piano di controllo a un elenco di elementi consentiti o configurare collegamento privato back-end. Questa modifica influirà su tutte le nuove aree di lavoro il 29 luglio 2024 e le aree di lavoro esistenti il 26 agosto 2024. Per altre informazioni, consultare Databricks Community post.

Ad esempio, se si abilita la connettività sicura del cluster in un’area di lavoro che usa l’inserimento di reti virtuali, Databricks consiglia che l’area di lavoro disponga di un indirizzo IP pubblico in uscita stabile. Tale indirizzo IP pubblico e qualsiasi altro utente deve essere presente in un elenco elementi consentiti. Consultare Indirizzi IP in uscita quando si usa la connettività sicura del cluster. In alternativa, se si usa una rete virtuale gestita da Azure Databricks e si configura il gateway NAT gestito per accedere agli indirizzi IP pubblici, tali indirizzi IP devono essere presenti in un elenco di indirizzi consentiti.

Consultare Configurare gli elenchi di accesso IP per le aree di lavoro.

OAuth è supportato nella federazione lakehouse per Snowflake

24 maggio 2024

Il catalogo unity consente ora di creare connessioni Snowflake usando OAuth. Vedere Eseguire query federate in Snowflake.

Spostare ed eliminare in blocco gli oggetti dell’area di lavoro dal browser dell’area di lavoro

24 maggio 2024

È ora possibile selezionare più elementi nell'area di lavoro per spostare o eliminare. Quando vengono selezionati più oggetti, viene visualizzata una barra delle azioni con opzioni per spostare o eliminare elementi. Inoltre, è possibile selezionare più elementi con il mouse e trascinarli in una nuova posizione. Le autorizzazioni esistenti per gli oggetti vengono ancora applicate durante le operazioni di spostamento ed eliminazione in blocco.

Gli oggetti Catalogo unity sono disponibili in recenti e preferiti

23 maggio 2024

È ora possibile trovare oggetti del catalogo Unity come cataloghi e schemi nell'elenco dei recenti. È anche possibile aggiungere oggetti catalogo Unity preferiti in Esplora cataloghi e nel browser dello schema e trovare gli oggetti preferiti nella home page dell'area di lavoro.

Il nuovo connettore dbt-databricks 1.8.0 adotta l’architettura dbt disaccoppiata

23 maggio 2024

DBT-Databricks Connector 1.8.0 è la prima versione per adottare la nuova architettura dbt disaccoppiata. Anziché dipendere da dbt-core per liberare i clienti dalla necessità di specificare versioni per entrambe le librerie, il connettore dipende ora da un livello di astrazione condiviso tra l'adattatore e dbt-core. Di conseguenza, il connettore non deve più corrispondere alla versione della funzionalità Databricks a quella di dbt-core ed è libero di adottare il controllo delle versioni semantiche. Ciò significa che gli sviluppatori di connettori non devono più rilasciare funzionalità significative, ad esempio calcolo per modello, come patch.

Questa versione offre anche quanto segue:

• Miglioramenti alla dichiarazione e al funzionamento delle viste materializzate e delle tabelle di streaming, inclusa la possibilità di pianificare gli aggiornamenti automatici.
• Supporto per i tag di oggetti a protezione diretta di Unity Catalog. Per distinguerli dai tag dbt, che sono metadati spesso usati per la selezione di modelli in un'operazione dbt, questi tag vengono denominati databricks_tags nella configurazione del modello.
• Diversi miglioramenti alle prestazioni di elaborazione dei metadati.

Nuove API per le impostazioni di conformità e sicurezza (anteprima pubblica)

23 maggio 2024

Databricks ha introdotto nuove API per il profilo di sicurezza della conformità, il monitoraggio avanzato della sicurezza e le impostazioni di aggiornamento automatico dei cluster nelle aree di lavoro. Vedere:

• API profilo di sicurezza per la conformità
• API di monitoraggio della sicurezza avanzata
• API di aggiornamento automatico del cluster

Databricks Runtime 15.2 è disponibile a livello generale

22 maggio 2024

Databricks Runtime 15.2 e Databricks Runtime 15.2 SONO ora disponibili a livello generale.

Vedere Databricks Runtime 15.2 e Databricks Runtime 15.2 per Machine Learning.

Nuovo connettore Tableau per la condivisione Delta

22 maggio 2024

Il nuovo connettore tableau delta sharing semplifica l'accesso a Tableau Desktop ai dati condivisi con l'utente usando il protocollo di condivisione aperta di Condivisione Delta. Vedere Tableau: Leggere i dati condivisi.

Nuovi esempi di modelli di raccomandazione per l’apprendimento avanzato

22 maggio 2024

Databricks ha pubblicato due nuovi esempi che illustrano i moderni modelli di raccomandazione di Deep Learning, tra cui il modello a due torre e la DLRM di Meta. Per altre informazioni sui modelli di raccomandazione di Deep Learning, vedere Eseguire il training dei modelli di raccomandazione.

Associare le credenziali di archiviazione e le posizioni esterne a aree di lavoro specifiche (anteprima pubblica)

22 maggio 2024

È ora possibile associare le credenziali di archiviazione e le posizioni esterne a aree di lavoro specifiche, impedendo l'accesso a tali oggetti da altre aree di lavoro. Questa funzionalità è particolarmente utile se si usano aree di lavoro per isolare l'accesso ai dati utente, ad esempio se sono presenti aree di lavoro di produzione e sviluppo separate o un'area di lavoro dedicata per la gestione dei dati sensibili.

Per altre informazioni, vedere (Facoltativo) Assegnare una posizione esterna a aree di lavoro specifiche e (facoltativo) Assegnare credenziali di archiviazione a aree di lavoro specifiche.

Le cartelle Git sono disponibili a livello generale

22 maggio 2024

Le cartelle Git sono ora disponibili a livello generale. Si veda Integrazione git per le cartelle Git di Databricks. Se si è un utente della funzionalità "Repos" precedente, vedere Cosa è successo a Databricks Repos?.

Modelli con training preliminare nel catalogo unity (anteprima pubblica)

21 maggio 2024

Databricks include ora una selezione di modelli GenAI di alta qualità con training preliminare in Unity Catalog. Questi modelli con training preliminare consentono di accedere alle funzionalità di intelligenza artificiale all'avanguardia per i flussi di lavoro di inferenza, risparmiando tempo e spese per la creazione di modelli personalizzati. Vedere Modelli con training preliminare in Unity Catalog e Marketplace.

Mosaic AI Vector Search è disponibile a livello generale

21 maggio 2024

Mosaic AI Vector Search è ora disponibile a livello generale. Vedere Ricerca vettoriale di Mosaico per intelligenza artificiale.

Completamento automatico di Databricks Assistant (anteprima pubblica)

20 maggio 2024

Il completamento automatico di Databricks Assistant fornisce suggerimenti basati sull'intelligenza artificiale in tempo reale durante la digitazione in notebook, query e file. Per abilitarla, passare a Impostazioni>Funzionalità sperimentali sviluppatore>e attivare o disattivare il completamento automatico dell'Assistente Databricks. Per informazioni dettagliate, vedere Completamento automatico basato su intelligenza artificiale.

Supporto di Meta Llama 3 in Foundation Model Training

20 maggio 2024

Foundation Model Training supporta ora Meta Llama 3. Vedere Ottimizzazione del modello di base.

Nuove modifiche apportate all’interfaccia utente della cartella Git

17 maggio 2024

È possibile notare alcune modifiche all'interfaccia utente per le interazioni con le cartelle Git. Sono stati aggiunti gli elementi seguenti:

• Quando si condivide una cartella Git, verrà visualizzato un nuovo avviso in un banner che richiede di copiare il collegamento per creare la cartella Git. Quando si fa clic sul pulsante, viene copiato un URL negli Appunti locali, che è possibile inviare a un altro utente. Quando l'utente del destinatario carica l'URL in un browser, l'utente viene impiegato nell'area di lavoro in cui può creare la propria cartella Git clonata dallo stesso repository Git remoto. Quando il destinatario accede all'URL, verrà visualizzata una finestra di dialogo Crea cartella Git nell'interfaccia utente prepopolato con i valori acquisiti dalla cartella Git.

  

• Analogamente, un nuovo pulsante Crea cartella Git viene visualizzato in un nuovo banner di avviso quando si visualizza una cartella Git creata da un altro utente. Fare clic su questo pulsante per creare una cartella Git personalizzata per lo stesso repository Git, in base ai valori precompilato nella finestra di dialogo Crea cartella Git.

  

Training del modello foundation (anteprima pubblica)

13 maggio 2024

Databricks supporta ora il training del modello di base. Con Foundation Model Training si usano i propri dati per personalizzare un modello di base per ottimizzare le prestazioni per l'applicazione specifica. Ottimizzando o continuando il training di un modello di base, è possibile eseguire il training del proprio modello usando risorse di calcolo, tempo e dati significativamente inferiori rispetto al training di un modello da zero. I dati di training, i checkpoint e il modello ottimizzato si trovano tutti nella piattaforma Databricks e sono integrati con i relativi strumenti di governance e produttività.

Per informazioni dettagliate, vedere Ottimizzazione del modello di base.

Consentire agli utenti di copiare i dati negli Appunti dalla tabella dei risultati

9 maggio 2024

Gli amministratori possono ora abilitare o disabilitare la possibilità per gli utenti di copiare i dati negli Appunti dalle tabelle dei risultati. In precedenza, questa funzionalità era limitata ai notebook. Questa impostazione si applica ora alle interfacce seguenti:

• Notebook
• Dashboard
• Genie Spaces
• Esplora cataloghi
• Editor di file
• Editor SQL

I valori dei tag di attributo per gli oggetti Catalogo Unity possono ora essere lunghi 1000 caratteri (anteprima pubblica)

8 maggio 2024

I valori dei tag di attributo in Unity Catalog possono ora contenere fino a 1000 caratteri. Il limite di caratteri per i tasti tag rimane 255. Vedere Applicare tag a oggetti a protezione diretta del catalogo Unity.

Visualizzare l’anteprima della pagina

8 maggio 2024

Abilitare e gestire l'accesso alle anteprime di Databricks nella nuova pagina Anteprime. Vedere Gestire le anteprime di Azure Databricks.

Nuove funzionalità per la ricerca vettoriale di Mosaic AI Vector

8 maggio 2024

Le nuove funzionalità includono quanto segue:

• Gli elenchi di accesso IP sono ora supportati.
• Le chiavi gestite dal cliente (CMK) sono ora supportate per gli endpoint creati il 8 maggio 2024. Il supporto della ricerca vettoriale per CMK è disponibile in anteprima pubblica.
• Sono stati migliorati i log di controllo e il rilevamento dell'attribuzione dei costi. Vedere Informazioni di riferimento sui log di diagnostica.
• È ora possibile salvare gli incorporamenti generati come tabella Delta. Vedere Creare un indice di ricerca vettoriale.

Vedere Ricerca vettoriale di Mosaico per intelligenza artificiale.

I controlli di accesso alle tabelle del metastore e del pass-through delle credenziali e del metastore Hive sono deprecati

7 maggio 2024

I controlli di accesso alle tabelle pass-through delle credenziali e del metastore Hive sono deprecati in Databricks Runtime 15.0 e il supporto verrà rimosso in una versione DBR futura.

Aggiornamento a Unity Catalog per semplificare la sicurezza e la governance dei dati fornendo una posizione centrale per amministrare e controllare l'accesso ai dati in più aree di lavoro nell'account. Vedere Che cos'è il catalogo Unity?.

Driver JDBC di Databricks 2.6.38

6 maggio 2024

È stata rilasciata la versione 2.6.38 del driver JDBC di Databricks (download). In questa versione sono stati aggiunti i miglioramenti e le nuove funzionalità che seguono:

• Supporto di query con parametri nativi se il server usa SPARK_CLI_SERVICE_PROTOCOL_V8. Il limite del numero di parametri in una query è 256 in modalità query nativa.
• Inserimento dati con supporto per volumi Unity Catalog . Per altre informazioni sui Unity Catalog volumi, vedere Connettersi all'archiviazione di oggetti cloud con Il catalogo unity. Per usare questa opzione, impostare su UseNativeQuery 1.
• QueryProfile interfaccia aggiunta a consente alle IHadoopStatement applicazioni di recuperare l'oggetto di query iduna query. query id Può essere usato per recuperare i metadati della query usando le API REST di Databricks.
• Operazioni asincrone per i metadati che Thrift chiama se il server usa SPARK_CLI_SERVICE_PROTOCOL_V9. Per usare questa funzionalità, impostare la proprietà su EnableAsyncModeForMetadataOperation 1.
• Supporto dell'asserzione JWT. Il connettore supporta ora L'asserzione JWT OAuth usando le credenziali client. A tale scopo, impostare la UseJWTAssertion proprietà su 1.

Questa versione risolve anche i problemi seguenti:

• Aggiornamenti delle librerie Jackson. Il connettore usa ora le librerie seguenti per il parser JSON Jackson: jackson-annotations 2.16.0 (in precedenza 2.15.2), jackson-core 2.16.0 (in precedenza 2.15.2), jackson-databind-2.16.0 (precedentemente 2.15.2)
• Il connettore contiene file di classe non oscurati nella directory META-INF.

Supporto del firewall per l’account di archiviazione a livello generale dell’area di lavoro

6 maggio 2024

Quando si crea una nuova area di lavoro di Azure Databricks, viene creato un account di archiviazione di Azure in un gruppo di risorse gestito, noto come account di archiviazione dell'area di lavoro. È ora possibile abilitare un firewall per limitare l'accesso all'account di archiviazione dell'area di lavoro solo da risorse e reti autorizzate. Vedere Abilitare il supporto del firewall per l'account di archiviazione dell'area di lavoro.

Databricks Runtime 15.2 (Beta)

2 maggio 2024

Databricks Runtime 15.2 e Databricks Runtime 15.2 ML sono ora disponibili come versioni beta.

Vedere Databricks Runtime 15.2 e Databricks Runtime 15.2 per Machine Learning.

I notebook ora rilevano e completano automaticamente i nomi delle colonne per i dataframe spark Connect

1 maggio 2024

I notebook di Databricks ora rilevano e visualizzano automaticamente i nomi delle colonne in Spark Connect DataFrame e consentono di usare il completamento automatico per selezionare le colonne.