Procedure consigliate per l’elaborazione serverless
Questo articolo offre consigli sulle procedure consigliate per l'uso di risorse di calcolo serverless nei notebook e nei processi.
Seguendo questi consigli, verranno migliorate la produttività, l'efficienza dei costi e l'affidabilità dei carichi di lavoro in Azure Databricks.
Migrazione di carichi di lavoro a un ambiente di elaborazione serverless
Per proteggere l'isolamento del codice utente, il calcolo serverless usa la modalità di accesso condiviso sicuro di Azure Databricks. Per questo motivo, alcuni carichi di lavoro richiederanno modifiche al codice per continuare a lavorare sull’elaborazione serverless. Per un elenco delle funzionalità non supportate, vedere Limitazioni del calcolo serverless.
Alcuni carichi di lavoro sono più facili da migrare rispetto ad altri. I carichi di lavoro che soddisfano i requisiti seguenti saranno i più semplici da migrare:
- I dati a cui si accede devono essere archiviati in Unity Catalog.
- Il carico di lavoro deve essere compatibile con l’elaborazione in modalità di accesso condiviso.
- Il carico di lavoro deve essere compatibile con Databricks Runtime 14.3 o versione successiva.
Per verificare se un carico di lavoro funzionerà sul calcolo serverless, eseguirlo in una risorsa di calcolo non serverless con modalità di accesso condiviso e un runtime di Databricks 14.3 o versione successiva. Se l’esecuzione ha esito positivo, il carico di lavoro è pronto per la migrazione.
A causa dell'importanza di questo cambiamento e dell'elenco corrente di limitazioni, molti carichi di lavoro non si trasferiranno senza difficoltà. Anziché ripetere tutti gli elementi, Azure Databricks consiglia di classificare in ordine di priorità la compatibilità di calcolo serverless durante la creazione di nuovi carichi di lavoro.
Inserire dati da sistemi esterni
Poiché l'ambiente di calcolo serverless non supporta l'installazione di file JAR, non è possibile usare un driver JDBC o ODBC per inserire dati da un'origine dati esterna.
Le strategie alternative che è possibile usare per l'inserimento includono:
Blocchi predefiniti basati su SQL, ad esempio COPY INTO e tabelle di streaming .
L'Autoloader per elaborare in modo incrementale ed efficiente i nuovi file di dati man mano che arrivano nell'archiviazione cloud. Vedere Che cos'è l’Autoloader?.
Soluzioni partner di inserimento dati. Vedere Connettersi ai partner di inserimento tramite Partner Connect.
Interfaccia utente aggiungi dati per caricare direttamente i file. Vedere Caricare file in Azure Databricks.
Alternative di inserimento
Quando si usa l'ambiente di elaborazione serverless, è anche possibile usare le funzionalità seguenti per eseguire query sui dati senza spostarli.
- Se desideri limitare la duplicazione dei dati o assicurarti di eseguire query sui dati più aggiornati possibili, Databricks consiglia di usare Delta Sharing. Vedere Che cos'è Delta Sharing?.
- Se si vuole eseguire operazioni di creazione di report ad hoc e modello di verifica, Databricks consiglia di provare la scelta corretta, che potrebbe essere Lakehouse Federation. Lakehouse Federation consente di sincronizzare interi database con Azure Databricks da sistemi esterni ed è governato da Unity Catalog. Vedere Che cos'è Lakehouse Federation?.
Provare una o entrambe le funzionalità e verificare se soddisfano i requisiti di prestazioni delle query.
Monitorare il costo dell’elaborazione serverless
Sono disponibili più funzionalità che è possibile usare per monitorare il costo dell’elaborazione serverless:
Usare le tabelle di sistema per creare dashboard, configurare avvisi ed eseguire query ad hoc. Vedere Monitorare il costo dell’elaborazione serverless.
Configurare gli avvisi relativi al budget nell'account. Consulta Creare e monitorare i budget .
Importare un dashboard di utilizzo preconfigurato. Vedere Importare un dashboard di utilizzo.