Che cos'è l'API Livy per Ingegneria dei dati?
Nota
L'API Livy per fabric Ingegneria dei dati è in anteprima.
Si applica a:✅ ingegneria dei dati e data science in Microsoft Fabric
L'API Livy di Microsoft Fabric consente agli utenti di inviare ed eseguire codice Spark all'interno dell'ambiente di calcolo Spark associato a fabric Lakehouse, eliminando la necessità di creare qualsiasi elemento Notebook o Spark Job Definition. Questa integrazione con Lakehouse garantisce un accesso diretto ai dati archiviati in OneLake.
Funzionalità
L'API Livy fabric consente di inviare processi in due modalità diverse:
- Processi di sessione
- Un processo di sessione Livy comporta la creazione di una sessione Spark che rimane attiva durante l'interazione con l'API Livy. Le sessioni livy sono utili per carichi di lavoro interattivi.
- Una sessione Spark viene avviata quando un processo viene inviato e dura fino al termine dell'utente o il sistema lo termina dopo 20 minuti di inattività. Durante la sessione, più processi possono essere eseguiti, condividendo lo stato e i dati memorizzati nella cache tra le esecuzioni.
- Processi batch
- Un processo batch Livy comporta l'invio di un'applicazione Spark per un'esecuzione di un singolo processo. A differenza di un processo di sessione Livy, un processo batch non supporta una sessione Spark in corso.
- Con i processi batch Livy, ogni processo avvia una nuova sessione Spark che termina al termine del processo. Questo approccio funziona bene per le attività che non si basano sui calcoli precedenti o richiedono la gestione dello stato tra processi.
Introduzione all'API Livy
Informazioni su come creare ed eseguire processi Spark usando l'API Livy in Fabric scegliendo invia processi di sessione Spark usando l'API Livy o un invio di processi batch Spark usando l'API Livy.