Condividi tramite

Log Delta Lake in Magazzino in Microsoft Fabric

  • Articolo

Si applica a✅: warehouse in Microsoft Fabric

Il magazzino in Microsoft Fabric è costituito da formati di file aperti. Le tabelle utente vengono archiviate in formato di file parquet e i log Delta Lake vengono pubblicati per tutte le tabelle utente.

I log di Delta Lake consentono l'accesso diretto alle tabelle utente del magazzino per qualsiasi motore in grado di leggere le tabelle Delta Lake. Questo accesso è limitato a di sola lettura per garantire che i dati utente mantengano la conformità delle transazioni ACID. Tutti gli inserimenti, gli aggiornamenti e le eliminazioni dei dati nelle tabelle devono essere eseguiti tramite il magazzino. Una volta eseguito il commit di una transazione, viene avviata un' elaborazione in background di sistema per pubblicare il log Delta Lake aggiornato per le tabelle interessate.

Come fare a ottenere il percorso di OneLake

I passaggi seguenti illustrano in dettaglio come ottenere il percorso di OneLake da una tabella in un magazzino:

  1. Aprire Magazzino nell'area di lavoro di Microsoft Fabric.

  2. In Esplora oggetti sono disponibili altre opzioni (...) in una tabella selezionata nella cartella Tabelle. Selezionare il menu Proprietà.

    Screenshot che mostra dove trovare l'opzione Proprietà in una tabella selezionata.

  3. Nella selezione, il riquadro Proprietà mostra le informazioni seguenti:

    1. Nome
    2. Formato
    3. Type
    4. URL
    5. Percorso relativo
    6. Percorso ABFS

    Screenshot del riquadro Proprietà.

Come fare a ottenere il percorso dei log Delta Lake

È possibile individuare i log Delta Lake tramite i metodi seguenti:

  • I log Delta Lake possono essere sottoposti a query tramite i collegamenti creati in un lakehouse. È possibile visualizzare i file usando un notebook di Microsoft Fabric Spark o Lakehouse Explorer in Fabric Ingegneria dei dati nel portale di Microsoft Fabric.

  • I log Delta Lake sono disponibili tramite Azure Storage Explorer, tramite le connessioni Spark, ad esempio la modalità Direct Lake di Power BI o qualsiasi altro servizio in grado di leggere tabelle delta.

  • I log Delta Lake sono disponibili nella cartella _delta_log di ogni tabella tramite OneLake Explorer in Windows, come illustrato nello screenshot seguente.

    Screenshot di Windows OneLake Explorer, che mostra il percorso della cartella dei log delta per la tabella call_center.

Mettere in pausa la pubblicazione dei log Delta Lake

Se necessario, la pubblicazione dei log Delta Lake può essere messa in pausa e riavviata. Quando la pubblicazione è in pausa, i motori di Microsoft Fabric che leggono le tabelle all'esterno del magazzino visualizzano i dati come prima della messa in pausa. Garantisce che i report rimangano stabili e coerenti, riflettendo i dati di tutte le tabelle esistenti prima che queste siano state modificate. Al completamento degli aggiornamenti dei dati, è possibile riavviare la pubblicazione dei log Delta Lake per rendere visibili tutte le modifiche recenti ai dati ad altri motori analitici. Un altro caso d'uso per mettere in pausa la pubblicazione dei log Delta Lake è quando gli utenti non necessitano dell'interoperabilità con altri motori di calcolo in Microsoft Fabric, in quanto consente di risparmiare sui costi di calcolo.

La sintassi per mettere in pausa e riavviare la pubblicazione dei log Delta Lake è la seguente:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED | AUTO

Esempio: pause e riavviare la pubblicazione dei log Delta Lake

Per mettere in pausa la pubblicazione dei log Delta Lake, usare il frammento di codice seguente:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED

Le query sulle tabelle di magazzino nel magazzino corrente da altri motori di Microsoft Fabric (ad esempio, le query da un Lakehouse) ora mostrano una versione dei dati come prima della messa in pausa della pubblicazione dei log Delta Lake. Le query di magazzino mostrano ancora l'ultima versione dei dati.

Per riavviare la pubblicazione dei log Delta Lake, usare il frammento di codice seguente:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = AUTO

Quando lo stato viene nuovamente modificato in AUTO, il motore di Fabric Warehouse pubblica i log di tutte le modifiche recenti apportate alle tabelle nel magazzino, consentendo ad altri motori di analisi in Microsoft Fabric di leggere l'ultima versione dei dati.

Verifica dello stato della pubblicazione dei log Delta Lake

Per controllare lo stato corrente della pubblicazione dei log Delta Lake in tutti i magazzini per l'area di lavoro corrente, usare il frammento di codice seguente:

SELECT [name], [DATA_LAKE_LOG_PUBLISHING_DESC] FROM sys.databases

Limiti

  • I nomi tabella possono essere usati solo da Spark e da altri sistemi se contengono solo i caratteri A-Z a-z 0-9 e i caratteri underscore.
  • I nomi di colonna che verranno usati da Spark e da altri sistemi non possono contenere:
    • spazi
    • schede
    • ritorni a capo
    • [
    • ,
    • ;
    • {
    • }
    • (
    • )
    • =
    • ]

Contenuto correlato