Aggiornare un'origine dati Common Data Model per utilizzare le tabelle Delta

Aggiorna una connessione dati esistente con le tabelle Common Data Model e passa alle tabelle con formattazione Delta senza rimuovere e ricreare una configurazione esistente che dipende dalla connessione dati.

Motivi principali per connettersi ai dati archiviati nel formato Delta:

• Importare direttamente i dati formattati Delta per risparmiare tempo e fatica.
• Eliminare i costi di elaborazione e archiviazione associati alla trasformazione e all'archiviazione di una copia dei tuoi dati lakehouse.
• Migliora automaticamente l'affidabilità dell'inserimento dei dati in Customer Insights - Data forniti dal controllo delle versioni Delta.

Delta è un termine introdotto con Delta Lake, la base per l'archiviazione di dati e tabelle nella piattaforma Databricks Lakehouse. Delta Lake è un livello di storage open source che porta le transazioni ACID (atomicità, coerenza, isolamento e durabilità) ai carichi di lavoro di Big Data. Per ulteriori informazioni, vedi la pagina della documentazione Delta Lake.

Prerequisiti

• Azure Data Lake Storage deve trovarsi nello stesso tenant e nella stessa area di Azure di Customer Insights - Data.

• Per connetterti a un archivio protetto da firewall, Impostare collegamenti privati di Azure.

• L'entità servizio Customer Insights - Data deve avere le autorizzazioni di Collaboratore dati BLOB di archiviazione per accedere all'account di archiviazione. Per altre informazioni, vedi Concedere le autorizzazioni all'entità servizio per accedere all'account di archiviazione.

• L'utente che configura o aggiorna l'origine dati necessita almeno delle autorizzazioni di archiviazione dei dati BLOB di archiviazione sull'account Azure Data Lake Storage.

• I dati memorizzati nei servizi online possono essere archiviati in una posizione diversa da quella in cui i dati vengono elaborati o archiviati. Importando o connettendoti a dati archiviati nei servizi online, accetti che i dati possano essere trasferiti. Ulteriori informazioni in Centro protezione Microsoft.

• Customer Insights - Data supporta la versione 2 del lettore Databricks. Le tabelle Delta che usano funzionalità che richiedono la versione 3 del lettore Databricks o successiva non sono supportate. Altre informazioni: Funzionalità di Databricks supportate.

• Le tabelle Delta devono trovarsi in una cartella nel contenitore di archiviazione e non possono trovarsi nella directory root del contenitore. Ad esempio:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Le tabelle Delta e il relativo schema devono corrispondere alle tabelle nell'origine dati Common Data Model esistente e trovarsi nello stesso contenitore di archiviazione. Le tabelle nella nuova cartella dati devono corrispondere esattamente alle tabelle selezionate nell'origine dati Common Data Model. I nomi delle tabelle e i relativi schemi devono corrispondere esattamente. In Delta, i nomi delle tabelle corrispondono al nome della cartella in cui sono archiviati i dati. Pertanto, i nomi delle cartelle devono corrispondere esattamente alle tabelle selezionate nell'origine dati Common Data Model. In caso contrario, l'aggiornamento non viene completato.

  Ad esempio, se le tabelle dell'origine dati selezionate di Common Data Model sono Table1 e Table2, la cartella scelta per l'aggiornamento deve mostrare Table1 e Table2 nella gerarchia.

  storageaccountroot/
  DeltaDataRoot/
      Table1/
      Table2/
  

Aggiornare tabelle dati Common Data Model in tabelle Delta

1. Vai a Dati>Origini dati.

2. Seleziona l'origine dati Common Data Model di Azure Data Lake e quindi seleziona Aggiorna a tabelle Delta. Oppure seleziona Avvia aggiornamento dalla pagina Aggiungi tabelle se stai modificando l'origine dati Common Data Model.

   

3. Seleziona Sfoglia e vai alla cartella che contiene i dati in formato Delta e che corrisponde esattamente alla tabella dell'origine dati selezionata del Data Lake di Azure. Selezionala, quindi seleziona Aggiorna origine dati.

   Verrà aperta la pagina Origine datiche mostra la nuova origine dati con stato Aggiornamento in corso.

   Importante

   Non interrompere il processo di aggiornamento poiché potrebbe avere un impatto negativo sull'aggiornamento dell'origine dati.

   Suggerimento

   Essitono stati per attività e processi. La maggior parte dei processi dipende da altri processi upstream, come origini dati e aggiornamenti di profiling dei dati.

   Seleziona lo stato per aprire il riquadro Dettagli stato e visualizza lo stato delle attività. Per annullare il processo, seleziona Annulla processo nella parte inferiore del riquadro.

   In ogni attività puoi selezionare il collegamento Vedi dettagli per altre informazioni sullo stato, ad esempio tempo di elaborazione, data dell'ultima elaborazione ed eventuali errori e avvisi applicabili associati all'attività o al processo. Seleziona Visualizza stato del sistema nella parte inferiore del pannello per vedere altri processi nel sistema.

Ti consigliamo di continuare a eseguire lo streaming dei dati nella posizione di Data Lake Storage tramite la pipeline esistente e di mantenere i manifesti e gli schemi finché non stabilisci che l'aggiornamento ha avuto esito positivo e tutto funziona come previsto.

Ripristina la conversione dalle tabelle Common Data Model alle tabelle Delta

Se si tenta di aggiornare un'origine dati Common Data Model di Azure Data Lake in tabelle Delta e il processo non riesce, esegui i passaggi seguenti.

Prerequisiti

• La tua organizzazione ha continuato a trasmettere i dati di Data Lake Storage attraverso la pipeline.
• L'organizzazione ha gestito i manifesti e gli schemi di Data Lake Storage.

Torna a un'origine dati Common Data Model di Azure Data Lake

1. Vai a Dati>Origini dati.

2. Seleziona l'origine dati Common Data Model di Azure Data Lake e quindi seleziona ristina la conversione dalle tabelle Common Data Model.

3. Conferma il ripristino. Verrà aperta la pagina Origine datiche mostra la nuova origine dati con stato Aggiornamento in corso.

   Importante

   Non interrompere il processo di aggiornamento poiché potrebbe avere un impatto negativo sul ripristino dell'origine dati.