Ενημέρωση μιας προέλευσης δεδομένων Common Data Model για χρήση πινάκων Delta

Επικαιροποίηση μιας υπάρχουσας σύνδεσης δεδομένων με πίνακες Common Data Model και μετάβαση σε πίνακες με μορφοποίηση Δέλτα χωρίς να καταργήσετε και να δημιουργήσετε εκ νέου μια υπάρχουσα ρύθμιση παραμέτρων που εξαρτάται από τη σύνδεση δεδομένων.

Βασικοί λόγοι για τη σύνδεση σε δεδομένα που είναι αποθηκευμένα σε μορφή Delta:

• Εισαγάγετε απευθείας μορφοποιημένα δεδομένα Delta για εξοικονόμηση χρόνου και προσπάθειας.
• Εξαλείψτε το κόστος υπολογισμού και αποθήκευσης που σχετίζεται με τη μετατροπή και την αποθήκευση ενός αντιγράφου των δεδομένων της λίμνης δεδομένων σας.
• Βελτιώστε αυτόματα την αξιοπιστία της πρόσληψης δεδομένων στο Customer Insights - Data παρέχεται από τις Εκδόσεις Delta.

Το δέλτα είναι ένας όρος που εισήχθηκε με το Delta Lake, η οποία αποτελεί τη βάση για την αποθήκευση δεδομένων και πινάκων στην πλατφόρμα Databricks Lakehouse. Το Delta Lake είναι ένα επίπεδο χώρου αποθήκευσης ανοιχτού κώδικα που προσφέρει τις συναλλαγές ACID(ακρίβεια, συνέπεια, απομόνωση και ανθεκτικότητα) στον μεγάλο φόρτο εργασίας δεδομένων. Για περισσότερες πληροφορίες, ανατρέξτε στη Σελίδα τεκμηρίωσης Delta Lake.

Προϋποθέσεις

• Το Azure Data Lake Storage πρέπει να βρίσκεται στον ίδιο μισθωτή και την ίδια περιοχή Azure με το Customer Insights - Data.

• Για να συνδεθείτε σε χώρο αποθήκευσης που προστατεύεται από τείχη προστασίας, Ρύθμιση ιδιωτικών συνδέσεων Azure.

• Η αρχή εξυπηρέτησης του Customer Insights - Data πρέπει να έχει δικαιώματα Συμβάλλοντος δεδομένων αντικειμένου Blob για να έχει πρόσβαση στον λογαριασμό χώρου αποθήκευσης. Για περισσότερες πληροφορίες, ανατρέξτε στο Εκχώρηση δικαιωμάτων στον κύριο υπηρεσίας για πρόσβαση στο λογαριασμό χώρου αποθήκευσης.

• Ο χρήστης που ρυθμίζει ή ενημερώνει την προέλευση δεδομένων χρειάζεται τουλάχιστον δικαιώματα αναγνώστη δεδομένων αντικειμένου Blob χώρου αποθήκεθσης στον λογαριασμό Azure Data Lake Storage.

• Τα δεδομένα που είναι αποθηκευμένα στις ηλεκτρονικές υπηρεσίες, μπορούν να αποθηκευτούν σε διαφορετική θέση από αυτήν όπου γίνεται επεξεργασία ή αποθήκευση δεδομένων. Με την εισαγωγή ή τη σύνδεση των δεδομένων που είναι αποθηκευμένα σε ηλεκτρονικές υπηρεσίες συμφωνείτε ότι τα δεδομένα μπορούν να μεταφερθούν. Μάθετε περισσότερα στο Κέντρο αξιοπιστίας της Microsoft.

• Το Customer Insights - Data υποστηρίζει το Databricks reader έκδοση 2. Δεν υποστηρίζονται οι πίνακες δέλτα που χρησιμοποιούν δυνατότητες που απαιτούν Databricks reader έκδοση 3 ή νεότερη έκδοση. Μάθετε περισσότερα: Υποστηριζόμενες λειτουργίες Databricks.

• Οι πίνακες Delta πρέπει να είναι σε ένα φάκελο στο κοντέινερ χώρου αποθήκευσης και δεν μπορούν να είναι στον ριζικό κατάλογο κοντέινερ. Για παράδειγμα:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Οι πίνακες Delta και το σχήμα τους πρέπει να ταιριάζουν με τους πίνακες στην υπάρχουσα προέλευση δεδομένων Common Data Model και να βρίσκονται στο ίδιο κοντέινερ χώρου αποθήκευσης. Οι πίνακες στον νέο φάκελο δεδομένων πρέπει να ταιριάζουν ακριβώς με τους επιλεγμένους πίνακες στην προέλευση δεδομένων Common Data Model. Τα ονόματα των πινάκων και τα σχήματά τους πρέπει να ταιριάζουν ακριβώς. Στο Delta, τα ονόματα των πινάκων είναι ίδια με το όνομα του φακέλου όπου αποθηκεύονται τα δεδομένα. Επομένως, τα ονόματα του φακέλου πρέπει να ταιριάζουν ακριβώς με τους επιλεγμένους πίνακες στην προέλευση δεδομένων Common Data Model. Διαφορετικά, η ενημέρωση αποτυγχάνει.

  Για παράδειγμα, εάν οι επιλεγμένοι πίνακες προέλευσης δεδομένων Common Data Model είναι Table1 και Table2, τότε ο φάκελος που επιλέγετε για την ενημέρωση πρέπει να εμφανίζει τους Πίνακες1 και Πίνακας2 στην ιεραρχία.

  storageaccountroot/
  DeltaDataRoot/
      Table1/
      Table2/
  

Ενημέρωση των πινάκων δεδομένων του Common Data Model σε πίνακες Δέλτα

1. Μεταβείτε στα Δεδομένα>Προελεύσεις δεδομένων.

2. Επιλέξτε την προέλευση δεδομένων Common Data Model Azure Data Lake και, στη συνέχεια, επιλέξτε Ενημέρωση σε πίνακες Delta. Ή επιλέξτε Ξεκινήστε την ενημέρωση από τη σελίδα Προσθήκη πινάκων εάν επεξεργάζεστε την προέλευση δεδομένων Common Data Model.

   

3. Επιλέγω Περιήγηση και μεταβείτε στον φάκελο που περιέχει τα δεδομένα σε μορφή Delta και ταιριάζει ακριβώς με τον επιλεγμένο πίνακα προέλευσης δεδομένων Azure Data Lake. Επιλέξτε τον και έπειτα επιλέξτε Ενημέρωση προέλευσης δεδομένων.

   Ανοίγει η σελίδα Προελεύσεις δεδομένων που εμφανίζει τη νέα προέλευση δεδομένων σε κατάσταση Ανανέωσης.

   Σημαντικό

   Μην σταματήσετε τη διαδικασία ανανέωσης, καθώς θα μπορούσε να επηρεάσει αρνητικά την ενημέρωση της προέλευσης δεδομένων.

   Φιλοδώρημα

   Υπάρχουν καταστάσεις για εργασίες και διεργασίες. Οι περισσότερες διεργασίες εξαρτώνται από άλλες διεργασίες ανοδικά, όπως οι προελεύσεις δεδομένων και η ανανεώσεις του προφίλ δεδομένων.

   Επιλέξτε την κατάσταση για να ανοίξετε το παράθυρο λεπτομερειών προόδου και προβάλετε την πρόοδο της εργασίας. Για να ακυρώσετε την εργασία, επιλέξτε Ακύρωση εργασίας στο κάτω μέρος του τμήματος παραθύρου.

   Κάτω από κάθε εργασία, μπορείτε να επιλέξτε το Δείτε τις λεπτομέρειες για περισσότερες πληροφορίες σχετικά με την πρόοδο, όπως το χρόνο επεξεργασίας, την τελευταία ημερομηνία επεξεργασίας και τυχόν σφάλματα και προειδοποιήσεις που σχετίζονται με την εργασία ή τη διεργασία. Επιλέξτε την Προβολή κατάστασης συστήματος στο κάτω μέρος του πίνακα για να δείτε άλλες διεργασίες στο σύστημα.

Συνιστούμε να συνεχίσετε να μεταδίδετε τα δεδομένα σας στη θέση χώρου αποθήκευσης Data Lake μέσω της υπάρχουσας διοχέτευσής σας και να διατηρείτε τις δηλώσεις και τα σχήματα μέχρι να διαπιστώσετε ότι η ενημέρωση ήταν επιτυχής και ότι όλα λειτουργούν όπως αναμενόταν.

Επαναφορά της μετατροπής από πίνακες Common Data Model σε πίνακες Delta

Εάν προσπαθήσατε να ενημερώσετε μια προέλευση δεδομένων Common Data Model Azure Data Lake σε πίνακες Delta και η διαδικασία αποτύχει, εκτελέστε τα παρακάτω βήματα.

Προϋποθέσεις

• Ο οργανισμός σας συνέχισε να μεταδίδει τα δεδομένα του χώρου αποθήκευσης Data Lake μέσω της διοχέτευσής σας.
• Ο οργανισμός σας έχει διατηρήσει τις δηλώσεις και τα σχήματα του χώρου αποθήκευσης Data Lake.

Επαναφορά σε προέλευση δεδομένων Common Data Model Azure Data Lake

1. Μεταβείτε στα Δεδομένα>Προελεύσεις δεδομένων.

2. Επιλέξτε την προέλευση δεδομένων Common Data Model Azure Data Lake και, στη συνέχεια, επιλέξτε Επαναφορά σε πίνακες Common Data Model .

3. Επιβεβαιώστε ότι θέλετε να επαναφέρετε. Ανοίγει η σελίδα Προελεύσεις δεδομένων που εμφανίζει τη νέα προέλευση δεδομένων σε κατάσταση Ανανέωσης.

   Σημαντικό

   Μην σταματήσετε τη διαδικασία ανανέωσης, καθώς θα μπορούσε να επηρεάσει αρνητικά την επαναφορά της προέλευσης δεδομένων.