Υποβολή ερωτημάτων και ανάλυση τμηματικών ενημερώσεων
Τα δεδομένα Microsoft Dataverse (συμπεριλαμβανομένων των δεδομένων από εφαρμογές οικονομικών και επιχειρηματικών δραστηριοτήτων Dynamics 365) μπορούν να αλλάζουν συνεχώς μέσω δημιουργίας, ενημέρωσης και διαγραφής συναλλαγών. Με την επιλογή επαυξητικής ενημέρωσης, μπορείτε να δημιουργήσετε επαυξητικές διοχετεύσεις δεδομένων που εφαρμόζουν αυτές τις αλλαγές σε κατάντη συστήματα και βάσεις δεδομένων. Σύνδεσμος Synapse για Dataverse εξαγωγή επαυξητικών δεδομένων σε φακέλους με χρονική σήμανση που περιέχουν αλλαγές δεδομένων εντός χρονικών διαστημάτων που καθορίζονται από το χρήστη.
Μπορείτε να αξιοποιήσετε τη δυνατότητα σταδιακής ενημέρωσης για διάφορα σενάρια:
Ενημερώστε έναν κατάντη χώρο αποθήκευσης δεδομένων ή μια αποθήκη δεδομένων. Ίσως χρειαστεί να εφαρμόσετε αλλαγές από τα δεδομένα σας Power Apps και τα δεδομένα Dynamics 365 σε έναν κατάντη χώρο αποθήκευσης δεδομένων. Η σταδιακή ενημέρωση είναι μια τυπική δυνατότητα στα περισσότερα εργαλεία μετασχηματισμού δεδομένων, όπως το Azure Data Factory. Ωστόσο, για να λειτουργήσει η δυνατότητα τμηματικής ενημέρωσης, πρέπει να προσδιορίσετε τις καρτέλες που άλλαξαν στους πίνακες προέλευσης. Η δυνατότητα τμηματικής ενημέρωσης παρέχει αλλαγμένα δεδομένα ως σύνολο αρχείων, έτσι ώστε να μην χρειάζεται να εντοπίζετε αλλαγές συγκρίνοντας εικόνες πινάκων πριν και μετά.
Αναλύστε τις αλλαγές σε μεγάλα σύνολα δεδομένων. Εάν πρέπει να αναλύσετε αλλαγές σε μεγάλα σύνολα δεδομένων, η δυνατότητα σταδιακής ενημέρωσης παρέχει μια συνεχή ροή δεδομένων σε μικρές παρτίδες, έτσι ώστε να μην χρειάζεται να αποθηκεύετε όλα τα δεδομένα. Με αυτήν την επιλογή, μπορείτε να αφήσετε παλιά και στάσιμα δεδομένα για να εξοικονομήσετε κόστος αποθήκευσης δεδομένων, καθώς και να παρακολουθείτε τις αλλαγές δεδομένων που σχετίζονται με μια χρονική περίοδο που καθορίζεται από το χρήστη.
Το Azure Synapse Link for Dataverse παρέχει επίσης την επιλογή εξαγωγής και διατήρησης μιας ρεπλίκας πινάκων στο Azure Data Lake Storage (Gen 2). Μπορείτε να ρυθμίσετε τις παραμέτρους του Azure Synapse Link για την εξαγωγή τμηματικών δεδομένων εκτός από την εξαγωγή μιας ρεπλίκας πινάκων. Κάθε διαμόρφωση (γνωστή ως "προφίλ Synapse Link") μπορεί να εξαγάγει είτε πίνακες είτε επαυξητικά δεδομένα. Ενώ μπορείτε να δημιουργήσετε πολλά προφίλ, δεν μπορείτε να ρυθμίσετε τόσο τους πίνακες όσο και τις τμηματικές ενημερώσεις μέσα στο ίδιο προφίλ.
Σημαντικό
Ένας αρχικός φάκελος με χρονική σήμανση δημιουργείται όταν ενεργοποιείτε αυτήν τη δυνατότητα με ένα αντίγραφο των δεδομένων σας. Οι επακόλουθοι φάκελοι με χρονική σήμανση και πίνακα δημιουργούνται μόνο όταν υπάρχει ενημέρωση δεδομένων κατά τη διάρκεια του χρονικού διαστήματος που καθορίζεται από τον χρήστη.
Μόλις δημιουργήσετε ένα προφίλ Synapse Link με τη δυνατότητα σταδιακής ενημέρωσης, η διαμόρφωση ισχύει για όλους τους επιλεγμένους πίνακες στο προφίλ Synapse Link.
Δεν είναι δυνατή η ενεργοποίηση αυτής της δυνατότητας με την επιλογή: Σύνδεση στο Azure Synapse workspace. Για πελάτες που απαιτούν πρόσβαση στο Azure Synapse analytics, ακολουθήστε αυτήν την οδηγία για να ρυθμίσετε τη σύνδεση: Δημιουργία ενός Azure Synapse Link for Dataverse με το Azure Synapse workspace
Αυτή η δυνατότητα είναι ισοδύναμη με τη δυνατότητα Αλλαγή τροφοδοσιών στην εξαγωγή σε λίμνη δεδομένων που είναι ενσωματωμένη στις εφαρμογές οικονομικών και επιχειρηματικών δραστηριοτήτων Dynamics 365. Οι πελάτες που χρησιμοποιούν τη δυνατότητα Αλλαγή τροφοδοσιών έχουν την επιλογή να ενεργοποιήσουν ένα προφίλ Synapse Link με δεδομένα αλλαγής χωρίς να χρειάζεται να εξάγουν δεδομένα πίνακα.
Προϋποθέσεις
Αυτός ο οδηγός προϋποθέτει ότι πληροίτε τις προϋποθέσεις για τη δημιουργία ενός Azure Synapse Link. Περισσότερες πληροφορίες: Δημιουργία Azure Synapse Link for Dataverse με Azure Data Lake
Δημιουργήστε ένα προφίλ Synapse Link για εξαγωγή τμηματικών δεδομένων
Συνδεθείτε στο Power Apps και επιλέξτε το περιβάλλον σας.
Στο αριστερό τμήμα παραθύρου περιήγησης, επιλέξτε Azure Synapse Link. Εάν το στοιχείο δεν βρίσκεται στο πλαϊνό τμήμα του πίνακα, επιλέξτε ...Περισσότερα και, στη συνέχεια, επιλέξτε το στοιχείο που θέλετε.
Στη γραμμή εντολών, κάντε κλικ στο κουμπί + Νέα σύνδεση.
Επιλέξτε τη Συνδρομή, Ομάδα πόρων και Λογαριασμός χώρου αποθήκευσης. Επιλέξτε Επόμενο.
Μην επιλέξτε Σύνδεση στο Azure Synapse workspace. Εάν ενεργοποιήσετε αυτήν την επιλογή, η δυνατότητα τμηματικής ενημέρωσης είναι απενεργοποιημένη.
Προσθέστε τους πίνακες που θέλετε να εξαγάγετε. Εάν έχετε ένα περιβάλλον Dataverse που είναι συνδεδεμένο με εφαρμογές οικονομικών και επιχειρηματικών δραστηριοτήτων, μπορείτε επίσης να επιλέξετε πίνακες από τις εφαρμογές οικονομικών και επιχειρηματικών δραστηριοτήτων.
Κάντε κλικ στο κουμπί για προχωρημένους.
Ενεργοποιήστε την επιλογή Εμφάνιση σύνθετων ρυθμίσεων παραμέτρων και Ενεργοποίηση δομής φακέλων τμηματικής ενημέρωσης.
Εισαγάγετε το χρονικό διάστημα (σε λεπτά) για τη συχνότητα καταγραφής των τμηματικών ενημερώσεων και, στη συνέχεια, επιλέξτε Αποθήκευση.
Σημείωμα
Το ελάχιστο χρονικό διάστημα είναι 5 λεπτά. Αυτό σημαίνει ότι ο φάκελος τμηματικών ενημερώσεων θα δημιουργείται κάθε πέντε λεπτά και θα περιέχει τις αλλαγές που έγιναν εντός του χρονικού διαστήματος. Μπορείτε επίσης να ρυθμίσετε αυτήν τη ρύθμιση μετά τη δημιουργία σύνδεσης μέσω της Διαχείρισης πινάκων. Το μέγιστο χρονικό διάστημα είναι 1140 λεπτά (ή 24 ώρες).
Βεβαιωθείτε ότι η Σύνδεση στο Azure Synapse workspace Azure Synapse workspace δεν ελέγχεται στην πρώτη σελίδα της εγκατάστασης.
Τα επαυξητικά δεδομένα σε φακέλους με χρονική σήμανση αποθηκεύονται ως αρχεία κειμένου τιμών διαχωρισμένων με κόμμα (αρχεία CSV). Δεν μπορείτε να χρησιμοποιήσετε τη δυνατότητα μετατροπής Delta για τμηματικά δεδομένα και να αποκτήσετε τμηματικά αρχεία σε μορφή Delta Parquet.
Προβολή τμηματικού φακέλου στον χώρο αποθήκευσης του Microsoft Azure
Όταν δημιουργείτε ένα προφίλ Synapse Link με τμηματικά δεδομένα, το σύστημα δημιουργεί ένα αρχικό αντίγραφο όλων των πινάκων και το αποθηκεύει στον πρώτο φάκελο τμηματικής ενημέρωσης. Μόλις δημιουργηθεί το αρχικό αντίγραφο, το σύστημα δημιουργεί επόμενους φακέλους ενημέρωσης με αλλαγμένα δεδομένα. Εάν δεν υπάρχουν αλλαγές σε κανέναν από τους επιλεγμένους πίνακες, δεν θα δείτε τμηματικούς φακέλους δεδομένων.
Για να δείτε τμηματικούς φακέλους δεδομένων στον λογαριασμό χώρου αποθήκευσης:
Επιλέξτε το επιθυμητό Azure Synapse Link και, στη συνέχεια, επιλέξτε Go to Azure data lake στη γραμμή εντολών.
Επιλέξτε το Περιέκτες στο Χώρος αποθήκευσης δεδομένων.
Επιλέξτε dataverse-environmentName-organizationUniqueName. Οι φάκελοι τμηματικών ενημερώσεων ονομάζονται με βάση τη χρονική σήμανση δημιουργίας ("εεεε-ΜΜ-ηη'T'ΩΩ:λλ:δδ.SSSz") σε UTC. Σημειώστε ότι η διαφορά χρόνου μεταξύ των φακέλων με χρονική σήμανση είναι το χρονικό διάστημα που καθορίζεται από εσάς στις ρυθμίσεις για προχωρημένους.
Μέσα σε κάθε φάκελο με χρονική σήμανση, υπάρχουν φάκελοι για κάθε πίνακα. Ενδέχεται να μην έχουν αλλάξει όλοι οι επιλεγμένοι πίνακες κατά τη διάρκεια του χρονικού διαστήματος και βλέπετε μόνο φακέλους που αντιστοιχούν σε πίνακες των οποίων τα δεδομένα άλλαξαν.
Σημείωμα
Λόγω των δυνατοτήτων του μηχανισμού επανάληψης, μπορεί να δημιουργηθεί ένας επιπλέον κενός φάκελος χρονικής σήμανσης εντός του καθορισμένου από το χρήστη χρονικού διαστήματος.
Κατανάλωση τμηματικών δεδομένων
Μπορείτε να αντιγράψετε τμηματικά δεδομένα σε μια βάση δεδομένων Azure SQL ή σε μια αποθήκη δεδομένων χρησιμοποιώντας εργαλεία ενοποίησης δεδομένων, όπως το Azure Data Factory ή Azure Synapse Analytics διοχετεύσεις. Παρέχουμε ένα δείγμα διοχέτευσης δεδομένων που μπορεί να χρησιμοποιηθεί για αυτόν τον σκοπό. Για περισσότερες πληροφορίες:Αντιγραφή Dataverse δεδομένων στο Azure SQL.
Εάν είστε πελάτης εφαρμογών οικονομικών και επιχειρηματικών δραστηριοτήτων Dynamics 365 που μεταβαίνει από τη δυνατότητα αλλαγής τροφοδοσιών, μπορείτε να χρησιμοποιήσετε τα εργαλεία δείγματος ενοποίησης δεδομένων που παρέχονται στο GitHub για να ενημερώσετε τις υπάρχουσες διοχετεύσεις δεδομένων που χρησιμοποιούνται με τη δυνατότητα αλλαγής τροφοδοσιών.
Μπορείτε επίσης να δημιουργήσετε τη δική σας διοχέτευση δεδομένων για να καταναλώνετε επαυξητικά δεδομένα. Ωστόσο, πρέπει να λάβετε υπόψη τις ακόλουθες βέλτιστες πρακτικές κατά τη σχεδίαση της δικής σας διοχέτευσης:
- Κατανάλωση δεδομένων μόνο από προηγούμενους φακέλους με χρονική σήμανση: Με αυτόν τον τρόπο, μπορείτε να αποφύγετε διενέξεις ανάγνωσης-εγγραφής με την υπηρεσία Synapse Link, η οποία ενδέχεται να ενημερώνει συνεχώς δεδομένα στον τρέχοντα φάκελο. Μπορείτε να βρείτε τον τρέχοντα φάκελο προβάλλοντας το αρχείο Changelog/changelog.info. Αυτό το αρχείο είναι ένα αρχείο μόνο για ανάγνωση, το οποίο περιέχει μία γραμμή με το όνομα του φακέλου που ενημερώνεται αυτήν τη στιγμή. Δεν πρέπει να ενημερώσετε αυτό το αρχείο, καθώς μπορεί να προκαλέσει αστάθεια του συστήματος.
- Μπορείτε να προβάλετε το αρχείο model.json που βρίσκεται μέσα σε κάθε φάκελο με χρονική σήμανση για να διαβάσετε μετα-δεδομένα, όπως ονόματα στηλών, για τα δεδομένα που περιέχονται σε φακέλους πινάκων. Σημειώστε ότι κάθε αρχείο model.json στο φάκελο που βρίσκεται μέσα σε φακέλους με χρονική σήμανση περιέχει μετα-δεδομένα για όλους τους πίνακες, όχι μόνο για τους πίνακες που περιέχονται μέσα στο φάκελο με χρονική σήμανση.
- Αποφύγετε τη χρήση άλλων αρχείων καταγραφής, όπως το αρχείο Synapse.log. Αυτό το αρχείο χρησιμοποιείται για εσωτερικούς σκοπούς και ενδέχεται να μην αντικατοπτρίζει ακριβή δεδομένα.
- Εξετάστε το ενδεχόμενο διαγραφής παρωχημένων τμηματικών φακέλων από το Azure Data Lake αφού ολοκληρώσετε την επεξεργασία. Προς το παρόν, το Synapse Link διατηρεί μίσθωση σε αυτά τα αρχεία στο Azure Storage για να ανακτήσει από τυχόν αποτυχίες. Το σύστημα ενδέχεται να αποδεσμεύσει τη μίσθωση μετά από κάποιο χρονικό διάστημα.
