Κοινή χρήση μέσω

Μετεγκατάσταση από Dataflow Gen1 σε Dataflow Gen2: Σενάρια μετεγκατάστασης

  • Άρθρο

Αυτό το άρθρο παρουσιάζει διαφορετικά σενάρια μετεγκατάστασης που μπορείτε να εξετάσετε όταν μετεγκατάσταση από το Dataflow Gen1 στο Dataflow Gen2. Σας παρέχει επίσης οδηγίες και προτάσεις εκτέλεσης. Αυτά τα σενάρια μπορεί να σας εμπνεύσουν για να προσδιορίσετε τη σωστή προσέγγιση μετεγκατάστασης με βάση τις απαιτήσεις και τις συνθήκες της επιχείρησής σας.

Όταν εκτελείτε μετεγκατάσταση των ροών δεδομένων σας, είναι σημαντικό να σκεφτείτε πέρα από την απλή αντιγραφή υπαρχουσών λύσεων. Αντί για αυτό, συνιστούμε να εκσυγχρονίζετε τις λύσεις σας αξιοποιώντας τις τελευταίες καινοτομίες και δυνατότητες του Dataflow Gen2. Αυτή η προσέγγιση εξασφαλίζει ότι οι λύσεις σας μπορούν να υποστηρίξουν τις αυξανόμενες απαιτήσεις της επιχείρησης.

Για παράδειγμα, το Dataflow Gen2 έχει μια δυνατότητα με το όνομα γρήγορη αντιγραφή, το οποίο μειώνει σημαντικά τον χρόνο που απαιτείται για την πρόσληψη δεδομένων για συγκεκριμένους μετασχηματισμούς και συνδέσεις. Το Dataflow Gen2 έχει επίσης βελτιώσει την επαυξητική ανανέωση, το οποίο βελτιστοποιεί τις διαδικασίες ανανέωσης δεδομένων, ενημερώνοντας μόνο τα δεδομένα που έχουν αλλάξει. Αυτές οι εξελίξεις όχι μόνο βελτιώνουν τις επιδόσεις και την αποτελεσματικότητα, αλλά εξασφαλίζουν επίσης ότι οι λύσεις σας κλιμακώνονται.

Σημείωση

Τα σενάρια μετεγκατάστασης είναι αντιπροσωπευτικά πραγματικών μετεγκαταστάσεις πελατών, ωστόσο τα μεμονωμένα σενάρια πελατών θα διαφέρουν φυσικά.

Αυτό το άρθρο δεν καλύπτει πληροφορίες τιμών. Για πληροφορίες τιμολόγησης, ανατρέξτε στο θέμα Τιμολόγηση fabric.

Σημαντικός

Η κατανάλωση της CPU από τα Dataflow Gen1 και Dataflow Gen2 μπορεί να διαφέρει για πολλούς λόγους, όπως η χρήση νέων δυνατοτήτων στο Dataflow Gen2, όπως η lakehouse προεργασία και η υπολογιστική αποθήκης . Συνιστούμε να εκτελέσετε ανάλυση σε βάθος, ίσως ως επαλήθευση ιδέας (POC)- για τον ποσοτικό προσδιορισμό της συγκριτικής κατανάλωσης CPU μεταξύ των Dataflow Gen1 και Dataflow Gen2 πριν μετεγκαταστήσετε τις ροές δεδομένων σας.

Σενάρια μετεγκατάστασης

Οι ροές δεδομένων προσφέρουν μια ευέλικτη πλατφόρμα για τη δημιουργία λύσεων ETL με δυνατότητα κλιμάκωσης (Εξαγωγή, Μετασχηματισμός και Φόρτωση) και ELT (Εξαγωγή, Φόρτωση και Μετασχηματισμός), εξυπηρετώντας μια σειρά σεναρίων χρήσης, από προσωπικές BI έως εταιρικό BI.

Ακολουθούν τρία πιθανά σενάρια μετεγκατάστασης που ενέπνευσαν αυτό το άρθρο:

  • προσωπικές ή ομαδικέςχρήσης: Μικρές ομάδες ή μεμονωμένα άτομα χρησιμοποιούν ροές δεδομένων για την αυτοματοποίηση εργασιών πρόσληψης και προετοιμασίας δεδομένων, επιτρέποντάς τους να εστιάζουν στην ανάλυση δεδομένων και τις πληροφορίες. Για παράδειγμα, μια ομάδα θα μπορούσε να χρησιμοποιήσει ροές δεδομένων για την εξαγωγή δεδομένων από διάφορες προελεύσεις όπως το Microsoft Excel ή το Microsoft SharePoint. Οι ροές δεδομένων τους μετασχηματίζουν τα δεδομένα προέλευσης σύμφωνα με τις συγκεκριμένες ανάγκες τους και τα φορτώνουν σε ένα σημασιολογικό μοντέλο για σκοπούς αναφοράς.
  • χρήσης του Τμήματος: Τα τμήματα ενός οργανισμού χρησιμοποιούν ροές δεδομένων για τη διαχείριση μεγαλύτερων προελεύσεων δεδομένων και σύνθετων μετασχηματισμών. Μπορεί να δημιουργούν σύνθετες ροές δεδομένων που προωθούν την επαναχρησιμοποίηση και τη συνέπεια στις αναφορές τμημάτων, εξασφαλίζοντας ότι όλα τα μέλη της ομάδας εργάζονται στην ίδια έκδοση δεδομένων.
  • χρήσης για μεγάλες επιχειρήσεις: Σε επίπεδο επιχείρησης, οι ροές δεδομένων είναι καθοριστικές για την πρόσληψη τεράστιων ποσοτήτων δεδομένων σε πολλά τμήματα σε κλίμακα. Λειτουργούν ως ένα κεντρικό επίπεδο προετοιμασίας δεδομένων που τροφοδοτείται σε πολλά σημασιολογικά μοντέλα, υποστηρίζοντας ένα ευρύ φάσμα εφαρμογών επιχειρηματικής ευφυΐας και ανάλυσης. Ολόκληρος ο οργανισμός επωφελείται από αξιόπιστα, up-toδεδομένα ημερομηνίας, επιτρέποντας τη λήψη τεκμηριωμένων αποφάσεων σε όλα τα επίπεδα.

Σε κάθε ένα από αυτά τα σενάρια, οι ροές δεδομένων βοηθούν στη δημιουργία ισχυρών και κλιμακούμενων λύσεων ETL/ELT που μπορούν να αναπτυχθούν με τις ανάγκες της ομάδας, του τμήματος ή του οργανισμού. Οι καλά σχεδιασμένες ροές δεδομένων εξασφαλίζουν ότι οι διαδικασίες διαχείρισης δεδομένων παραμένουν αποτελεσματικές και αποτελεσματικές.

Για περισσότερες πληροφορίες σχετικά με τα σενάρια χρήσης, ανατρέξτε στο θέμα σχεδιασμού υλοποίησης Microsoft Fabric.

Σενάριο μετεγκατάστασης 1

Σε αυτό το σενάριο μετεγκατάστασης, ο οργανισμός χρησιμοποιεί ροές δεδομένων Power BI για προετοιμασία δεδομένων από τον χρήστη για την υποστήριξη σεναρίων προσωπικής ή ομαδικής χρήσης. Οι ροές δεδομένων περιέχονται σε έναν μόνο χώρο εργασίας που έχει αντιστοιχιστεί σε ένα σύνολο εκχωρημένων πόρων Fabric.

Οι δημιουργοί ροής δεδομένων θέλουν να επωφεληθούν από τις προηγμένες δυνατότητες του Dataflow Gen2 για σκοπούς σύνταξης. Ταυτόχρονα, σχεδιάζουν να συνεχίσουν προσωρινά να χρησιμοποιούν πίνακες ροής δεδομένων ως προέλευση δεδομένων κατά τη διάρκεια μιας σταδιακής μετεγκατάστασης. Αυτή η προσέγγιση εξασφαλίζει ευκολία χρήσης και συνδεσιμότητας για δημιουργούς περιεχομένου που εργάζονται με υπάρχοντα σημασιολογικά μοντέλα Power BI, υπολογιστικά φύλλα Excel ή πίνακες dataverse, τουλάχιστον μέχρι να ολοκληρωθεί η μετάβαση στις υποστηριζόμενες προελεύσεις προορισμού δεδομένων.

Για να μετεγκαταστήσουν τις λύσεις τους, οι δημιουργοί ροής δεδομένων:

  1. Ενημερώστε το αναγνωριστικό χώρου εργασίας, εάν δημιουργηθεί ένας νέος χώρος εργασίας για την αποθήκευση της νέας ροής δεδομένων.
  2. Ενημερώστε τις υπάρχουσες λύσεις από το αρχικό αναγνωριστικό ροής δεδομένων (Gen1) στο νέο αναγνωριστικό ροής δεδομένων (Gen2).

Ακολουθεί ένα παράδειγμα ερωτήματος που έχει ενημερωθεί για την ανάκτηση δεδομένων για έναν πίνακα διαστάσεων ημερομηνίας.

let
    Source = PowerPlatform.Dataflows(null),
    Workspaces = Source{[Id="Workspaces"]}[Data],
    Workspace = Workspaces{[workspaceId="<enter new workspace ID>"]}[Data],
    DataflowId = Workspace{[dataflowId="<enter new dataflow ID"]}[Data],
    DimDateTable = DataflowId{[entity="DimDate", version=""]}[Data]
in
    DimDateTable

Φιλοδώρημα

Εάν παραμετροποιήσετε τις τιμές workspaceId και dataflowId στα σημασιολογικά μοντέλα, μπορείτε να χρησιμοποιήσετε την Σύνολα δεδομένων - Ενημέρωση παραμέτρου στη λειτουργία REST API Ομαδοποίηση για να ενημερώσετε μέσω προγραμματισμού τις λεπτομέρειες της παραμέτρου συνδυασμού δεδομένων.

Σημαντικός

Ενώ είναι δυνατό να λήψη δεδομένων χρησιμοποιώντας τη σύνδεση ροής δεδομένων, αυτή η προσέγγιση δεν συνιστάται κατά τη χρήση του Dataflow Gen2. Αντί για αυτό, συνιστούμε να χρησιμοποιήσετε τη λειτουργικότητα προορισμού δεδομένων για να εξαγάγετε όλους τους πίνακες που δημιουργήθηκαν από το Dataflow Gen2 έως στοιχεία Fabric ή άλλους προορισμούς, όποτε αυτό είναι εφικτό. Αυτό συμβαίνει επειδή η σύνδεση ροής δεδομένων χρησιμοποιεί ένα υποκείμενο επίπεδο αποθήκευσης υλοποίησης συστήματος (που ονομάζεται DataflowsStagingLakehouse) και μπορεί να αλλάξει όταν προστίθενται νέες λειτουργίες ή δυνατότητες.

Σενάριο μετεγκατάστασης 2

Σε αυτό το σενάριο μετεγκατάστασης, ο οργανισμός χρησιμοποιεί ροές δεδομένων Power BI για προετοιμασία δεδομένων από τον χρήστη για την υποστήριξη σεναρίων χρήσης τμήματος με ροές δεδομένων που μπορούν να χρησιμοποιηθούν και συνδεδεμένους πίνακες σε πολλούς χώρους εργασίας.

Οι δημιουργοί ροής δεδομένων θέλουν να επωφεληθούν από τις προηγμένες δυνατότητες του Dataflow Gen2 για τη σύνταξη, ενώ παράλληλα κάνουν αποτελεσματική κοινή χρήση και παραγωγή των πινάκων ροής δεδομένων σε μια λίμνη Fabric. Αυτή η μέθοδος εκμεταλλεύεται συντομεύσεις OneLake. Οι συντομεύσεις OneLake απλοποιούν τη διαχείριση λύσεων, μειώνοντας τον λανθάνοντα χρόνου διαδικασίας που σχετίζεται παραδοσιακά με τους συνδεδεμένους πίνακες σε χώρους εργασίας και εξαλείφοντας τα περιττά αντίγραφα δεδομένων.

Για να μετεγκαταστήσουν τις λύσεις τους, οι δημιουργοί ροής δεδομένων:

  1. Αντικαταστήστε τους συνδεδεμένους πίνακες με συντομεύσεις OneLake, οι οποίοι παρέχουν στους μεταγενέστερους καταναλωτές άμεση πρόσβαση στα δεδομένα.
  2. Ενημερώστε υπάρχουσες λύσεις και ερωτήματα μετάβασης αντικαθιστώντας τις συναρτήσεις PowerPlatform.Dataflows ή PowerBI.Dataflows με τη συνάρτηση πρόσβασης δεδομένων Lakehouse.Contents στο Fabric.

Ακολουθεί ένα παράδειγμα ερωτήματος PowerQuery που έχει ενημερωθεί για την ανάκτηση δεδομένων από τον πίνακα διαστάσεων πελάτη.

let
  Source = Lakehouse.Contents([]),
  WorkspaceId = Source{[workspaceId="<0000aaaa-11bb-cccc-dd22-eeeeee333333>"]}[Data],
  LakehouseId = WorkspaceId{[lakehouseId="1111bbbb-22cc-dddd-ee33-ffffff444444"]}[Data],
  DimCustomerTable = LakehouseId{[Id="DimCustomer", ItemKind="Table"]}[Data]
in
  DimCustomerTable

Σημείωση

Μπορείτε να επεξεργαστείτε μέσω προγραμματισμού παραστάσεις ερωτημάτων σε ένα σημασιολογικό μοντέλο Power BI που δημοσιεύεται στο Fabric, χρησιμοποιώντας το τελικό σημείο XMLAκαι ενημερώνοντας την διαμερισμένη παράσταση M ενός πίνακα.

Ωστόσο, θα πρέπει να γνωρίζετε ότι μόλις τροποποιήσετε το μοντέλο σημασιολογίας χρησιμοποιώντας το τελικό σημείο XMLA, δεν θα μπορείτε ποτέ να κάνετε λήψη του από την υπηρεσία Power BI.

Σενάριο μετεγκατάστασης 3

Σε αυτό το σενάριο μετεγκατάστασης, ο οργανισμός χρησιμοποιεί ροές δεδομένων Power BI για προετοιμασία δεδομένων από τον χρήστη για την υποστήριξη σεναρίων χρήσης τμήματος με συναρτήσιμες ροές δεδομένων σε πολλούς χώρους εργασίας.

Οι δημιουργοί ροής δεδομένων θέλουν να επωφεληθούν από τις προηγμένες δυνατότητες του Dataflow Gen2 για τη σύνταξη, ενώ παράλληλα εξάγουν και κοινοποιούν πίνακες ροής δεδομένων από μια αποθήκη Fabric που έχει λεπτομερή δικαιώματα χρήστη. Αυτή η προσέγγιση παρέχει ευελιξία και η πρόσβαση στα δεδομένα μπορεί να υλοποιηθεί με ασφάλεια σε επίπεδο γραμμών (RLS), ασφάλειας σε επίπεδο στηλών (CLS) και δυναμική απόκρυψη δεδομένων (DDM).

Για να μετεγκαταστήσουν τις λύσεις τους, οι δημιουργοί ροής δεδομένων:

  1. Εκχωρήστε πρόσβαση στα δεδομένα μέσω των λεπτομερών δικαιωμάτων του μηχανισμού υπολογιστικής λειτουργίας SQL, τα οποία παρέχουν πιο επιλεκτική πρόσβαση σε ορισμένους χρήστες, περιορίζοντας την πρόσβαση σε συγκεκριμένους πίνακες και σχήματα, καθώς και εφαρμόζοντας RLS και CLS.
  2. Ενημερώστε υπάρχουσες λύσεις και ερωτήματα μετάβασης αντικαθιστώντας τη συνάρτηση PowerPlatform.Dataflows ή PowerBI.Dataflows με τη συνάρτηση πρόσβασης δεδομένων Fabric.Warehouse στο Fabric.

Ακολουθεί ένα παράδειγμα ερωτήματος PowerQuery που έχει ενημερωθεί για την ανάκτηση δεδομένων από τον πίνακα διαστάσεων πελάτη.

let
  Source = Fabric.Warehouse([]),
  WorkspaceId = Source{[workspaceId="0000aaaa-11bb-cccc-dd22-eeeeee333333"]}[Data],
  WarehouseId = WorkspaceId{[warehouseId="1111bbbb-22cc-dddd-ee33-ffffff444444"]}[Data],
  DimCustomerTable = WarehouseId{[Schema="dbo", Item="DimCustomer"]}[Data]
in
  DimCustomerTable

Οδηγίες μετεγκατάστασης

Συνιστούμε να δημιουργήσετε μια απογραφή των ροών δεδομένων και των εξαρτώμενων στοιχείων σας. Συνιστούμε επίσης να εξετάσετε τη χρήση προτύπων Power Query.

Κατάλογος

Για να σας βοηθήσουμε να σχεδιάσετε τη μετεγκατάτασή σας, το πρώτο βήμα είναι να κάνετε απογραφή των ροών δεδομένων σας και όλων των κατάντη λύσεων που εξαρτώνται από αυτές. Ο εντοπισμός εξαρτώμενων στοιχείων μπορεί να σας βοηθήσει να αποφύγετε τον χρόνο εκτός λειτουργίας και τις διακοπές λειτουργίας.

  • ροών δεδομένων ως προέλευση στο Power BI
    • Χρησιμοποιήστε τη λειτουργία Ροές δεδομένων - Λήψη ροών δεδομένων Upstream Σε ομάδα λειτουργία REST API για τον προσδιορισμό της καταγωγής και των εξαρτήσεων μεταξύ μιας ροής δεδομένων που χρησιμοποιεί συνδεδεμένους πίνακες. Συγκεκριμένα, οι συνδεδεμένοι πίνακες μπορούν να έχουν βάθος έως και 32 αναφορών.
      • Εναλλακτικά, μπορείτε να χρησιμοποιήσετε τη συνάρτηση Semantic Link Labslist_upstream_dataflows για να απλοποιήσετε τη διαδικασία επαναλαμβανόμενης κλήσης της λειτουργίας Get Upstream Dataflows In Group REST API. Η συνάρτηση επαναλαμβάνει όλες τις συνδεδεμένες ροές δεδομένων μέχρι να συναντήσει μια εγγραφή με μια κενή τιμή, υποδεικνύοντας το τέλος της αλυσίδας.
    • Χρήση του Admin - Datasets GetDatasetToDataflowsLinksInGroupAsAdmin λειτουργία REST API για τη δημιουργία μιας απογραφής σημασιολογικών μοντέλων Power BI που χρησιμοποιούν ροές δεδομένων σε έναν χώρο εργασίας που θα απαιτεί ενημερώσεις.
    • Χρησιμοποιήστε τα API του σαρωτή Microsoft Fabric για να ανακτήσετε τις παραστάσεις ερωτήματος συνδυασμού δεδομένων από σημασιολογικά μοντέλα στον μισθωτή. Στη συνέχεια, μπορείτε να κάνετε αναζήτηση στις παραστάσεις για οποιαδήποτε αναγνωριστικά ροής δεδομένων, για να κατανοήσετε την πλήρη καταγωγή σε ολόκληρο τον μισθωτή.
  • ροών δεδομένων ως προέλευση στο Power Apps
    • Αποκτήστε πρόσβαση σε παραστάσεις ερωτήματος συνδυασμού δεδομένων από τον πίνακα Ροή δεδομένων εντός τουΡοές δεδομένων App Solution Power Platform . Στη συνέχεια, μπορείτε να κάνετε αναζήτηση στις παραστάσεις για οποιαδήποτε αναγνωριστικά ροής δεδομένων, για να κατανοήσετε την πλήρη καταγωγή μεταξύ των εφαρμογών εντός του μισθωτή. Για να μάθετε πώς μπορείτε να εγκαταστήσετε και να διαχειριστείτε εφαρμογές στο Dynamics 365 που εκτελούνται στο Microsoft Dataverse, ανατρέξτε στο θέμα Διαχείριση του Power Apps.
  • ροών δεδομένων ως προέλευσης στο Excel
    • Παρόλο που τα βιβλία εργασίας του Excel δεν διαθέτουν API REST για την παρακολούθηση της καταγωγής και των εξαρτήσεων, μπορείτε να χρησιμοποιήσετε τη Visual Basic για εφαρμογές (VBA) και το αντικείμενο WorkbookConnection για να προσδιορίσετε εάν η συμβολοσειρά σύνδεσης περιέχει το κείμενο Provider=Microsoft.Mashup.OleDb.1, το οποίο υποδεικνύει μια σύνδεση Power Query. Επιπλέον, μπορείτε να χρησιμοποιήσετε την ιδιότητα WorkbookQuery.Formula για εξαγωγή τύπων Power Query.
    • Μετά την παρακολούθηση της καταγωγής των ροών δεδομένων σας, συνιστάται να ενημερώσετε τις υπάρχουσες συνδέσεις ροής δεδομένων στο Excel για στοιχεία Fabric ως εξής:
      • Για να αποκτήσετε πρόσβαση στο τελικό σημείο ανάλυσης SQL μιας λίμνης Fabric, αποθήκης ή βάσης δεδομένων SQL, χρησιμοποιήστε τη σύνδεση SQL Server, η οποία χρησιμοποιεί τη συνάρτηση πρόσβασης δεδομένων Sql.Database.
      • Για να αποκτήσετε πρόσβαση στο περιεχόμενο αρχείου Fabric lakehouse, χρησιμοποιήστε το σύνδεσης Azure Data Lake Gen2 Storage, η οποία χρησιμοποιεί τη συνάρτηση πρόσβασης δεδομένων AzureStorage.DataLake.
      • Για να αποκτήσετε πρόσβαση σε μια βάση δεδομένων της υπηρεσίας συμβάντων Fabric, χρησιμοποιήστε τη σύνδεση Azure Data Explorer, η οποία χρησιμοποιεί τη συνάρτηση πρόσβασης δεδομένων AzureDataExplorer.Contents.

Πρότυπα Power Query

πρότυπα Power Query απλοποιήσει τη διαδικασία μεταφοράς ενός έργου μεταξύ διαφορετικών ενοποιήσεων Power Query. Βοηθούν στην απλοποίηση μιας εργασίας που διαφορετικά θα μπορούσε να είναι μια σύνθετη και χρονοβόρα εργασία. Τα πρότυπα ενσαρκώνουν ολόκληρο το έργο Power Query, συμπεριλαμβανομένων δεσμών ενεργειών και μετα-δεδομένων, σε ένα ενιαίο, φορητό αρχείο.

Τα πρότυπα Power Query έχουν σχεδιαστεί για να είναι συμβατά με διάφορες ενοποιήσεις, όπως ροές δεδομένων Power BI (Gen1) και Ροές δεδομένων Fabric (Gen2), εξασφαλίζοντας ομαλή μετάβαση μεταξύ αυτών των υπηρεσιών.

Σχετικό περιεχόμενο

Για περισσότερες πληροφορίες σχετικά με αυτό το άρθρο, ανατρέξτε στους παρακάτω πόρους:

Οι συνεργάτες fabric είναι διαθέσιμοι για να βοηθήσουν τον οργανισμό σας να επιτύχει με τη διαδικασία μετεγκατάστασης. Για να προσελκύσετε έναν συνεργάτη Fabric, επισκεφθείτε την πύλη συνεργατών Fabric.