Κοινή χρήση μέσω

Εργασία με δεδομένα πελατών στο Fabric

  • Άρθρο

Το Microsoft Fabric OneLake είναι μια ενοποιημένη, λογική λίμνη δεδομένων για ολόκληρο τον οργανισμό, η οποία έχει σχεδιαστεί για να είναι το μοναδικό σημείο για όλα τα δεδομένα ανάλυσης. Παρέχεται αυτόματα με κάθε μισθωτή Microsoft Fabric και βασίζεται στο Azure Data Lake Storage (ADLS) Gen2. Το OneLake υποστηρίζει οποιονδήποτε τύπο αρχείου, δομημένο ή μη δομημένο και αποθηκεύει όλα τα δεδομένα σε μορφή πίνακα σε μορφή Delta Parquet. Επιτρέπει τη συνεργασία σε διαφορετικούς επιχειρηματικούς ομίλους, παρέχοντας μια μοναδική λίμνη δεδομένων που διέπεται από προεπιλογή με κατανεμημένη ιδιοκτησία για συνεργασία εντός των ορίων ενός μισθωτή. Οι χώροι εργασίας σε έναν μισθωτή επιτρέπουν σε διαφορετικά μέρη του οργανισμού να διανέμουν πολιτικές ιδιοκτησίας και πρόσβασης, ενώ είναι δυνατή η πρόσβαση σε όλα τα δεδομένα στο OneLake μέσω στοιχείων δεδομένων όπως lakehouses και warehouses.

Όσον αφορά τους χώρους αποθήκευσης δεδομένων, το OneLake χρησιμεύει ως η κοινή θέση αποθήκευσης για πρόσληψη, μετασχηματισμό, πληροφορίες σε πραγματικό χρόνο και απεικονίσεις επιχειρηματικής ευφυΐας. Συγκεντρώνει τις διαφορετικές υπηρεσίες Fabric και είναι ο χώρος αποθήκευσης για στοιχεία δεδομένων που καταναλώνονται από όλους τους φόρτους εργασίας στο Fabric.

Πώς μπορείτε να διαβάσετε και να γράψετε δεδομένα στο Microsoft Fabric

Το Microsoft Fabric είναι μια πλατφόρμα που επιτρέπει την αποθήκευση και διαχείριση των δεδομένων των πελατών. Για να διαβάσετε και γράψετε δεδομένα στο Fabric, πρέπει να χρησιμοποιήσετε τα REST API Fabric και τις κατάλληλες μεθόδους ελέγχου ταυτότητας.

Δικαιώματα API

Ορισμένες μέθοδοι πρόσβασης σε δεδομένα πελατών απαιτούν τη χρήση άλλων υπηρεσιών εκτός του Fabric, όπως η Υπηρεσία αποθήκευσης Azure ή η Βάση δεδομένων SQL Azure. Για παράδειγμα, στο δείγμα κιτ προγραμματιστή Microsoft Fabric, το δικαίωμα API Υπηρεσία αποθήκευσης user_impersonation Azure χρησιμοποιείται σε συνδυασμό με την υπηρεσία Power BI Lakehouse.Read.All για πρόσβαση σε δεδομένα από lakehouses.

Μπορείτε να χρησιμοποιήσετε τη Βάση δεδομένων SQL Azure για πρόσβαση σε δεδομένα πίνακα από στοιχεία αποθήκης. Σε αυτήν την περίπτωση, ρυθμίστε τις παραμέτρους της εφαρμογής σας με τη Βάση δεδομένων user_impersonation SQL Azure για υποβολή ερωτήματος στη βάση δεδομένων εκ μέρους του χρήστη και της υπηρεσίας Power BI Warehouse.Read.All για υποβολή ερωτήματος στο τελικό σημείο Λήψη αποθήκης REST Fabric.

Βεβαιωθείτε ότι έχετε ρυθμίσει τις παραμέτρους της εφαρμογής σας Microsoft Entra ID σύμφωνα με τις ανάγκες ανάπτυξής σας.

Έλεγχος ταυτότητας

Για να μπορέσετε να αρχίσετε να χρησιμοποιείτε τα API REST Fabric ή άλλες υπηρεσίες, όπως η Υπηρεσία αποθήκευσης Azure και η Βάση δεδομένων SQL Azure, εκ μέρους του χρήστη, πρέπει να κάνετε έλεγχο ταυτότητας χρησιμοποιώντας ένα διακριτικό. Αυτό το διακριτικό μπορεί να ληφθεί μέσω μιας διαδικασίας ανταλλαγής διακριτικών.

Το Κιτ ανάπτυξης φόρτου εργασίας Fabric παρέχει μια μέθοδο για την απόκτηση ενός διακριτικού πρόσβασης στο προσκήνιο φόρτου εργασίας. Για παράδειγμα, ανατρέξτε στο θέμα Δείγμα ελεγκτή φόρτου εργασίας.

Αυτό το διακριτικό προγράμματος-πελάτη πρέπει να διαβιβαστεί στο παρασκήνιο φόρτου εργασίας και να ανταλλαστεί χρησιμοποιώντας τη ροή εκ μέρους της ροής για ένα διακριτικό με τις απαραίτητες εμβέλειες για πρόσβαση στους πόρους που χρειάζεστε, όπως το OneLake. Για παράδειγμα, για να αποκτήσει πρόσβαση και ανάγνωση από ένα Lakehouse, ένας χρήστης πρέπει να εξουσιοδοτήσει την εφαρμογή για την πραγματοποίηση κλήσεων API για λογαριασμό του, χρησιμοποιώντας το δικαίωμα Υπηρεσίας αποθήκευσης user_impersonation Azure. Στη συνέχεια, στο παρασκήνιο, το διακριτικό πρόσβασης πρέπει να ληφθεί με την εμβέλεια https://storage.azure.com/user_impersonation ανάθεσης για χρήση της Υπηρεσίας αποθήκευσης Azure.

Εάν αποφασίσετε να χρησιμοποιήσετε sql για να αποκτήσετε πρόσβαση στα δεδομένα των πελατών σας, το διακριτικό πρόσβασης πρέπει να αποκτηθεί με την εμβέλεια https://database.windows.net//user_impersonation χρήσης της Βάσης δεδομένων SQL Azure και του χώρου ονομάτων Microsoft.Data.SqlClient. Το διακριτικό πρόσβασης πρέπει να χρησιμοποιηθεί ως γραμμένο, με δύο καθέτους πριν user_impersonationαπό το , για να επικυρωθεί από την κλάση SQLConnection. Για περισσότερα παραδείγματα ελέγχου ταυτότητας διακριτικού, ανατρέξτε στο δείγμα κιτ προγραμματιστή Microsoft Fabric.

Μπορείτε να βρείτε περισσότερες λεπτομέρειες σχετικά με τον τρόπο απόκτησης ενός διακριτικού στην τεκμηρίωση rest API ανάπτυξης φόρτου εργασίας του Microsoft Fabric.

Ανάγνωση μετα-δεδομένων

Τα REST API fabric παρέχουν έναν τρόπο πρόσβασης στις ιδιότητες του στοιχείου. Για παράδειγμα, η υποβολή ερωτημάτων για το API Get Lakehouse σάς παρέχει τα μετα-δεδομένα για ένα συγκεκριμένο Lakehouse, συμπεριλαμβανομένων χρήσιμων ιδιοτήτων όπως οι διαδρομές OneLake και η συμβολοσειρά σύνδεσης SQL. Ένα άλλο χρήσιμο τελικό σημείο είναι το API Get Warehouse, το οποίο επιστρέφει τις ακόλουθες πληροφορίες:

    {
        Id: Guid
        Type: string
        DisplayName: string
        Description: string
        WorkspaceId: Guid
        Properties {
            ConnectionInfo: string
            CreatedDate: DateTime
            LastUpdatedTime: DateTime
        }
    }

Εδώ, η ιδιότητα "ConnectionInfo" είναι το πλήρως προσδιορισμένο όνομα τομέα (FQDN) του SQL Server Warehouse. Με αυτό το FQDN, μπορείτε να δημιουργήσετε μια σύνδεση SQL. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Συνδεσιμότητα σε αποθήκευση δεδομένων στο Microsoft Fabric. Για παραδείγματα υλοποίησης, ανατρέξτε στο Κιτ ανάπτυξης φόρτου εργασίας Microsoft Fabric.

Ανάγνωση δεδομένων

Μετά τον έλεγχο ταυτότητας, μπορείτε να συνδεθείτε στο OneLake χρησιμοποιώντας API REST του Azure Data Lake Storage για την ανάγνωση διαφορετικών τύπων δεδομένων. Συνιστούμε τη χρήση του πρωτοκόλλου Delta Lake για την ανάγνωση πινάκων.

Εναλλακτικά, εάν επιλέξετε να χρησιμοποιήσετε τη Βάση δεδομένων SQL Azure, μπορείτε να εφαρμόσετε την ακόλουθη διαδικασία για την ανάγνωση δεδομένων από μια Αποθήκη.

  1. Δημιουργήστε ένα περιβάλλον εξουσιοδότησης. Για ένα παράδειγμα δημιουργίας ενός περιβάλλοντος εξουσιοδότησης, ανατρέξτε στη μέθοδο AuthenticateDataPlaneCall.

  2. Αποκτήστε ένα διακριτικό με την εμβέλεια Warehouse.Read.All εκ μέρους του χρήστη χρησιμοποιώντας το διακριτικό φορέα που διαβιβάστηκε από το προσκήνιο.

  3. Χρησιμοποιήστε το διακριτικό Fabric για να καλέσετε το API Λήψη αποθήκης. Απαιτείται πρόσβαση στις πληροφορίες σύνδεσης και στο εμφανιζόμενο όνομα της Αποθήκης, που είναι ο αρχικός κατάλογος του διακομιστή.

  4. Λήψη διακριτικού με εμβέλειες SQL εκ μέρους του χρήστη. Για να δημιουργήσετε με επιτυχία μια σύνδεση SQL, χρησιμοποιήστε την εμβέλεια https://database.windows.net//user_impersonation.

  5. Χρησιμοποιήστε το διακριτικό SQL και τις πληροφορίες σύνδεσης για να ανοίξετε μια σύνδεση SQL:

    private SqlConnection GetSqlConnection(string token, string databaseFqdn, string initialCatalog)
        {
            var builder = new SqlConnectionStringBuilder();
            builder.DataSource = databaseFqdn; // ConnectionInfo from Get Warehouse API
            builder.InitialCatalog = initialCatalog; //display name of the Warehouse
            builder.ConnectTimeout = 120;

            var connection = new SqlConnection();
            connection.AccessToken = token; // SQL token acquired with the Azure SQL Database user_impersonation scope
            connection.ConnectionString = builder.ConnectionString;
            connection.Open();
            return connection;
        }

  6. Είναι πλέον δυνατή η ερωτήματα σε αυτήν τη σύνδεση για πρόσβαση σε δεδομένα από την Αποθήκη. Για περισσότερες πληροφορίες σχετικά με τη χρήση του χώρου ονομάτων Microsoft.Data.SqlClient , ανατρέξτε στο θέμα Τεκμηρίωση του χώρου ονομάτων Microsoft.Data.SqlClient.

Εγγραφή δεδομένων

Εκτός από την ανάγνωση δεδομένων με χρήση του διακριτικού, μπορείτε επίσης να χρησιμοποιήσετε ADLS ADLS για την εγγραφή δεδομένων σε πίνακες, όπως περιγράφεται από το πρωτόκολλο Delta Lake.

Μπορείτε επίσης να χρησιμοποιήσετε τα API για να δημιουργήσετε αρχεία και καταλόγους.

Εναλλακτικά, μπορείτε να χρησιμοποιήσετε άλλους φόρτους εργασίας Fabric για την εγγραφή δεδομένων στην πλατφόρμα. Για παράδειγμα, μπορείτε να χρησιμοποιήσετε το API φόρτου εργασίας Lakehouse του Fabric για να φορτώσετε αποτελεσματικά κοινούς τύπους αρχείων σε έναν βελτιστοποιημένο πίνακα Delta. Αυτό γίνεται με την αποστολή μιας αίτησης POST στο τελικό σημείο του API Πίνακας φόρτωσης.

Η σύνδεση SQL μπορεί επίσης να χρησιμοποιηθεί για την εκτέλεση εντολών που εισάγουν δεδομένα σε πίνακες.

Σχετικό περιεχόμενο