Κοινή χρήση μέσω

Διοχετεύσεις ανάπτυξης Lakehouse και ενοποίηση git (Προεπισκόπηση)

  • Άρθρο

Το Lakehouse ενσωματώνεται με τις δυνατότητες διαχείρισης κύκλου ζωής στο Microsoft Fabric, παρέχοντας μια τυποποιημένη συνεργασία μεταξύ όλων των μελών της ομάδας ανάπτυξης σε όλη τη διάρκεια ζωής του προϊόντος. Η διαχείριση του κύκλου ζωής διευκολύνει την αποτελεσματική διαχείριση εκδόσεων προϊόντων και την έκδοση μιας διαδικασίας παρέχοντας συνεχώς δυνατότητες και επιδιορθώσεις σφαλμάτων σε πολλά περιβάλλοντα. Για να μάθετε περισσότερα, ανατρέξτε στο θέμα Τι είναι η διαχείριση του κύκλου ζωής στο Microsoft Fabric;.

Σημαντικό

Αυτή η δυνατότητα είναι σε προεπισκόπηση.

Ενοποίηση git Lakehouse

Το Lakehouse είναι ένα στοιχείο που περιέχει μετα-δεδομένα και δεδομένα που αναφέρονται σε πολλά αντικείμενα στον χώρο εργασίας. Το Lakehouse περιέχει πίνακες, φακέλους και συντομεύσεις ως κύρια στοιχεία κοντέινερ δεδομένων με δυνατότητα διαχείρισης. Από την πλευρά της ροής εργασιών ανάπτυξης, τα παρακάτω εξαρτώμενα αντικείμενα μπορεί να αναφέρονται σε ένα Lakehouse:

Το προεπιλεγμένο μοντέλο σημασιολογίας και τα μετα-δεδομένα τελικού σημείου ανάλυσης SQL σχετίζονται με ένα Lakehouse και τα διαχειρίζεται από προεπιλογή η διαδικασία ενημέρωσης git. Καθώς τα δεδομένα αρχής δεν παρακολουθούνται στο Git, παρακολουθούνται μόνο τα μετα-δεδομένα.

Αναπαράσταση Git

Οι παρακάτω πληροφορίες lakehouse σειριοποιούνται και παρακολουθούνται σε έναν συνδεδεμένο χώρο εργασίας git:

  • Display name
  • Description
  • Λογικό guid

Σημείωμα

Το λογικό guid που παρακολουθείται είναι ένα αναγνωριστικό μεταξύ χώρων εργασίας που δημιουργείται αυτόματα και αντιπροσωπεύει ένα στοιχείο και την αναπαράσταση στοιχείου ελέγχου προέλευσης.

Σημαντικό

Μόνο το αντικείμενο σχεδίασης κοντέινερ Lakehouse παρακολουθείται στο Git στην τρέχουσα εμπειρία. οι πίνακες (Delta και μη Delta) και οι φάκελοι στην ενότητα "Αρχεία" δεν παρακολουθούνται και δεν έχουν διαδοθεί στο git.

Δυνατότητες ενοποίησης Git Lakehouse

Οι παρακάτω δυνατότητες είναι διαθέσιμες:

  • Σειριοποίηση των μετα-δεδομένων αντικειμένου Lakehouse σε μια αναπαράσταση Git JSON.
  • Εφαρμόστε τις αλλαγές απευθείας ή χρησιμοποιήστε το αίτημα έλξης για να ελέγξετε τις αλλαγές σε προηγούμενους ή κατάντη χώρους εργασίας και κλάδους.
  • Η μετονομασία λιμνοθάδων παρακολουθείται στο Git. Η ενημέρωση μιας μετονομασμένης λίμνης επίσης μετονομάζει το προεπιλεγμένο μοντέλο σημασιολογικών δεδομένων και το τελικό σημείο sql Analytics.
  • Δεν εφαρμόζεται καμία ενέργεια σε πίνακες και φακέλους μετα-δεδομένακαι τα δεδομένα αυτών των στοιχείων διατηρούνται πάντα.
  • μετα-δεδομένων συντομεύσεων OneLake διατηρείται στο git.

Δυνατότητες ενοποίησης Git συντομεύσεων OneLake

  • Οι ορισμοί συντομεύσεων στην ενότητα Πίνακες και Αρχεία αποθηκεύονται σε ένα αρχείο με την ονομασία shortcuts.metadata.json κάτω από τον φάκελο lakehouse στο git.
  • Οι ακόλουθες λειτουργίες υποστηρίζονται και παρακολουθούνται αυτόματα: προσθήκη, διαγραφή και ενημερώσεις των συντομεύσεων.
  • Οι λειτουργίες μπορούν να εκτελεστούν απευθείας στο περιβάλλον εργασίας χρήστη Fabric ή στο αποθετήριο git αλλάζοντας το αρχείο shortcuts.metadata.json.
  • Οι συντομεύσεις με εσωτερικούς προορισμούς (συντομεύσεις OneLake) ενημερώνονται αυτόματα κατά τον συγχρονισμό git. Για να είναι έγκυρη η Συντόμευση, αυτές οι αναφορές πρέπει να είναι έγκυροι στόχοι στον χώρο εργασίας. Εάν οι στόχοι δεν είναι έγκυροι για τις συντομεύσεις που ορίζονται στην ενότητα πινάκων lakehouse, αυτές οι συντομεύσεις μετακινούνται στην ενότητα Unidentified μέχρι να επιλυθούν οι αναφορές.

Σημαντικό

Να είστε προσεκτικοί όταν αλλάζετε τις ιδιότητες συντόμευσης OneLake απευθείας στο αρχείο shortcuts.metadata.json. Οι λανθασμένες αλλαγές στις ιδιότητες, ειδικά τα GUID, μπορούν να καταστήσουν τη συντόμευση OneLake μη έγκυρη όταν εφαρμόζονται ενημερώσεις πίσω στον χώρο εργασίας.

Σημαντικό

Μια ενημέρωση από το git θα παρακάμψει την κατάσταση συντομεύσεων στον χώρο εργασίας. Όλες οι συντομεύσεις στον χώρο εργασίας δημιουργούνται, ενημερώνονται ή διαγράφονται με βάση την εισερχόμενη κατάσταση από το git.

Lakehouse σε διοχετεύσεις ανάπτυξης

Το Lakehouse υποστηρίζεται στις διοχετεύσεις ανάπτυξης διαχείρισης κύκλου ζωής Microsoft Fabric. Επιτρέπει βέλτιστες πρακτικές τμηματοποίησης περιβάλλοντος.

Δυνατότητες ενοποίησης διοχετεύσεων ανάπτυξης Lakehouse:

  • Ανάπτυξη σε χώρους εργασίας ανάπτυξης, δοκιμής και παραγωγής.

  • Το Lakehouse μπορεί να καταργηθεί ως εξαρτώμενο αντικείμενο κατά την ανάπτυξη. Υποστηρίζεται επίσης αντιστοίχιση διαφορετικών lakehouse στο περιβάλλον διοχέτευσης ανάπτυξης.

    • Εάν δεν καθορίζεται τίποτα κατά τη ρύθμιση παραμέτρων της διοχέτευσης ανάπτυξης, δημιουργείται ένα νέο κενό αντικείμενο Lakehouse με το ίδιο όνομα στον χώρο εργασίας προορισμού. Οι ορισμοί θέσεων Notebook και Spark Job αντιστοιχίζονται εκ νέου για αναφορά του νέου αντικειμένου Lakehouse στον νέο χώρο εργασίας.

    • Εάν η εξάρτηση Lakehouse έχει ρυθμιστεί ώστε να αναφέρεται σε ένα διαφορετικό Lakehouse κατά τη διάρκεια του χρόνου ρύθμισης παραμέτρων διοχέτευσης ανάπτυξης, όπως το upstream Lakehouse, ένα νέο κενό αντικείμενο Lakehouse με το ίδιο όνομα εξακολουθεί να δημιουργείται στον χώρο εργασίας προορισμού, αλλά οι αναφορές Notebooks και Spark Job Definitions διατηρούνται σε ένα διαφορετικό Lakehouse όπως ζητήθηκε.

    • Τα τελικά σημεία και τα σημασιολογικά μοντέλα της ανάλυσης SQL διατίθενται ως μέρος της ανάπτυξης του Lakehouse.

  • Δεν αντικαθίσταται αντικείμενο μέσα στο Lakehouse.

  • Οι ενημερώσεις στο όνομα Lakehouse μπορούν να συγχρονιστούν μεταξύ χώρων εργασίας σε ένα περιβάλλον διοχέτευσης ανάπτυξης.

Συντομεύσεις OneLake σε διοχετεύσεις ανάπτυξης

  • Οι ορισμοί συντομεύσεων συγχρονίζονται μεταξύ σταδίων στις διοχετεύσεις ανάπτυξης.
  • Οι συντομεύσεις με εξωτερικούς προορισμούς (ADLS Gen2, S3 κ.λπ.) είναι ίδιες σε όλα τα στάδια μετά την ανάπτυξη.
  • Οι συντομεύσεις με εσωτερικούς προορισμούς (συντομεύσεις OneLake) στον ίδιο χώρο εργασίας αντιστοιχίζονται εκ νέου αυτόματα σε όλα τα στάδια. Οι συντομεύσεις που στοχεύουν την Αποθήκη δεδομένων και τα Σημασιολογικά μοντέλα δεν αντιστοιχίζονται ξανά κατά την ανάπτυξη. Οι πίνακες, οι φάκελοι και τα αρχεία δεν δημιουργούνται στον χώρο εργασίας προορισμού. Για να είναι έγκυρη η συντόμευση, αυτές οι αναφορές πρέπει να δημιουργηθούν στον χώρο εργασίας προορισμού μετά την ανάπτυξη.
  • Στο σενάριο που χρειάζεται η ίδια συντόμευση για τη στόχευση διαφορετικών τοποθεσιών σε διαφορετικά στάδια. Για παράδειγμα, στο Σημείο ανάπτυξης για έναν συγκεκριμένο φάκελο στο Amazon S3 και στην Παραγωγή, ένας διαφορετικός φάκελος στο ADLS Gen2. Μετά την ανάπτυξη, ενημερώστε τον ορισμό συντόμευσης OneLake στο Lakehouse ή χρησιμοποιώντας απευθείας API OneLake.

Σημαντικό

Μια ανάπτυξης θα παρακάμψει την κατάσταση συντομεύσεων στον χώρο εργασίας προορισμού. Όλες οι συντομεύσεις στο λιμνοθάδικο προορισμού ενημερώνονται ή διαγράφονται με βάση την κατάσταση στο lakehouse προέλευσης. Νέες συντομεύσεις δημιουργούνται στο λιμνοθάδικο προορισμού. Να κάνετε πάντα κλικ στην επιλογή "έλεγχος αλλαγών" για να κατανοήσετε τις αλλαγές που θα αναπτυχθούν μεταξύ των χώρων εργασίας προέλευσης και προορισμού.

Σχετικό περιεχόμενο