Μετεγκατάσταση: Αποκλειστικοί χώροι συγκέντρωσης SQL του Azure Synapse Analytics στο Fabric

Άρθρο
07/17/2024

Ισχύει για:✅ Warehouse στο Microsoft Fabric

Αυτό το άρθρο περιγράφει τη στρατηγική, τα ζητήματα και τις μεθόδους μετεγκατάστασης της αποθήκευσης δεδομένων σε αποκλειστικούς χώρους συγκέντρωσης SQL του Azure Synapse Analytics στην Αποθήκη Microsoft Fabric.

Εισαγωγή μετεγκατάστασης

Όπως εισήγαγε η Microsoft Fabric, μια μοναδική λύση ανάλυσης SaaS για επιχειρήσεις που προσφέρει μια ολοκληρωμένη οικογένεια υπηρεσιών, όπως το Data Factory, τη Μηχανική δεδομένων, την Αποθήκευση δεδομένων, την Επιστήμη δεδομένων, την Ευφυΐα σε πραγματικό χρόνο και το Power BI.

Αυτό το άρθρο εστιάζει στις επιλογές μετεγκατάστασης σχήματος (DDL), μετεγκατάστασης κώδικα βάσης δεδομένων (DML) και μετεγκατάστασης δεδομένων. Η Microsoft προσφέρει διάφορες επιλογές και εδώ εξετάζουμε λεπτομερώς κάθε επιλογή και παρέχουμε οδηγίες σχετικά με το ποιες από αυτές τις επιλογές θα πρέπει να εξετάσετε για το σενάριό σας. Αυτό το άρθρο χρησιμοποιεί το στοιχείο αναφοράς του κλάδου TPC-DS για σκοπούς απεικόνισης και δοκιμών απόδοσης. Το πραγματικό αποτέλεσμα μπορεί να διαφέρει ανάλογα με πολλούς παράγοντες, όπως ο τύπος δεδομένων, οι τύποι δεδομένων, το πλάτος πινάκων, ο λανθάνων χρόνος προέλευσης δεδομένων κ.λπ.

Προετοιμασία για μετεγκατάσταση

Σχεδιάστε προσεκτικά το έργο μετεγκατάτασής σας προτού ξεκινήσετε και βεβαιωθείτε ότι το σχήμα, ο κώδικας και τα δεδομένα σας είναι συμβατά με το Fabric Warehouse. Υπάρχουν ορισμένοι περιορισμοί που πρέπει να λάβετε υπόψη. Ποσοτικοποιήστε την εργασία επανασχεδιάζοντας τα μη συμβατά στοιχεία, καθώς και τυχόν άλλους πόρους που απαιτούνται πριν από την παράδοση μετεγκατάστασης.

Ένας άλλος βασικός στόχος του σχεδιασμού είναι να προσαρμόσετε τη σχεδίασή σας για να εξασφαλίσετε ότι η λύση σας επωφελείται πλήρως από τις υψηλές επιδόσεις ερωτήματος που έχει σχεδιαστεί να παρέχει η Fabric Warehouse. Η σχεδίαση αποθηκών δεδομένων για κλιμάκωση παρουσιάζει μοναδικά μοτίβα σχεδίασης, επομένως, οι παραδοσιακές προσεγγίσεις δεν είναι πάντα οι καλύτερες. Εξετάστε τις οδηγίες επιδόσεων της Αποθήκης Fabric, επειδή παρόλο που μπορείτε να κάνετε ορισμένες προσαρμογές σχεδίασης μετά τη μετεγκατάσταση, η πραγματοποίηση αλλαγών νωρίτερα στη διαδικασία θα σας εξοικονομήσει χρόνο και προσπάθεια. Η μετεγκατάσταση από μια τεχνολογία/περιβάλλον σε ένα άλλο είναι πάντα μια σημαντική προσπάθεια.

Το παρακάτω διάγραμμα απεικονίζει τον κύκλο ζωής μετεγκατάστασης που περιλαμβάνει τους κύριους πυλώνες που αποτελούνται από τους πυλώνες Αξιολόγηση και Αξιολόγηση, Σχεδιασμός και Σχεδιασμός, Μετεγκατάσταση, Παρακολούθηση και Διαχείριση, Βελτιστοποίηση και Εκσυγχρονισμός με τις σχετικές εργασίες σε κάθε πυλώνα για τον σχεδιασμό και την προετοιμασία της ομαλής μετεγκατάστασης.

Runbook για μετεγκατάσταση

Εξετάστε τις ακόλουθες δραστηριότητες ως ένα βιβλίο εκτέλεσης σχεδιασμού για τη μετεγκατάστασή σας από αποκλειστικούς χώρους συγκέντρωσης SQL Synapse σε Fabric Warehouse.

Αξιολόγηση και αξιολόγηση
1. Προσδιορίστε τους στόχους και τα κίνητρα. Καθορισμός σαφών επιθυμητών αποτελεσμάτων.
2. Εντοπισμός, αξιολόγηση και γραμμή βάσης της υπάρχουσας αρχιτεκτονικής.
3. Αναγνωρίστε βασικούς ενδιαφερόμενους και χορηγούς.
4. Καθορίστε την εμβέλεια των στοιχείων προς μετεγκατάσταση.
  1. Ξεκινήστε με μικρές και απλές, προετοιμαστείτε για πολλές μικρές μετεγκαταστάσεις.
  2. Αρχίστε να παρακολουθείτε και να τεκμηριώνετε όλα τα στάδια της διαδικασίας.
  3. Δημιουργήστε απογραφή δεδομένων και διαδικασιών για μετεγκατάσταση.
  4. Ορισμός αλλαγών μοντέλου δεδομένων (εάν υπάρχουν).
  5. Ρυθμίστε τον χώρο εργασίας Fabric.
5. Ποιο είναι το σύνολο δεξιοτήτων/προτίμησής σας;
  1. Αυτοματοποιήστε όποτε είναι δυνατό.
  2. Χρησιμοποιήστε ενσωματωμένα εργαλεία και δυνατότητες του Azure για να μειώσετε την προσπάθεια μετεγκατάστασης.
6. Εκπαιδεύστε το προσωπικό νωρίς στη νέα πλατφόρμα.
  1. Προσδιορίστε ανάγκες αναβάθμισης δεξιοτήτων και πόρους εκπαίδευσης, συμπεριλαμβανομένου του Microsoft Learn.
Σχέδιο και σχεδίαση
1. Καθορίστε την επιθυμητή αρχιτεκτονική.
2. Επιλέξτε τη μέθοδο/εργαλεία για τη μετεγκατάσταση για να ολοκληρώσετε τις ακόλουθες εργασίες:
  1. Εξαγωγή δεδομένων από την προέλευση.
  2. Μετατροπή σχήματος (DDL), συμπεριλαμβανομένων μετα-δεδομένων για πίνακες και προβολές
  3. Πρόσληψη δεδομένων, συμπεριλαμβανομένων των δεδομένων ιστορικού.
    1. Εάν είναι απαραίτητο, σχεδιάστε εκ νέου το μοντέλο δεδομένων χρησιμοποιώντας νέες επιδόσεις και δυνατότητα κλιμάκωσης πλατφόρμας.
  4. Μετεγκατάσταση κώδικα βάσης δεδομένων (DML).
    1. Μετεγκατάσταση ή επανασχεδιασία αποθηκευμένων διαδικασιών και επιχειρηματικών διαδικασιών.
3. Κάντε απογραφή και εξαγάγετε τις δυνατότητες ασφαλείας και τα δικαιώματα αντικειμένων από την προέλευση.
4. Σχεδιάστε και σχεδιάστε για να αντικαταστήσετε/τροποποιήσετε τις υπάρχουσες διαδικασίες ETL/ELT για επαυξητικό φόρτο.
  1. Δημιουργήστε παράλληλες διαδικασίες ETL/ELT στο νέο περιβάλλον.
5. Προετοιμάστε ένα λεπτομερές σχέδιο μετεγκατάστασης.
  1. Αντιστοίχιση της τρέχουσας κατάστασης στη νέα επιθυμητή κατάσταση.
Αποδημώ
1. Εκτελέστε σχήμα, δεδομένα, μετεγκατάσταση κώδικα.
  1. Εξαγωγή δεδομένων από την προέλευση.
  2. Μετατροπή σχήματος (DDL)
  3. Πρόσληψη δεδομένων
  4. Μετεγκατάσταση κώδικα βάσης δεδομένων (DML).
2. Εάν είναι απαραίτητο, αυξήστε προσωρινά τους αποκλειστικούς πόρους του χώρου συγκέντρωσης SQL για να βοηθήσετε την ταχύτητα μετεγκατάστασης.
3. Εφαρμογή ασφάλειας και δικαιωμάτων.
4. Μετεγκαταστήστε υπάρχουσες διαδικασίες ETL/ELT για επαυξητικό φόρτο.
  1. Μετεγκατάσταση ή επανασχεδιασία διεργασιών επαυξητικής φόρτωσης ETL/ELT.
  2. Ελέγξτε και συγκρίνετε παράλληλες διαδικασίες φόρτωσης προσαύξησης.
5. Προσαρμόστε το σχέδιο μετεγκατάστασης λεπτομερειών όπως απαιτείται.
Παρακολούθηση και διαχείριση
1. Εκτελέστε παράλληλα, συγκρίνετε με το περιβάλλον προέλευσης.
  1. Εφαρμογές δοκιμής, πλατφόρμες επιχειρηματικής ευφυΐας και εργαλεία ερωτημάτων.
  2. Αξιολογήστε και βελτιστοποιήστε την απόδοση των ερωτημάτων.
  3. Παρακολουθήστε και διαχειριστείτε το κόστος, την ασφάλεια και τις επιδόσεις.
2. Σημείο αναφοράς και αξιολόγηση διαχείρισης.
Βελτιστοποίηση και εκσυγχρονισμός
1. Όταν η επιχείρηση είναι άνετη, μεταβείτε εφαρμογές και κύριες πλατφόρμες αναφορών στο Fabric.
  1. Αυξήστε/κατεβάστε πόρους καθώς ο φόρτος εργασίας μετακινείται από το Azure Synapse Analytics στο Microsoft Fabric.
  2. Δημιουργήστε ένα επαναλαμβανόμενο πρότυπο από την εμπειρία που αποκτήθηκε για μελλοντικές μετεγκαταστάσεις. Επαναλάβει.
  3. Προσδιορισμός ευκαιριών για βελτιστοποίηση κόστους, ασφάλεια, κλιμάκωση και λειτουργική αριστεία
  4. Αναγνωρίστε ευκαιρίες για να εκσυγχρονίζετε την περιοχή δεδομένων σας με τις τελευταίες δυνατότητες του Fabric.

"Ανελκυστήρας και μετατόπιση" ή εκσυγχρονισμός;

Σε γενικές γραμμές, υπάρχουν δύο τύποι σεναρίων μετεγκατάστασης, ανεξάρτητα από τον σκοπό και το πεδίο εφαρμογής της προγραμματισμένης μετεγκατάστασης: η ανύψωση και η μετακίνηση ως έχουν ή μια σταδιακή προσέγγιση που ενσωματώνει αρχιτεκτονικές και αλλαγές κώδικα.

Ανελκυστήρας και μετατόπιση

Σε μια μετεγκατάσταση ανελκυστήρα και μετατόπισης, ένα υπάρχον μοντέλο δεδομένων μετεγκαταστάθηκε με μικρές αλλαγές στη νέα Αποθήκη Fabric. Αυτή η προσέγγιση ελαχιστοποιεί τον χρόνο κινδύνου και μετεγκατάστασης, μειώνοντας τις νέες εργασίες που απαιτούνται για την πραγματοποίηση των οφελών της μετεγκατάστασης.

Η μετεγκατάσταση άρσης και μετατόπισης είναι κατάλληλη για αυτά τα σενάρια:

Έχετε ένα υπάρχον περιβάλλον με έναν μικρό αριθμό δεδομένων προς μετεγκατάσταση.
Έχετε ένα υπάρχον περιβάλλον με δεδομένα που βρίσκονται ήδη σε ένα καλά σχεδιασμένο σχήμα αστεριού ή νιφάδας χιονιού.
Έχετε πίεση χρόνου και κόστους για να μετακινηθείτε στην Αποθήκη Fabric.

Συνοπτικά, αυτή η προσέγγιση λειτουργεί καλά για εκείνους τους φόρτους εργασίας που έχουν βελτιστοποιηθεί με το τρέχον περιβάλλον σας αποκλειστικών χώρων συγκέντρωσης SQL Synapse και, επομένως, δεν απαιτούν σημαντικές αλλαγές στο Fabric.

Εκσυγχρονισμός σε σταδιακή προσέγγιση με αρχιτεκτονικές αλλαγές

Εάν μια αποθήκη δεδομένων παλαιού τύπου έχει εξελιχθεί για μεγάλο χρονικό διάστημα, ίσως χρειαστεί να την σχεδιάσετε εκ νέου για να διατηρήσετε τα απαιτούμενα επίπεδα επιδόσεων.

Μπορεί επίσης να θέλετε να επανασχεδιάσετε την αρχιτεκτονική για να επωφεληθείτε από τους νέους μηχανισμούς και τις δυνατότητες που είναι διαθέσιμες στον χώρο εργασίας Fabric.

Διαφορές σχεδίασης: Αποκλειστικοί χώροι συγκέντρωσης SQL Synapse και Αποθήκη Fabric

Εξετάστε τις παρακάτω διαφορές αποθήκευσης δεδομένων Azure Synapse και Microsoft Fabric, συγκρίνοντας αποκλειστικούς χώρους συγκέντρωσης SQL με την Αποθήκη Fabric.

Ζητήματα πίνακα

Όταν εκτελείτε μετεγκατάσταση πινάκων μεταξύ διαφορετικών περιβαλλόντων, συνήθως πραγματοποιείται φυσική μετεγκατάσταση μόνο των ανεπεξέργαστων δεδομένων και των μετα-δεδομένων. Άλλα στοιχεία βάσης δεδομένων από το σύστημα προέλευσης, όπως τα ευρετήρια, συνήθως δεν μετεγκαταστάθηκαν επειδή μπορεί να είναι περιττά ή να υλοποιούνται διαφορετικά στο νέο περιβάλλον.

Οι βελτιστοποιήσεις επιδόσεων στο περιβάλλον προέλευσης, όπως τα ευρετήρια, υποδεικνύουν πού μπορείτε να προσθέσετε βελτιστοποίηση απόδοσης σε ένα νέο περιβάλλον, αλλά τώρα το Fabric φροντίζει αυτόματα για εσάς.

Ζητήματα T-SQL

Υπάρχουν διάφορες διαφορές σύνταξης γλώσσας χειρισμού δεδομένων (DML) που πρέπει να γνωρίζετε. Ανατρέξτε στην περιοχή επιφάνειας T-SQL στο Microsoft Fabric. Εξετάστε επίσης μια αξιολόγηση κώδικα όταν επιλέγετε μεθόδους μετεγκατάστασης για τον κώδικα βάσης δεδομένων (DML).

Ανάλογα με τις διαφορές ισοτιμίας κατά τη στιγμή της μετεγκατάστασης, ίσως χρειαστεί να γράψετε ξανά τμήματα του κώδικα DML T-SQL.

Διαφορές αντιστοίχισης τύπου δεδομένων

Υπάρχουν διάφορες διαφορές τύπου δεδομένων στην Αποθήκη Fabric. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Τύποι δεδομένων στο Microsoft Fabric.

Ο παρακάτω πίνακας παρέχει την αντιστοίχιση υποστηριζόμενων τύπων δεδομένων από αποκλειστικούς χώρους συγκέντρωσης SQL Synapse έως Fabric Warehouse.

Αποκλειστικοί χώροι συγκέντρωσης SQL Synapse	Fabric Warehouse
χρήματα	δεκαδικά ψηφία (19,4)
smallmoney	δεκαδικά ψηφία(10,4)
smalldatetime	datetime2
datetime	datetime2
nchar	καρβουνιάζω
nvarchar	varchar
tinyint	μικρή απόχρωση
δυαδικός	varbinary
datetimeoffset*	datetime2

* Η ημερομηνία/ώρα2 δεν αποθηκεύει τις επιπλέον πληροφορίες μετατόπισης ζώνης ώρας που είναι αποθηκευμένες στο. Δεδομένου ότι ο τύπος δεδομένων datetimeoffset δεν υποστηρίζεται προς το παρόν στην Αποθήκη Fabric, τα δεδομένα μετατόπισης ζώνης ώρας θα πρέπει να εξαχθούν σε μια ξεχωριστή στήλη.

Σχήματα, κώδικα και μέθοδοι μετεγκατάστασης δεδομένων

Εξετάστε και προσδιορίστε ποια από αυτές τις επιλογές ταιριάζει με το σενάριό σας, τα σύνολα δεξιοτήτων του προσωπικού και τα χαρακτηριστικά των δεδομένων σας. Οι επιλογές που θα επιλέξετε εξαρτώνται από την εμπειρία, την προτίμησή σας και τα οφέλη από κάθε ένα από τα εργαλεία. Στόχος μας είναι να συνεχίσουμε να αναπτύσσουμε εργαλεία μετεγκατάστασης που μετριάζουν τις τριβές και τις χειροκίνητες παρεμβάσεις, ώστε να καταστεί αυτή η εμπειρία μετεγκατάστασης απρόσκοπτη.

Αυτός ο πίνακας συνοψίζει πληροφορίες για το σχήμα δεδομένων (DDL), τον κώδικα βάσης δεδομένων (DML) και τις μεθόδους μετεγκατάστασης δεδομένων. Θα επεκταθούμε περαιτέρω σε κάθε σενάριο παρακάτω σε αυτό το άρθρο, συνδεδεμένο στη στήλη Επιλογή .

Αριθμός επιλογής	Επιλογή	Τι κάνει	Δεξιότητα/Προτίμηση	Σενάριο
1	Data Factory	Μετατροπή σχήματος (DDL) Εξαγωγή δεδομένων Κατάποση δεδομένων	ADF/Διοχέτευση	Απλοποιημένα όλα σε ένα σχήμα (DDL) και μετεγκατάσταση δεδομένων. Συνιστάται για πίνακες διαστάσεων.
2	Data Factory με διαμέρισμα	Μετατροπή σχήματος (DDL) Εξαγωγή δεδομένων Κατάποση δεδομένων	ADF/Διοχέτευση	Με τη χρήση επιλογών διαμερισμού για την αύξηση της παράλληλης ανάγνωσης/εγγραφής, παρέχοντας ταχύτητα μετάδοσης 10x έναντι της επιλογής 1, συνιστάται για πίνακες δεδομένων.
3	Data Factory με επιταχυνόμενο κώδικα	Μετατροπή σχήματος (DDL)	ADF/Διοχέτευση	Μετατρέψτε και μετεγκαταστήστε πρώτα το σχήμα (DDL) και, στη συνέχεια, χρησιμοποιήστε το CETAS για εξαγωγή και ΑΝΤΙΓΡΑΦΉ/Data Factory στην πρόσληψη δεδομένων για βέλτιστη συνολική απόδοση πρόσληψης.
4	Αποθηκευμένες διαδικασίες επιταχυνόμενος κώδικας	Μετατροπή σχήματος (DDL) Εξαγωγή δεδομένων Αξιολόγηση κώδικα	T-SQL	Ο χρήστης SQL χρησιμοποιεί το IDE με πιο λεπτομερή έλεγχο των εργασιών στις οποίες θέλει να εργαστεί. Χρησιμοποιήστε τη συνάρτηση COPY/Data Factory για την πρόσληψη δεδομένων.
5	Επέκταση έργου βάσης δεδομένων SQL για το Azure Data Studio	Μετατροπή σχήματος (DDL) Εξαγωγή δεδομένων Αξιολόγηση κώδικα	ΈΡΓΟ SQL	SQL Database Project για ανάπτυξη με την ενοποίηση της επιλογής 4. Χρησιμοποιήστε την COPY ή την Data Factory για την πρόσληψη δεδομένων.
6	ΔΗΜΙΟΥΡΓΊΑ ΕΞΩΤΕΡΙΚΟΎ ΠΊΝΑΚΑ Ως ΕΠΙΛΟΓΉ (CETAS)	Εξαγωγή δεδομένων	T-SQL	Οικονομικά αποδοτική και υψηλής απόδοσης εξαγωγή δεδομένων στο Azure Data Lake Storage (ADLS) Gen2. Χρησιμοποιήστε τη συνάρτηση COPY/Data Factory για την πρόσληψη δεδομένων.
7	Μετεγκατάσταση με χρήση dbt	Μετατροπή σχήματος (DDL) μετατροπή κώδικα βάσης δεδομένων (DML)	dbt	Οι υπάρχοντες χρήστες βάσης δεδομένων μπορούν να χρησιμοποιήσουν τον προσαρμογέα dbt Fabric για να μετατρέψουν τα DDL και DML τους. Στη συνέχεια, πρέπει να μετεγκαταστήσετε δεδομένα χρησιμοποιώντας άλλες επιλογές σε αυτόν τον πίνακα.

Επιλογή φόρτου εργασίας για την αρχική μετεγκατάσταση

Όταν αποφασίζετε πού να ξεκινήσετε με τον χώρο συγκέντρωσης Synapse dedicated SQL στο έργο μετεγκατάστασης Αποθήκη Fabric, επιλέξτε μια περιοχή φόρτου εργασίας όπου μπορείτε να κάνετε τα εξής:

Αποδείξτε τη βιωσιμότητα της μετεγκατάστασης στην Αποθήκη Fabric παρέχοντας γρήγορα τα οφέλη του νέου περιβάλλοντος. Ξεκινήστε με μικρές και απλές, προετοιμαστείτε για πολλές μικρές μετεγκαταστάσεις.
Αφήστε χρόνο στο προσωπικό της εταιρείας σας για να αποκτήσει σχετική εμπειρία με τις διαδικασίες και τα εργαλεία που χρησιμοποιεί όταν πραγματοποιεί μετεγκατάσταση σε άλλες περιοχές.
Δημιουργήστε ένα πρότυπο για περαιτέρω μετεγκαταστάσεις ειδικά για το περιβάλλον Synapse προέλευσης, καθώς και τα εργαλεία και τις διαδικασίες που υπάρχουν για να σας βοηθήσουν.

Φιλοδώρημα

Δημιουργήστε μια απογραφή των αντικειμένων που πρέπει να μετεγκατασταθούν και καταγράψτε τη διαδικασία μετεγκατάστασης από την αρχή μέχρι το τέλος, ώστε να μπορεί να επαναληφθεί για άλλους αποκλειστικούς χώρους συγκέντρωσης SQL ή φόρτους εργασίας.

Ο όγκος των μετεγκατεσταμένων δεδομένων σε μια αρχική μετεγκατάσταση θα πρέπει να είναι αρκετά μεγάλος ώστε να δείχνει τις δυνατότητες και τα οφέλη του περιβάλλοντος Fabric Warehouse, αλλά όχι πολύ μεγάλος για να δείχνει γρήγορα την τιμή. Ένα μέγεθος στην περιοχή 1-10 terabyte είναι τυπικό.

Μετεγκατάσταση με το Fabric Data Factory

Σε αυτή την ενότητα, εξετάζουμε τις επιλογές χρήσης του Data Factory για την προσωπικότητα με λίγο κώδικα/καθόλου κώδικα που είναι εξοικειωμένες με το Azure Data Factory και τη Διοχέτευση Synapse. Αυτή η επιλογή μεταφοράς και απόθεσης περιβάλλοντος εργασίας χρήστη παρέχει ένα απλό βήμα για τη μετατροπή της DDL και τη μετεγκατάσταση των δεδομένων.

Το Fabric Data Factory μπορεί να εκτελέσει τις ακόλουθες εργασίες:

Μετατρέψτε το σχήμα (DDL) σε σύνταξη Fabric Warehouse.
Δημιουργήστε το σχήμα (DDL) στην Αποθήκη Fabric.
Μετεγκαταστήστε τα δεδομένα στην Αποθήκη Fabric.

Επιλογή 1. Σχήμα/Μετεγκατάσταση δεδομένων - Οδηγός αντιγραφής και δραστηριότητα αντιγραφής ForEach

Αυτή η μέθοδος χρησιμοποιεί τον Βοηθό αντιγραφής του Data Factory για να συνδεθεί στον αποκλειστικό χώρο συγκέντρωσης SQL προέλευσης, να μετατρέψει την αποκλειστική σύνταξη DDL του χώρου συγκέντρωσης SQL σε Fabric και να αντιγράψει δεδομένα στην Αποθήκη Fabric. Μπορείτε να επιλέξετε 1 ή περισσότερους πίνακες προορισμού (για το σύνολο δεδομένων TPC-DS υπάρχουν 22 πίνακες). Δημιουργεί το ForEach για κυκλική μετάβαση στη λίστα πινάκων που έχουν επιλεγεί στο περιβάλλον εργασίας χρήστη και δημιουργεί 22 νήματα παράλληλης αντιγραφής δραστηριότητας.

22 Η SELECT ερωτημάτων (ένα για κάθε επιλεγμένο πίνακα) δημιουργήθηκε και εκτελέστηκε στον αποκλειστικό χώρο συγκέντρωσης SQL.
Βεβαιωθείτε ότι έχετε την κατάλληλη DWU και κλάση πόρων για να επιτρέψετε την εκτέλεση των ερωτημάτων που δημιουργήθηκαν. Για αυτήν την περίπτωση, χρειάζεστε τουλάχιστον DWU1000 για staticrc10 να επιτρέψετε σε 32 ερωτήματα το πολύ τον χειρισμό 22 ερωτημάτων που υποβάλλονται.
Η απευθείας αντιγραφή δεδομένων από το αποκλειστικό SQL pool στην Αποθήκη Fabric απαιτεί προεργασία. Η διαδικασία πρόσληψης αποτελείται από δύο φάσεις.
- Η πρώτη φάση αποτελείται από την εξαγωγή των δεδομένων από τον αποκλειστικό χώρο συγκέντρωσης SQL στο ADLS και αναφέρεται ως προεργασία.
- Η δεύτερη φάση αποτελείται από την πρόσληψη δεδομένων από την προεργασία στην Αποθήκη Fabric. Οι περισσότεροι χρόνοι πρόσληψης δεδομένων βρίσκονται στη φάση προεργασίας. Συνοπτικά, η προετοιμασία έχει τεράστιο αντίκτυπο στις επιδόσεις πρόσληψης.

Συνιστώμενη χρήση

Η χρήση του Οδηγού αντιγραφής για τη δημιουργία ενός ForEach παρέχει απλό περιβάλλον εργασίας χρήστη για τη μετατροπή DDL και την πρόσληψη των επιλεγμένων πινάκων από τον αποκλειστικό χώρο συγκέντρωσης SQL στην Αποθήκη Fabric σε ένα βήμα.

Ωστόσο, δεν είναι βέλτιστη με τη συνολική ταχύτητα μετάδοσης. Η απαίτηση για χρήση προεργασίας, η ανάγκη παραλληλισμού της ανάγνωσης και εγγραφής για το βήμα "Προέλευση σε στάδιο" είναι οι κύριοι παράγοντες για τον λανθάνοντα χρόνος επιδόσεων. Συνιστάται να χρησιμοποιήσετε αυτή την επιλογή μόνο για πίνακες διαστάσεων.

Επιλογή 2. Μετεγκατάσταση DDL/Δεδομένων - Η διοχέτευση δεδομένων με χρήση της επιλογής διαμερίσματος

Για να αντιμετωπίσετε τη βελτίωση της ταχύτητας φόρτωσης μεγαλύτερων πινάκων δεδομένων χρησιμοποιώντας τη διοχέτευση δεδομένων Fabric, συνιστάται να χρησιμοποιήσετε την Αντιγραφή δραστηριότητας για κάθε πίνακα δεδομένων με επιλογή διαμερίσματος. Αυτό παρέχει τις καλύτερες επιδόσεις με αντιγραφή δραστηριότητας.

Έχετε την επιλογή να χρησιμοποιήσετε τον φυσικό διαμερισμό του πίνακα προέλευσης, εάν υπάρχει. Εάν ο πίνακας δεν διαθέτει φυσικό διαμερισμό, πρέπει να καθορίσετε τη στήλη διαμερίσματος και να καταχωρήσετε ελάχιστες/μέγιστες τιμές για να χρησιμοποιήσετε δυναμικό διαμερισμό. Στο παρακάτω στιγμιότυπο οθόνης, οι επιλογές προέλευσης διοχέτευσης δεδομένων καθορίζουν μια δυναμική περιοχή διαμερισμάτων με βάση τη ws_sold_date_sk στήλη.

Στιγμιότυπο οθόνης μιας διοχέτευσης δεδομένων, που απεικονίζει την επιλογή καθορισμού του πρωτεύοντος κλειδιού ή την ημερομηνία για τη στήλη δυναμικού διαμερίσματος.

Παρόλο που η χρήση του διαμερίσματος μπορεί να αυξήσει την ταχύτητα μετάδοσης με τη φάση προεργασίας, υπάρχουν ζητήματα για να κάνετε τις κατάλληλες προσαρμογές:

Ανάλογα με την περιοχή διαμερίσματος, μπορεί πιθανώς να χρησιμοποιεί όλες τις θέσεις ταυτόχρονης εκτέλεσης, καθώς μπορεί να δημιουργήσει πάνω από 128 ερωτήματα στον αποκλειστικό χώρο συγκέντρωσης SQL.
Πρέπει να αλλάξετε την κλίμακα σε τουλάχιστον DWU6000 για να επιτρέψετε την εκτέλεση όλων των ερωτημάτων.
Για παράδειγμα, για τον πίνακα TPC-DS web_sales , υποβλήθηκαν 163 ερωτήματα στον αποκλειστικό χώρο συγκέντρωσης SQL. Κατά τη DWU6000, εκτελέστηκαν 128 ερωτήματα, ενώ 35 ερωτήματα τοποθετήθηκαν σε ουρά.
Το δυναμικό διαμέρισμα επιλέγει αυτόματα το διαμέρισμα περιοχής. Σε αυτή την περίπτωση, ένα εύρος 11 ημερών για κάθε ερώτημα SELECT που υποβλήθηκε στον αποκλειστικό χώρο συγκέντρωσης SQL. Για παράδειγμα:
```
WHERE [ws_sold_date_sk] > '2451069' AND [ws_sold_date_sk] <= '2451080')
...
WHERE [ws_sold_date_sk] > '2451333' AND [ws_sold_date_sk] <= '2451344')
```

Συνιστώμενη χρήση

Για τους πίνακες δεδομένων, συνιστάται η χρήση του Data Factory με επιλογή διαμερίσματος για την αύξηση της ταχύτητας μετάδοσης.

Ωστόσο, οι αυξημένες παράλληλες αναγνώσεις απαιτούν αποκλειστικό χώρο συγκέντρωσης SQL για κλιμάκωση σε υψηλότερο DWU για να επιτραπεί η εκτέλεση των ερωτημάτων εξαγωγής. Αξιοποιώντας τον διαμερισμό, ο ρυθμός βελτιώνεται 10x χωρίς επιλογή διαμερίσματος. Θα μπορούσατε να αυξήσετε τη DWU για να λάβετε επιπλέον ταχύτητα μετάδοσης μέσω υπολογιστικών πόρων, αλλά ο αποκλειστικός χώρος συγκέντρωσης SQL έχει μέγιστο όριο 128 ενεργών ερωτημάτων.

Σημείωμα

Για περισσότερες πληροφορίες σχετικά με την αντιστοίχιση Synapse DWU σε Fabric, ανατρέξτε στο θέμα Ιστολόγιο: Αντιστοίχιση αποκλειστικών χώρων συγκέντρωσης SQL Azure Synapse σε υπολογιστική αποθήκης δεδομένων Fabric.

Επιλογή 3. Μετεγκατάσταση DDL - Αντιγραφή οδηγού ForEach Copy Activity

Οι δύο προηγούμενες επιλογές είναι εξαιρετικές επιλογές μετεγκατάστασης δεδομένων για μικρότερες βάσεις δεδομένων. Ωστόσο, εάν χρειάζεστε υψηλότερη ταχύτητα μετάδοσης, προτείνουμε μια εναλλακτική επιλογή:

Εξαγάγετε τα δεδομένα από τον αποκλειστικό χώρο συγκέντρωσης SQL στο ADLS, με αποτέλεσμα να μην μπορείτε να αποκομίσετε έξοδα επιδόσεων σταδίου.
Χρησιμοποιήστε είτε το Data Factory είτε την εντολή COPY για την πρόσληψη των δεδομένων στην Αποθήκη Fabric.

Συνιστώμενη χρήση

Μπορείτε να συνεχίσετε να χρησιμοποιείτε το Data Factory για να μετατρέψετε το σχήμα (DDL). Χρησιμοποιώντας τον Οδηγό αντιγραφής, μπορείτε να επιλέξετε τον συγκεκριμένο πίνακα ή Όλους τους πίνακες. Βάσει σχεδίασης, αυτό μετεγκαταστεί το σχήμα και τα δεδομένα σε ένα βήμα, εξάγοντας το σχήμα χωρίς γραμμές, χρησιμοποιώντας τη συνθήκη false, TOP 0 στην πρόταση ερωτήματος.

Το ακόλουθο δείγμα κώδικα καλύπτει τη μετεγκατάσταση σχήματος (DDL) με το Data Factory.

Παράδειγμα κώδικα: Μετεγκατάσταση σχήματος (DDL) με το Data Factory

Μπορείτε να χρησιμοποιήσετε τις διοχετεύσεις δεδομένων Fabric για εύκολη μετεγκατάσταση μέσω του DDL (σχήματα) για αντικείμενα πίνακα από οποιαδήποτε βάση δεδομένων SQL προέλευσης ή αποκλειστικό χώρο συγκέντρωσης SQL. Αυτή η διοχέτευση δεδομένων μετεγκαταστάεται μέσω του σχήματος (DDL) για τους αποκλειστικούς πίνακες χώρου συγκέντρωσης SQL προέλευσης στην Αποθήκη Fabric.

Στιγμιότυπο οθόνης από το Fabric Data Factory που εμφανίζει ένα αντικείμενο αναζήτησης που οδηγεί σε ένα για κάθε αντικείμενο. Μέσα στο αντικείμενο For Each, υπάρχουν δραστηριότητες για μετεγκατάσταση DDL.

Σχεδίαση διοχέτευσης: παράμετροι

Αυτή η διοχέτευση δεδομένων αποδέχεται μια παράμετρο SchemaName, η οποία σας επιτρέπει να καθορίσετε ποια σχήματα θα μετεγκατασταθούν. Το dbo σχήμα είναι η προεπιλογή.

Στο πεδίο Προεπιλεγμένη τιμή, εισαγάγετε μια λίστα διαχωρισμένων με κόμματα του σχήματος πίνακα που υποδεικνύει ποια σχήματα θα μετεγκαταστήσετε: 'dbo','tpch' για να παρέχετε δύο σχήματα dbo και tpch.

Στιγμιότυπο οθόνης από το Data Factory που εμφανίζει την καρτέλα Παράμετροι μιας διοχέτευσης δεδομένων. Στο πεδίο Όνομα,

Σχεδίαση διοχέτευσης: Δραστηριότητα αναζήτησης

Δημιουργήστε μια Δραστηριότητα αναζήτησης και ορίστε τη Σύνδεση ώστε να παραπέμπει στη βάση δεδομένων προέλευσης.

Στην καρτέλα Ρυθμίσεις:

Ορίστε τον Τύπο χώρου αποθήκευσης δεδομένων σε Εξωτερικό.
Η σύνδεση είναι ο αποκλειστικός χώρος συγκέντρωσης SQL Azure Synapse. Ο τύπος σύνδεσης είναι Azure Synapse Analytics.
Η χρήση του ερωτήματος έχει οριστεί σε Ερώτημα.
Το πεδίο Ερώτημα πρέπει να δημιουργηθεί χρησιμοποιώντας μια δυναμική παράσταση, επιτρέποντας στην παράμετρο SchemaName να χρησιμοποιηθεί σε ένα ερώτημα που επιστρέφει μια λίστα πινάκων προέλευσης προορισμού. Επιλέξτε Ερώτημα και, στη συνέχεια, επιλέξτε Προσθήκη δυναμικού περιεχομένου.

Αυτή η παράσταση εντός της δραστηριότητας LookUp δημιουργεί μια πρόταση SQL για την υποβολή ερωτήματος στις προβολές συστήματος για την ανάκτηση μιας λίστας σχημάτων και πινάκων. Αναφέρεται στην παράμετρο SchemaName για να επιτρέψει το φιλτράρισμα σε σχήματα SQL. Το αποτέλεσμα αυτού είναι ένας πίνακας σχήματος SQL και πίνακες που θα χρησιμοποιηθούν ως δεδομένα εισόδου στη Δραστηριότητα ForEach.

Χρησιμοποιήστε τον παρακάτω κώδικα για να επιστρέψετε μια λίστα με όλους τους πίνακες χρηστών με το όνομα σχήματος.
```
@concat('
SELECT s.name AS SchemaName,
t.name  AS TableName
FROM sys.tables AS t
INNER JOIN sys.schemas AS s
ON t.type = ''U''
AND s.schema_id = t.schema_id
AND s.name in (',coalesce(pipeline().parameters.SchemaName, 'dbo'),')
')
```

Στιγμιότυπο οθόνης από το Data Factory που εμφανίζει την καρτέλα Ρυθμίσεις μιας διοχέτευσης δεδομένων. Επιλέγεται το κουμπί

Σχεδίαση διοχέτευσης: Βρόχος ForEach

Για το βρόχο ForEach, ρυθμίστε τις παραμέτρους των παρακάτω επιλογών στην καρτέλα Ρυθμίσεις:

Απενεργοποιήστε τη Διαδοχική για να επιτρέψετε την ταυτόχρονη εκτέλεση πολλαπλών διαδοχικών γραμμών.
Ορίστε το Batch count σε 50, περιορίζοντας τον μέγιστο αριθμό ταυτόχρονων επαναλήψεων.
Το πεδίο Στοιχεία πρέπει να χρησιμοποιεί δυναμικό περιεχόμενο για αναφορά στην έξοδο της δραστηριότητας LookUp. Χρησιμοποιήστε το ακόλουθο τμήμα κώδικα: @activity('Get List of Source Objects').output.value

Στιγμιότυπο οθόνης που εμφανίζει την καρτέλα Ρυθμίσεων δραστηριότητας βρόχου ForEach.

Σχεδίαση διοχέτευσης: Αντιγραφή δραστηριότητας εντός του βρόχου ForEach

Μέσα στη Δραστηριότητα ForEach, προσθέστε ένα Αντίγραφο δραστηριότητας. Αυτή η μέθοδος χρησιμοποιεί τη γλώσσα δυναμικής παράστασης εντός των διοχετεύσεων δεδομένων για να δημιουργήσει ένα SELECT TOP 0 * FROM <TABLE> για τη μετεγκατάσταση μόνο του σχήματος χωρίς δεδομένα σε μια Αποθήκη Fabric.

Στην καρτέλα Προέλευση:

Ορίστε τον Τύπο χώρου αποθήκευσης δεδομένων σε Εξωτερικό.
Η σύνδεση είναι ο αποκλειστικός χώρος συγκέντρωσης SQL Azure Synapse. Ο τύπος σύνδεσης είναι Azure Synapse Analytics.
Ορίστε τη Χρήση ερωτήματος σε Ερώτημα.
Στο πεδίο Ερώτημα, επικολλήστε το ερώτημα δυναμικού περιεχομένου και χρησιμοποιήστε αυτή την παράσταση που θα επιστρέψει μηδέν γραμμές, μόνο το σχήμα πίνακα:@concat('SELECT TOP 0 * FROM ',item().SchemaName,'.',item().TableName)

Στην καρτέλα Προορισμός:

Ορίστε τον Τύπο χώρου αποθήκευσης δεδομένων σε Χώρος εργασίας.
Ο τύπος χώρου αποθήκευσης δεδομένων χώρου εργασίας είναι Αποθήκη δεδομένων και η Αποθήκη δεδομένων ορίζεται στην Αποθήκη Fabric.
Το σχήμα του πίνακα προορισμού και το όνομα πίνακα ορίζονται με χρήση δυναμικού περιεχομένου.
- Το σχήμα αναφέρεται στο πεδίο της τρέχουσας επανάληψης, SchemaName με το τμήμα κώδικα: @item().SchemaName
- Ο Πίνακας κάνει αναφορά στο TableName με το τμήμα κώδικα: @item().TableName

Σχεδίαση διοχέτευσης: Νιπτήρας

Στο πεδίο Sink, τοποθετήστε τον δείκτη του ποντικιού στην Αποθήκη σας και αναφέρετε το Σχήμα προέλευσης και το Όνομα πίνακα.

Αφού εκτελέσετε αυτήν τη διοχέτευση, θα δείτε την Αποθήκη δεδομένων συμπληρωμένη με κάθε πίνακα στην προέλευσή σας, με το κατάλληλο σχήμα.

Μετεγκατάσταση με χρήση αποθηκευμένων διαδικασιών στον αποκλειστικό χώρο συγκέντρωσης SQL Synapse

Αυτή η επιλογή χρησιμοποιεί αποθηκευμένες διαδικασίες για την εκτέλεση της Μετεγκατάστασης Fabric.

Μπορείτε να λάβετε τα δείγματα κώδικα στη μετεγκατάσταση Microsoft/fabric σε GitHub.com. Αυτός ο κώδικας χρησιμοποιείται από κοινού ως ανοιχτός κώδικας, επομένως μην διστάσετε να συμβάλλετε στη συνεργασία και την βοήθεια της κοινότητας.

Τι μπορούν να κάνουν οι αποθηκευμένες διαδικασίες μετεγκατάστασης:

Μετατρέψτε το σχήμα (DDL) σε σύνταξη Fabric Warehouse.
Δημιουργήστε το σχήμα (DDL) στην Αποθήκη Fabric.
Εξαγάγετε δεδομένα από τον αποκλειστικό χώρο συγκέντρωσης SQL Synapse στο ADLS.
Επισημάνετε τη μη υποστηριζόμενη σύνταξη Fabric για κωδικούς T-SQL (αποθηκευμένες διαδικασίες, συναρτήσεις, προβολές).

Συνιστώμενη χρήση

Αυτή είναι μια εξαιρετική επιλογή για όσους:

Είναι εξοικειωμένοι με το T-SQL.
Θέλετε να χρησιμοποιήσετε ένα ενσωματωμένο περιβάλλον ανάπτυξης, όπως το SQL Server Management Studio (SSMS).
Θέλετε πιο λεπτομερή έλεγχο των εργασιών στις οποίες θέλουν να εργαστούν.

Μπορείτε να εκτελέσετε τη συγκεκριμένη αποθηκευμένη διαδικασία για τη μετατροπή σχήματος (DDL), την εξαγωγή δεδομένων ή την αξιολόγηση κώδικα T-SQL.

Για τη μετεγκατάσταση δεδομένων, θα πρέπει να χρησιμοποιήσετε είτε ΤΗΝ COPY INTO, είτε το Data Factory για την πρόσληψη των δεδομένων στην Αποθήκη Fabric.

Μετεγκατάσταση με χρήση έργων βάσης δεδομένων SQL

Η Αποθήκη δεδομένων Microsoft Fabric υποστηρίζεται στην επέκταση έργα βάσης δεδομένων SQL που διατίθεται εντός του Azure Data Studio και του Visual Studio Code.

Αυτή η επέκταση είναι διαθέσιμη στο Azure Data Studio και στον Κώδικα Visual Studio. Αυτή η δυνατότητα επιτρέπει δυνατότητες για τον έλεγχο προέλευσης, τις δοκιμές βάσεων δεδομένων και την επικύρωση σχήματος.

Για περισσότερες πληροφορίες σχετικά με τον έλεγχο προέλευσης για αποθήκες στο Microsoft Fabric, συμπεριλαμβανομένων των διοχετεύσεων ενοποίησης και ανάπτυξης του Git, ανατρέξτε στο θέμα Έλεγχος προέλευσης με την Αποθήκη.

Συνιστώμενη χρήση

Αυτή είναι μια εξαιρετική επιλογή για εκείνους που προτιμούν να χρησιμοποιούν το έργο βάσης δεδομένων SQL για την ανάπτυξή τους. Αυτή η επιλογή ουσιαστικά ενσωμάτωνε τις αποθηκευμένες διαδικασίες μετεγκατάστασης Fabric στο έργο βάσης δεδομένων SQL για την παροχή μιας απρόσκοπτης εμπειρίας μετεγκατάστασης.

Ένα έργο βάσης δεδομένων SQL μπορεί να:

Μετατρέψτε το σχήμα (DDL) σε σύνταξη Fabric Warehouse.
Δημιουργήστε το σχήμα (DDL) στην Αποθήκη Fabric.
Εξαγάγετε δεδομένα από τον αποκλειστικό χώρο συγκέντρωσης SQL Synapse στο ADLS.
Επισημάνετε τη μη υποστηριζόμενη σύνταξη για κωδικούς T-SQL (αποθηκευμένες διαδικασίες, συναρτήσεις, προβολές).

Για τη μετεγκατάσταση δεδομένων, θα χρησιμοποιήσετε είτε ΤΗΝ COPY INTO, είτε το Data Factory για την πρόσληψη των δεδομένων στην Αποθήκη Fabric.

Προσθέτοντας στη δυνατότητα υποστήριξης του Azure Data Studio του Microsoft Fabric, η ομάδα CAT Microsoft Fabric παρέχει ένα σύνολο δεσμών ενεργειών PowerShell για τον χειρισμό της εξαγωγής, δημιουργίας και ανάπτυξης του σχήματος (DDL) και του κώδικα βάσης δεδομένων (DML) μέσω ενός έργου βάσης δεδομένων SQL. Για μια αναλυτική παρουσίαση της χρήσης του έργου βάσης δεδομένων SQL με τις χρήσιμες δέσμες ενεργειών του PowerShell, ανατρέξτε στο θέμα μετεγκατάσταση microsoft/fabric σε GitHub.com.

Για περισσότερες πληροφορίες σχετικά με τα έργα βάσης δεδομένων SQL, ανατρέξτε στο θέμα Γρήγορα αποτελέσματα με την επέκταση Έργα βάσης δεδομένων SQL και Δημιουργία και Δημοσίευση ενός έργου.

Μετεγκατάσταση δεδομένων με CETAS

Η εντολή T-SQL CREATE EXTERNAL TABLE AS SELECT (CETAS) παρέχει την πιο οικονομική και βέλτιστη μέθοδο για την εξαγωγή δεδομένων από αποκλειστικούς χώρους συγκέντρωσης SQL Synapse στο Azure Data Lake Storage (ADLS) Gen2.

Τι μπορεί να κάνει ο CETAS:

Εξαγωγή δεδομένων στο ADLS.
- Αυτή η επιλογή απαιτεί από τους χρήστες να δημιουργήσουν το σχήμα (DDL) στην Αποθήκη Fabric πριν από την πρόσληψη των δεδομένων. Εξετάστε τις επιλογές σε αυτό το άρθρο για τη μετεγκατάσταση του σχήματος (DDL).

Τα πλεονεκτήματα αυτής της επιλογής είναι:

Μόνο ένα ερώτημα ανά πίνακα υποβάλλεται στον αποκλειστικό χώρο συγκέντρωσης SQL Synapse προέλευσης. Αυτό δεν θα χρησιμοποιήσει όλες τις θέσεις ταυτόχρονης εκτέλεσης και, επομένως, δεν θα αποκλείει την ταυτόχρονη παραγωγή ETL/ερωτημάτων πελατών.
Δεν απαιτείται κλιμάκωση σε DWU6000, καθώς χρησιμοποιείται μόνο μία υποδοχή ταυτόχρονης εκτέλεσης για κάθε πίνακα, ώστε οι πελάτες να μπορούν να χρησιμοποιήσουν χαμηλότερα DWUs.
Το εξαγωγή εκτελείται παράλληλα σε όλους τους κόμβους υπολογιστικής λειτουργίας και αυτό είναι το κλειδί για τη βελτίωση των επιδόσεων.

Συνιστώμενη χρήση

Χρησιμοποιήστε το CETAS για να εξαγάγετε τα δεδομένα στο ADLS ως αρχεία Parquet. Τα αρχεία Parquet παρέχουν το πλεονέκτημα της αποτελεσματικής αποθήκευσης δεδομένων με συμπίεση σε στήλες που θα χρειαστούν λιγότερο εύρος ζώνης για να μετακινηθούν στο δίκτυο. Επιπλέον, δεδομένου ότι το Fabric αποθήκευσε τα δεδομένα ως μορφή parquet Delta, η πρόσληψη δεδομένων θα είναι 2,5x ταχύτερη σε σύγκριση με τη μορφή αρχείου κειμένου, καθώς δεν υπάρχει μετατροπή στη επιβάρυνση μορφής Delta κατά την πρόσληψη.

Για να αυξήσετε την ταχύτητα μετάδοσης CETAS:

Προσθέστε παράλληλες λειτουργίες CETAS, αυξάνοντας τη χρήση των κουλοχέρηδων ταυτόχρονης εκτέλεσης, επιτρέποντας όμως μεγαλύτερη ταχύτητα μετάδοσης.
Αλλάξτε την κλίμακα του DWU στον αποκλειστικό χώρο συγκέντρωσης SQL Synapse.

Μετεγκατάσταση μέσω βάσης δεδομένων

Σε αυτή την ενότητα, θα συζητήσουμε για την επιλογή dbt για τους πελάτες που χρησιμοποιούν ήδη τη βάση δεδομένων στο τρέχον περιβάλλον του αποκλειστικού χώρου συγκέντρωσης SQL Synapse.

Τι μπορεί να κάνει η dbt:

Μετατρέψτε το σχήμα (DDL) σε σύνταξη Fabric Warehouse.
Δημιουργήστε το σχήμα (DDL) στην Αποθήκη Fabric.
Μετατρέψτε τον κώδικα βάσης δεδομένων (DML) σε σύνταξη Fabric.

Το πλαίσιο dbt δημιουργεί δυναμικά DDL και DML (δέσμες ενεργειών SQL) με κάθε εκτέλεση. Με τα αρχεία μοντέλου εκφρασμένα σε προτάσεις SELECT, το DDL/DML μπορεί να μεταφραστεί αμέσως σε οποιαδήποτε πλατφόρμα προορισμού, αλλάζοντας το προφίλ (συμβολοσειρά σύνδεσης) και τον τύπο του προσαρμογέα.

Συνιστώμενη χρήση

Το πλαίσιο dbt είναι μια προσέγγιση που βασίζεται στον κώδικα. Τα δεδομένα πρέπει να μετεγκατασταθούν χρησιμοποιώντας επιλογές που αναφέρονται σε αυτό το έγγραφο, όπως CETAS ή COPY/Data Factory.

Ο προσαρμογέας dbt για την Αποθήκη δεδομένων Microsoft Fabric επιτρέπει στα υπάρχοντα έργα dbt που στόχευαν διαφορετικές πλατφόρμες, όπως οι αποκλειστικοί χώροι συγκέντρωσης Synapse, Snowflake, Databricks, Google Big Query ή Amazon Redshift, να μετεγκατασταθούν σε μια Αποθήκη Fabric με μια απλή αλλαγή ρύθμισης παραμέτρων.

Για να ξεκινήσετε με ένα έργο dbt που στοχεύει αποθήκη Fabric, ανατρέξτε στο εκπαιδευτικό βοήθημα: Ρύθμιση dbt για Fabric Data Warehouse. Αυτό το έγγραφο παραθέτει επίσης μια επιλογή για μετακίνηση μεταξύ διαφορετικών αποθηκών/πλατφορμών.

Πρόσληψη δεδομένων στην Αποθήκη Fabric

Για την πρόσληψη στο Fabric Warehouse, χρησιμοποιήστε ΤΗΝ COPY INTO ή το Fabric Data Factory, ανάλογα με τις προτιμήσεις σας. Και οι δύο μέθοδοι είναι οι προτεινόμενες και επιλογές με τις καλύτερες επιδόσεις, καθώς έχουν ισοδύναμη ταχύτητα μετάδοσης επιδόσεων, δεδομένης της προϋπόθεσης ότι τα αρχεία έχουν ήδη εξαχθεί στο Azure Data Lake Storage (ADLS) Gen2.

Διάφοροι παράγοντες που πρέπει να λάβετε υπόψη, ώστε να μπορείτε να σχεδιάσετε τη διαδικασία σας για μέγιστες επιδόσεις:

Με το Fabric, δεν υπάρχει κάποιος ισχυρισμός για πόρους κατά τη φόρτωση πολλών πινάκων από το ADLS στην Αποθήκη Fabric ταυτόχρονα. Κατά συνέπεια, δεν υπάρχει υποβάθμιση επιδόσεων κατά τη φόρτωση παράλληλων νημάτων. Η μέγιστη ταχύτητα πρόσληψης θα περιορίζεται μόνο από την υπολογιστική ισχύ των εκχωρημένων πόρων Fabric.
Η διαχείριση φόρτου εργασίας Fabric παρέχει διαχωρισμό των πόρων που έχουν εκχωρηθεί για φόρτωση και ερώτημα. Δεν υπάρχει ισχυρισμός για τους πόρους, ενώ τα ερωτήματα και η φόρτωση δεδομένων εκτελούνται ταυτόχρονα.

Κοινή χρήση μέσω

Μετεγκατάσταση: Αποκλειστικοί χώροι συγκέντρωσης SQL του Azure Synapse Analytics στο Fabric

Εισαγωγή μετεγκατάστασης

Προετοιμασία για μετεγκατάσταση

Runbook για μετεγκατάσταση