Οδηγίες απόδοσης αποθήκης δεδομένων Fabric
Ισχύει για:✅ Warehouse στο Microsoft Fabric
Αυτές είναι οδηγίες που θα σας βοηθήσουν να κατανοήσετε τις επιδόσεις της Αποθήκης σας στο Microsoft Fabric. Σε αυτό το άρθρο, θα βρείτε οδηγίες και σημαντικά άρθρα στα οποία θα εστιάσετε. Η Αποθήκη στο Microsoft Fabric είναι μια πλατφόρμα SaaS όπου η διαχείριση δραστηριοτήτων, όπως η διαχείριση φόρτου εργασίας, η ταυτόχρονη εκτέλεση και η διαχείριση χώρου αποθήκευσης ελέγχονται εσωτερικά από την πλατφόρμα. Εκτός από αυτήν την εσωτερική διαχείριση επιδόσεων, εξακολουθείτε να μπορείτε να βελτιώσετε τις επιδόσεις σας αναπτύσσοντας αποδοτικά ερωτήματα σε καλά σχεδιασμένες αποθήκες.
Επιδόσεις ψυχρής εκτέλεσης (cold cache)
Η προσωρινή αποθήκευση με τοπικό SSD και μνήμη είναι αυτόματη. Οι πρώτες 1-3 εκτελέσεις ενός ερωτήματος εκτελούνται αισθητά πιο αργά από τις επόμενες εκτελέσεις. Εάν αντιμετωπίζετε προβλήματα επιδόσεων ψυχρής εκτέλεσης, ακολουθούν μερικά πράγματα που μπορείτε να κάνετε που μπορούν να βελτιώσουν τις επιδόσεις σας όσον αφορά την ψυχρή εκτέλεση:
Εάν οι επιδόσεις της πρώτης εκτέλεσης είναι κρίσιμες, δοκιμάστε να δημιουργήσετε στατιστικά στοιχεία με μη αυτόματο τρόπο. Διαβάστε το άρθρο στατιστικών στοιχείων για να κατανοήσετε καλύτερα τον ρόλο των στατιστικών στοιχείων και για οδηγίες σχετικά με τον τρόπο δημιουργίας μη αυτόματων στατιστικών στοιχείων για τη βελτίωση της απόδοσης των ερωτημάτων σας. Ωστόσο, εάν οι επιδόσεις της πρώτης εκτέλεσης δεν είναι κρίσιμες, μπορείτε να βασιστείτε σε αυτόματα στατιστικά στοιχεία που θα δημιουργηθούν στο πρώτο ερώτημα και θα συνεχίσουν να αξιοποιούνται σε επόμενες εκτελέσεις (εφόσον τα υποκείμενα δεδομένα δεν αλλάζουν σημαντικά).
Εάν χρησιμοποιείτε το Power BI, χρησιμοποιήστε τη λειτουργία Direct Lake όπου είναι δυνατό.
Μετρικά για την παρακολούθηση απόδοσης
Προς το παρόν, το Κέντρο παρακολούθησης δεν περιλαμβάνει την Warehouse. Εάν επιλέξετε Αποθήκη δεδομένων, δεν θα μπορείτε να αποκτήσετε πρόσβαση στο Κέντρο παρακολούθησης από τη γραμμή περιήγησης.
Οι διαχειριστές fabric θα μπορούν να έχουν πρόσβαση στην αναφορά χρήσης εκχωρημένων πόρων και μετρικών για ενημερωμένες πληροφορίες που παρακολουθούν τη χρήση των εκχωρημένων πόρων που περιλαμβάνει την Αποθήκη.
Χρήση δυναμικών προβολών διαχείρισης (DMV) για την παρακολούθηση της εκτέλεσης ερωτημάτων
Μπορείτε να χρησιμοποιήσετε δυναμικές προβολές διαχείρισης (DMV) για να παρακολουθείτε την κατάσταση σύνδεσης, περιόδου λειτουργίας και αίτησης στην Αποθήκη.
Στατιστικές
Η Αποθήκη χρησιμοποιεί μια μηχανή ερωτημάτων για να δημιουργήσει ένα σχέδιο εκτέλεσης για ένα συγκεκριμένο ερώτημα SQL. Όταν υποβάλετε ένα ερώτημα, ο βελτιστοποιητής ερωτημάτων προσπαθεί να απαριθμήσει όλα τα πιθανά προγράμματα και να επιλέξει τον πιο αποτελεσματικό υποψήφιο. Για να προσδιοριστεί ποιο σχέδιο θα απαιτούσε τη μικρότερη επιβάρυνση, ο μηχανισμός πρέπει να είναι σε θέση να αξιολογήσει την ποσότητα εργασίας ή γραμμών που μπορεί να επεξεργαστεί κάθε τελεστής. Στη συνέχεια, με βάση το κόστος κάθε προγράμματος, επιλέγει εκείνο με το ελάχιστο ποσό εκτιμώμενης εργασίας. Τα στατιστικά στοιχεία είναι αντικείμενα που περιέχουν σχετικές πληροφορίες σχετικά με τα δεδομένα σας, για να επιτρέπεται στη βελτιστοποίηση ερωτημάτων να εκτιμήσει αυτό το κόστος.
Μπορείτε επίσης να ενημερώσετε με μη αυτόματο τρόπο τα στατιστικά στοιχεία μετά από κάθε φόρτωση δεδομένων ή ενημέρωση δεδομένων για να εξασφαλίσετε ότι μπορεί να δημιουργηθεί το καλύτερο σχέδιο ερωτήματος.
Για περισσότερα στατιστικά στοιχεία πληροφοριών και πώς μπορείτε να ενισχύσετε τα στατιστικά στοιχεία που δημιουργούνται αυτόματα, ανατρέξτε στο θέμα Στατιστικά στοιχεία στην αποθήκη δεδομένων Fabric.
Οδηγίες πρόσληψης δεδομένων
Υπάρχουν τέσσερις επιλογές για την πρόσληψη δεδομένων σε μια Αποθήκη:
- COPY (Transact-SQL)
- Διοχετεύσεις δεδομένων
- Ροές δεδομένων
- Πρόσληψη μεταξύ αποθηκών αποθήκης
Για να προσδιορίσετε ποια επιλογή είναι καλύτερη για εσάς και να εξετάσετε ορισμένες βέλτιστες πρακτικές πρόσληψης δεδομένων, εξετάστε τα δεδομένα πρόσληψης.
Ομαδοποίηση δηλώσεων ΕΙΣΑΓΩΓΉς σε δέσμες (αποφύγετε τις εισαγωγές ρυάκια)
Ένα εφάπαξ φορτίο σε έναν μικρό πίνακα με μια πρόταση ΕΙΣΑΓΩΓΉς, όπως φαίνεται στο παρακάτω παράδειγμα, μπορεί να είναι η καλύτερη προσέγγιση ανάλογα με τις ανάγκες σας. Ωστόσο, εάν θέλετε να φορτώσετε χιλιάδες ή εκατομμύρια γραμμές όλη την ημέρα, οι εισαγωγές μονής ρύθμισης δεν είναι ιδανικές.
INSERT INTO MyLookup VALUES (1, 'Type 1')
Για οδηγίες σχετικά με τον τρόπο χειρισμού αυτών των σεναρίων σχετικά με τη φόρτωση, ανατρέξτε στο θέμα Βέλτιστες πρακτικές για πρόσληψη δεδομένων.
Ελαχιστοποίηση μεγεθών συναλλαγών
Οι προτάσεις INSERT, UPDATE και DELETE εκτελούνται σε μια συναλλαγή. Όταν αποτυγχάνουν, πρέπει να επανέλθουν. Για να μειώσετε την πιθανότητα για μια μεγάλη επαναφορά, ελαχιστοποιήστε τα μεγέθη συναλλαγών όποτε αυτό είναι εφικτό. Η ελαχιστοποίηση των μεγεθών συναλλαγών μπορεί να γίνει διαιρώντας τις προτάσεις INSERT, UPDATE και DELETE σε τμήματα. Για παράδειγμα, εάν έχετε μια εισαγωγή που περιμένετε να διαρκέσει 1 ώρα, μπορείτε να χωρίσετε την εισαγωγή σε τέσσερα μέρη. Κάθε εκτέλεση, στη συνέχεια, θα συντομεύεται σε 15 λεπτά.
Εξετάστε τη χρήση CTAS (Transact-SQL) για την εγγραφή των δεδομένων που θέλετε να διατηρήσετε σε έναν πίνακα αντί να χρησιμοποιήσετε τη συνάρτηση DELETE. Εάν μια CTAS απαιτεί τον ίδιο χρόνο, είναι πιο ασφαλές να εκτελεστεί, καθώς διαθέτει ελάχιστη καταγραφή συναλλαγών και μπορεί να ακυρωθεί γρήγορα, εάν χρειαστεί.
Συνένωση εφαρμογών προγράμματος-πελάτη και Microsoft Fabric
Εάν χρησιμοποιείτε εφαρμογές-πελάτες, βεβαιωθείτε ότι χρησιμοποιείτε το Microsoft Fabric σε μια περιοχή που βρίσκεται κοντά στον υπολογιστή-πελάτη σας. Παραδείγματα εφαρμογών προγράμματος-πελάτη περιλαμβάνουν τα Power BI Desktop, SQL Server Management Studio και Azure Data Studio.
Χρήση σχεδίασης δεδομένων αστεροειδούς σχήματος
Ένα αστεροειδές σχήμα οργανώνει τα δεδομένα σε πίνακες δεδομένων και πίνακες διαστάσεων. Διευκολύνει την επεξεργασία ανάλυσης με την αποκανονικοποίηση των δεδομένων από συστήματα OLTP υψηλής κανονικοποίησης, την πρόσληψη δεδομένων συναλλαγών και εταιρικών κύριων δεδομένων σε μια κοινή, καθαρισμένη και επαληθευμένη δομή δεδομένων που ελαχιστοποιεί τους συνδέσμους κατά τον χρόνο ερωτήματος, μειώνει τον αριθμό των γραμμών που διαβάζονται και διευκολύνει τις συναθροίσεις και την ομαδοποίηση της επεξεργασίας.
Για περισσότερες οδηγίες σχεδίασης αποθήκης, ανατρέξτε στο θέμα Πίνακες σε αποθήκευση δεδομένων.
Μείωση μεγεθών συνόλου αποτελεσμάτων ερωτήματος
Η μείωση των μεγεθών συνόλου αποτελεσμάτων ερωτήματος σάς βοηθά να αποφύγετε προβλήματα στην πλευρά του προγράμματος-πελάτη που προκαλούνται από μεγάλα αποτελέσματα ερωτημάτων. Τα σύνολα αποτελεσμάτων του προγράμματος επεξεργασίας ερωτημάτων SQL περιορίζονται στις πρώτες 10.000 γραμμές για να αποφευχθούν αυτά τα προβλήματα σε αυτό το περιβάλλον εργασίας χρήστη που βασίζεται στο πρόγραμμα περιήγησης. Εάν θέλετε να επιστρέψετε περισσότερες από 10.000 γραμμές, χρησιμοποιήστε το SQL Server Management Studio (SSMS) ή το Azure Data Studio.
Επιλογή του βέλτιστου τύπου δεδομένων για επιδόσεις
Όταν ορίζετε τους πίνακές σας, χρησιμοποιήστε τον μικρότερο τύπο δεδομένων που υποστηρίζει τα δεδομένα σας ως προς αυτό, για να βελτιώσετε τις επιδόσεις των ερωτημάτων. Αυτή η πρόταση είναι σημαντική για τις στήλες CHAR και VARCHAR. Εάν η μεγαλύτερη τιμή σε μια στήλη είναι 25 χαρακτήρες, ορίστε τη στήλη σας ως VARCHAR(25). Αποφύγετε τον ορισμό όλων των στηλών χαρακτήρων με μεγάλο προεπιλεγμένο μήκος.
Χρησιμοποιήστε τύπους δεδομένων που βασίζονται σε ακέραιους, εάν είναι δυνατό. Οι λειτουργίες SORT, JOIN και GROUP BY ολοκληρώνονται ταχύτερα σε ακέραιους αριθμούς από ότι στα δεδομένα χαρακτήρων.
Για υποστηριζόμενους τύπους δεδομένων και περισσότερες πληροφορίες, ανατρέξτε στους τύπους δεδομένων.
Απόδοση τελικού σημείου ανάλυσης SQL
Για πληροφορίες και προτάσεις σχετικά με την απόδοση του τελικού σημείου ανάλυσης SQL, ανατρέξτε στο θέμα Ζητήματα απόδοσης τελικού σημείου ανάλυσης SQL.
Συμπύκνωση δεδομένων
Η συμπύκνωση δεδομένων ενοποιεί μικρότερα αρχεία Parquet σε λιγότερα, μεγαλύτερα αρχεία, τα οποία βελτιστοποιούν τις λειτουργίες ανάγνωσης. Αυτή η διαδικασία βοηθά επίσης στην αποτελεσματική διαχείριση διαγραμμένων γραμμών εξαλείφοντάς τις από αμετάβλητα αρχεία Parquet. Η διαδικασία συμπύκνωσης δεδομένων περιλαμβάνει την εκ νέου εγγραφή πινάκων ή τμημάτων πινάκων σε νέα αρχεία Parquet, τα οποία έχουν βελτιστοποιηθεί για απόδοση. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Ιστολόγιο: Αυτόματη συμπύκνωση δεδομένων για την Αποθήκη Fabric.
Η διαδικασία συμπύκνωσης δεδομένων ενσωματώνεται απρόσκοπτα στην αποθήκη. Καθώς εκτελούνται ερωτήματα, το σύστημα αναγνωρίζει πίνακες που θα μπορούσαν να επωφεληθούν από τη συμπύκνωση και εκτελεί τις απαραίτητες αξιολογήσεις. Δεν υπάρχει μη αυτόματος τρόπος ενεργοποίησης της συμπύκνωσης δεδομένων.