Χρόνος εκτέλεσης Fabric 1.1 (EOSA)
Το Microsoft Fabric Runtime είναι μια ενσωματωμένη πλατφόρμα Azure που βασίζεται στο Apache Spark, η οποία επιτρέπει την εκτέλεση και τη διαχείριση των εμπειριών διαχείρισης δεδομένων και επιστήμης δεδομένων στο Fabric. Αυτό το έγγραφο καλύπτει τα στοιχεία και τις εκδόσεις Του χρόνου εκτέλεσης Fabric 1.1.
Προειδοποίηση
Η ημερομηνία λήξης της ημερομηνίας υποστήριξης για την ώρα εκτέλεσης 1.1 ανακοινώθηκε στις 12 Ιουλίου 2024. Το runtime 1.1, με βάση το Apache Spark 3.3, θα καταργηθεί και θα απενεργοποιηθεί από τις 31 Μαρτίου 2025. Αναβαθμίστε τον χώρο εργασίας και τα περιβάλλοντά σας σε Runtime 1.2 ή Runtime 1.3. Για τον πλήρη κύκλο ζωής και τις πολιτικές υποστήριξης των ωρών εκτέλεσης Apache Spark στο Fabric, ανατρέξτε στο θέμα Κύκλος ζωής του Apache Spark runtimes στο Fabric.
Ο χρόνος εκτέλεσης Microsoft Fabric 1.1 είναι ένας από τους χρόνους εκτέλεσης που προσφέρονται στην πλατφόρμα Microsoft Fabric. Τα κύρια στοιχεία του Χρόνου εκτέλεσης 1.1 είναι τα εξής:
- Apache Spark 3.3
- Λειτουργικό σύστημα: Ubuntu 18.04
- Java: 1.8.0_282
- Σκάλα: 2.12.15
- Python: 3.10
- Delta Lake: 2.2
- R: 4.2.2
Φιλοδώρημα
Να χρησιμοποιείτε πάντα την πιο πρόσφατη έκδοση χρόνου εκτέλεσης GA για τον φόρτο εργασίας παραγωγής σας, ο οποίος αυτήν τη στιγμή είναι ο Χρόνος εκτέλεσης 1.3.
Το Microsoft Fabric Runtime 1.1 συνοδεύεται από μια συλλογή από πακέτα προεπιλεγμένου επιπέδου, συμπεριλαμβανομένης μιας πλήρους εγκατάστασης Anaconda και βιβλιοθηκών που χρησιμοποιούνται συχνά για Java/Scala, Python και R. Αυτές οι βιβλιοθήκες περιλαμβάνονται αυτόματα κατά τη χρήση σημειωματάριων ή εργασιών στην πλατφόρμα Microsoft Fabric. Ανατρέξτε στην τεκμηρίωση για μια πλήρη λίστα βιβλιοθηκών.
Το Microsoft Fabric κυκλοφορεί περιοδικά ενημερώσεις συντήρησης για τον χρόνο εκτέλεσης 1.1, παρέχοντας επιδιορθώσεις σφαλμάτων, βελτιώσεις επιδόσεων και ενημερώσεις κώδικα ασφαλείας. Η διασφάλιση ότι παραμένετε ενημερωμένοι με αυτές τις ενημερώσεις εγγυάται τη βέλτιστη απόδοση και αξιοπιστία για τις εργασίες επεξεργασίας δεδομένων σας. Εάν χρησιμοποιείτε αυτήν τη στιγμή τον Χρόνο εκτέλεσης 1.1, μπορείτε να κάνετε αναβάθμιση σε Χρόνος εκτέλεσης 1.3 ή σε Χρόνος εκτέλεσης 1.2 μεταβαίνοντας στην περιοχή Ρυθμίσεις > χώρου εργασίας Διαχείριση δεδομένων / Περιβάλλον ρυθμίσεων Spark επιστήμης > > .
Νέες δυνατότητες και βελτιώσεις - Apache Spark 3.3.1
Διαβάστε την πλήρη έκδοση των σημειώσεων έκδοσης για μια συγκεκριμένη έκδοση του Apache Spark, μεταβαίνοντας στις εκδόσεις Spark 3.3.0 και Spark 3.3.1.
Νέες δυνατότητες και βελτιώσεις - Delta Lake 2.2
Ελέγξτε την προέλευση και τις πλήρεις σημειώσεις έκδοσης στο Delta Lake 2.2.0.
Πακέτα προεπιλεγμένου επιπέδου για Java/Scala
Για μια λίστα με όλα τα πακέτα προεπιλεγμένου επιπέδου για Java, Scala, Python και τις αντίστοιχες εκδόσεις τους, δείτε τις σημειώσεις έκδοσης.
Μετεγκατάσταση μεταξύ διαφορετικών εκδόσεων Apache Spark
Η μετεγκατάσταση των φόρτων εργασίας σας στον χρόνο εκτέλεσης Fabric 1.1 (Apache Spark 3.3) από μια παλαιότερη έκδοση του Apache Spark περιλαμβάνει μια σειρά βημάτων για την εξασφάλιση μιας ομαλής μετεγκατάστασης. Αυτός ο οδηγός περιγράφει τα απαραίτητα βήματα για να σας βοηθήσει να μετεγκαταστήσετε αποτελεσματικά και αποτελεσματικά.
Διαβάστε τις σημειώσεις έκδοσης του Fabric Runtime 1.1, συμπεριλαμβανομένου του ελέγχου των στοιχείων και των πακέτων προεπιλεγμένου επιπέδου που περιλαμβάνονται στον χρόνο εκτέλεσης, για να κατανοήσετε τις νέες δυνατότητες και βελτιώσεις.
Ελέγξτε τη συμβατότητα της τρέχουσας ρύθμισης και όλων των σχετικών βιβλιοθηκών, συμπεριλαμβανομένων των εξαρτήσεων και ενοποιήσεων. Εξετάστε τους οδηγούς μετεγκατάστασης για να εντοπίσετε πιθανές νέες αλλαγές:
- Διαβάστε τον οδηγό μετεγκατάστασης Spark Core.
- Εξετάστε τον οδηγό μετεγκατάστασης SQL, Συνόλων δεδομένων και DataFrame.
- Εάν η λύση σας σχετίζεται με τη ροή δομής Apache Spark, εξετάστε τον Οδηγό μετεγκατάστασης δομημένη ροής.
- Εάν χρησιμοποιείτε το PySpark, διαβάστε τον οδηγό μετεγκατάστασης στο Pyspark.
- Εάν μετεγκαταστήσετε κώδικα από το Κοάλας στο PySpark, εξετάστε το API Koalas στο pandas στον οδηγό μετεγκατάστασης Spark.
Μετακινήστε τους φόρτους εργασίας σας στο Fabric και βεβαιωθείτε ότι έχετε αντίγραφα ασφαλείας των δεδομένων σας και των αρχείων ρύθμισης παραμέτρων σε περίπτωση που χρειαστεί να επαναφέρετε την προηγούμενη έκδοση.
Ενημερώστε τυχόν εξαρτήσεις που μπορεί να επηρεάσουν η νέα έκδοση του Apache Spark ή άλλων σχετικών στοιχείων του Fabric Runtime 1.1, συμπεριλαμβανομένων βιβλιοθηκών τρίτων ή συνδέσεων. Βεβαιωθείτε ότι έχετε δοκιμάσει τις ενημερωμένες εξαρτήσεις σε ένα περιβάλλον προεργασίας πριν από την ανάπτυξη στην παραγωγή.
Ενημερώστε τη ρύθμιση παραμέτρων Apache Spark στον φόρτο εργασίας σας, συμπεριλαμβανομένης της ενημέρωσης ρυθμίσεων παραμέτρων, της ρύθμισης παραμέτρων, της ρύθμισης εκχωρήσεων μνήμης και της τροποποίησης τυχόν υπό απόσυρση ρυθμίσεων παραμέτρων.
Τροποποιήστε τις εφαρμογές σας Apache Spark (σημειωματάρια και ορισμούς εργασίας Apache Spark) για να χρησιμοποιήσετε τα νέα API και δυνατότητες που παρουσιάζονται στους χρόνους εκτέλεσης Fabric 1.1 και Apache Spark 3.3. Ίσως χρειαστεί να ενημερώσετε τον κώδικά σας για να χρησιμοποιήσετε τυχόν υπό απόσυρση ή κατάργηση API και να επανασχεδιάσετε τις εφαρμογές σας για να επωφεληθείτε από βελτιώσεις επιδόσεων και νέες λειτουργίες.
Ελέγξτε διεξοδικά τις ενημερωμένες εφαρμογές σας σε ένα περιβάλλον προεργασίας για να εξασφαλίσετε τη συμβατότητα και τη σταθερότητα με το Apache Spark 3.3. Εκτελέστε δοκιμές απόδοσης, λειτουργικές δοκιμές και δοκιμές παλινδρόμησης για να εντοπίσετε και να επιλύσετε τυχόν προβλήματα που μπορεί να προκύψουν κατά τη διαδικασία μετεγκατάστασης.
Μετά την επικύρωση των εφαρμογών σας σε ένα περιβάλλον προεργασίας, αναπτύξτε τις ενημερωμένες εφαρμογές στο περιβάλλον παραγωγής σας. Παρακολουθήστε την απόδοση και τη σταθερότητα των εφαρμογών σας μετά τη μετεγκατάσταση για να εντοπίσετε τυχόν προβλήματα που πρέπει να αντιμετωπιστούν.
Ενημερώστε την εσωτερική τεκμηρίωση και το εκπαιδευτικό υλικό ώστε να αντικατοπτρίζουν τις αλλαγές που παρουσιάστηκαν στον χρόνο εκτέλεσης Fabric 1.1. Βεβαιωθείτε ότι τα μέλη της ομάδας σας είναι εξοικειωμένα με τις νέες δυνατότητες και βελτιώσεις για να μεγιστοποιήσετε τα οφέλη της μετεγκατάστασης.