Μετεγκατάσταση δεδομένων και διοχετεύσεων από το Azure Synapse Analytics στο Microsoft Fabric
Το πρώτο βήμα στη μετεγκατάσταση δεδομένων και διοχέτευσης είναι να αναγνωριστούν τα δεδομένα που θέλετε να καταστήσετε διαθέσιμα στο OneLake και οι διοχετεύσεις που σκοπεύετε να μετακινήσετε.
Έχετε δύο επιλογές για τη μετεγκατάσταση δεδομένων:
- Επιλογή 1: Azure Data Lake Storage (ADLS) Gen2 ως προεπιλεγμένος χώρος αποθήκευσης. Εάν χρησιμοποιείτε αυτήν τη στιγμή το ADLS Gen2 και θέλετε να αποφύγετε την αντιγραφή δεδομένων, εξετάστε τη χρήση συντομεύσεων OneLake.
- Επιλογή 2: OneLake ως προεπιλεγμένος χώρος αποθήκευσης. Εάν θέλετε να μετακινηθείτε από το ADLS Gen2 στο OneLake ως επίπεδο αποθήκευσης, εξετάστε το ενδεχόμενο ανάγνωσης/εγγραφής από/σε OneLake από τα σημειωματάριά σας και τους ορισμούς εργασίας Spark.
Μετεγκατάσταση δεδομένων
Επιλογή 1: ADLS Gen2 ως χώρος αποθήκευσης (συντομεύσεις)
Εάν αλληλεπιδράτε με το ADLS Gen2 και θέλετε να αποφύγετε την αναπαραγωγή δεδομένων, μπορείτε να δημιουργήσετε μια συντόμευση για τη διαδρομή προέλευσης ADLS Gen2 στο OneLake. Μπορείτε να δημιουργήσετε συντομεύσεις στις ενότητες Αρχεία και Πίνακες του lakehouse στο Fabric με τα παρακάτω ζητήματα:
- Η ενότητα Αρχεία είναι η μη διαχειριζόμενη περιοχή της λίμνης. Εάν τα δεδομένα σας έχουν μορφή CSV, JSON ή Parquet, συνιστούμε να δημιουργήσετε μια συντόμευση για αυτήν την περιοχή.
- Η ενότητα Πίνακες είναι η διαχειριζόμενη περιοχή της λίμνης. Όλοι οι πίνακες, τόσο οι πίνακες με διαχείριση Spark όσο και οι μη διαχειριζόμενοι πίνακες, καταχωρούνται εδώ. Εάν τα δεδομένα σας είναι σε μορφή Delta, μπορείτε να δημιουργήσετε μια συντόμευση σε αυτόν τον τομέα και η διαδικασία αυτόματου εντοπισμού καταχωρεί αυτόματα αυτούς τους πίνακες Delta στο μεταστάσιο του lakehouse.
Μάθετε περισσότερα σχετικά με τη δημιουργία μιας συντόμευσης ADLS Gen2.
Επιλογή 2: OneLake ως χώρος αποθήκευσης
Για να χρησιμοποιήσετε το OneLake ως επίπεδο χώρου αποθήκευσης και να μετακινήσετε δεδομένα από το ADLS Gen2, θα πρέπει αρχικά να κατευθύνετε τα στοιχεία που σχετίζονται με το Azure Synapse Spark στο OneLake και, στη συνέχεια, να μεταφέρετε τα υπάρχοντα δεδομένα στο OneLake. Για τις πρώτες, ανατρέξτε στο θέμα ενοποίηση του OneLake με το Azure Synapse Spark.
Για να μετακινήσετε τα υπάρχοντα δεδομένα στο OneLake, έχετε διάφορες επιλογές:
- mssparkutils fastcp: Η βιβλιοθήκη mssparkutils παρέχει ένα API fastcp που σας επιτρέπει να αντιγράφετε δεδομένα από το ADLS Gen2 στο OneLake.
- AzCopy: Μπορείτε να χρησιμοποιήσετε το βοηθητικό πρόγραμμα γραμμής εντολών AzCopy για να αντιγράψετε δεδομένα από το ADLS Gen2 στο OneLake.
- Azure Data Factory, Azure Synapse Analytics και Data Factory in Fabric: Χρησιμοποιήστε δραστηριότητα αντιγραφής για να αντιγράψετε δεδομένα στο lakehouse.
- Χρήση συντομεύσεων: Μπορείτε να ενεργοποιήσετε τα ιστορικά δεδομένα ADLS Gen2 στο OneLake χρησιμοποιώντας συντομεύσεις. Δεν απαιτείται αντίγραφο δεδομένων.
- Εξερεύνηση υπηρεσίας αποθήκευσης Azure: Μπορείτε να μετακινήσετε αρχεία από την τοποθεσία ADLS Gen2 στο OneLake χρησιμοποιώντας την Εξερεύνηση υπηρεσίας αποθήκευσης Azure. Δείτε πώς μπορείτε να ενσωματώσετε το OneLake με την Εξερεύνηση υπηρεσίας αποθήκευσης Azure.
Μετεγκατάσταση διοχετεύσεων (δραστηριότητες που σχετίζονται με το Spark)
Εάν οι διοχετεύσεις δεδομένων σας Azure Synapse περιλαμβάνουν δραστηριότητες ορισμού εργασίας σημειωματάριου ή/και Spark, θα χρειαστεί να μετακινήσετε αυτές τις διοχετεύσεις από το Azure Synapse σε διοχετεύσεις δεδομένων του Data Factory στο Fabric και να αναφερθείτε στα σημειωματάρια προορισμού. Η δραστηριότητα σημειωματάριου είναι διαθέσιμη στις διοχετεύσεις δεδομένων Data Factory. Δείτε όλες τις υποστηριζόμενες δραστηριότητες διοχέτευσης δεδομένων στο Fabric εδώ.
- Για ζητήματα δραστηριότητας διοχέτευσης δεδομένων που σχετίζονται με Spark, ανατρέξτε στις διαφορές μεταξύ των Azure Synapse Spark και Fabric.
- Για μετεγκατάσταση σημειωματάριου, ανατρέξτε στο θέμα μετεγκατάσταση σημειωματάριων από το Azure Synapse στο Fabric.
- Για μετεγκατάσταση διοχέτευσης δεδομένων, ανατρέξτε στο θέμα Μετεγκατάσταση στο Data Factory στο Fabric.