Μέση μορφή στο Data Factory στο Microsoft Fabric
Αυτό το άρθρο περιγράφει τον τρόπο ρύθμισης παραμέτρων της μορφής Avro στη διοχέτευση δεδομένων του Data Factory στο Microsoft Fabric.
Υποστηριζόμενες δυνατότητες
Η μορφή Avro υποστηρίζεται για τις ακόλουθες δραστηριότητες και συνδέσεις ως προέλευση και προορισμός.
| Category | Σύνδεση/Δραστηριότητα |
|---|---|
| Υποστηριζόμενη σύνδεση | Amazon S3 |
| Συμβατό με το Amazon S3 | |
| Χώρος αποθήκευσης αντικειμένου Blob Azure | |
| Azure Data Lake Storage Gen1 | |
| Azure Data Lake Storage Gen2 | |
| Αρχεία Azure | |
| Σύστημα αρχείων | |
| FTP | |
| Χώρος αποθήκευσης Cloud Google | |
| HTTP | |
| Αρχεία Lakehouse | |
| Oracle Cloud Storage | |
| SFTP | |
| Υποστηριζόμενη δραστηριότητα | Αντιγραφή δραστηριότητας (προέλευσης/προορισμού) |
| Δραστηριότητα αναζήτησης | |
| Δραστηριότητα GetMetadata | |
| Διαγραφή δραστηριότητας |
Μέση μορφή στη δραστηριότητα αντιγραφής
Για να ρυθμίσετε τις παραμέτρους της μορφής Avro, επιλέξτε τη σύνδεσή σας στην προέλευση ή στον προορισμό της δραστηριότητας αντιγραφής διοχέτευσης δεδομένων και, στη συνέχεια, επιλέξτε Avro στην αναπτυσσόμενη λίστα Μορφή αρχείου. Επιλέξτε Ρυθμίσεις για περαιτέρω ρύθμιση παραμέτρων αυτής της μορφής.
Μέση μορφή ως προέλευση
Αφού επιλέξετε Ρυθμίσεις στην ενότητα Μορφή αρχείου, οι παρακάτω ιδιότητες εμφανίζονται στο αναδυόμενο παράθυρο διαλόγου Ρυθμίσεις μορφής αρχείου.
Τύπος συμπίεσης: Επιλέξτε τον κωδικοποιητή συμπίεσης που χρησιμοποιείται για την ανάγνωση αρχείων Avro στην αναπτυσσόμενη λίστα. Μπορείτε να επιλέξετε κανένα ή να αποπληθωρίζετε. Μπορείτε επίσης να επιλέξετε Προσθήκη δυναμικού περιεχομένου για να καθορίσετε τον τύπο στο εργαλείο δόμησης παραστάσεων.
Επίπεδο συμπίεσης: Καθορίστε την αναλογία συμπίεσης. Επιλέξτε από το 1 έως το 7. Μπορείτε επίσης να επιλέξετε Προσθήκη δυναμικού περιεχομένου για να καθορίσετε το επίπεδο στη δόμηση παραστάσεων.
Μέση μορφή ως προορισμός
Αφού επιλέξετε Ρυθμίσεις, εμφανίζονται οι ακόλουθες ιδιότητες στο αναδυόμενο παράθυρο διαλόγου Ρυθμίσεις μορφής αρχείου.
Τύπος συμπίεσης: Επιλέξτε τον κωδικοποιητή συμπίεσης που χρησιμοποιείται για την εγγραφή αρχείων Avro στην αναπτυσσόμενη λίστα. Μπορείτε να επιλέξετε κανένα ή να αποπληθωρίζετε. Μπορείτε επίσης να επιλέξετε Προσθήκη δυναμικού περιεχομένου για να καθορίσετε τον τύπο στο εργαλείο δόμησης παραστάσεων.
Επίπεδο συμπίεσης: Καθορίστε την αναλογία συμπίεσης. Επιλέξτε από το 1 έως το 7. Μπορείτε επίσης να επιλέξετε Προσθήκη δυναμικού περιεχομένου για να καθορίσετε το επίπεδο στη δόμηση παραστάσεων.
Στην περιοχή Ρυθμίσεις για προχωρημένους στην καρτέλα Προορισμός , εμφανίζονται οι ακόλουθες ιδιότητες που σχετίζονται με τη μορφή Avro.
- Μέγιστος αριθμός γραμμών ανά αρχείο: Κατά την εγγραφή δεδομένων σε έναν φάκελο, μπορείτε να επιλέξετε να κάνετε εγγραφή σε πολλά αρχεία και να καθορίσετε τις μέγιστες γραμμές ανά αρχείο.
- Πρόθημα ονόματος αρχείου: Ισχύει όταν ρυθμίζεται η επιλογή Μέγιστος αριθμός γραμμών ανά αρχείο . Καθορίστε το πρόθημα ονόματος αρχείου κατά την εγγραφή δεδομένων σε πολλαπλά αρχεία, με αποτέλεσμα αυτό το μοτίβο:
<fileNamePrefix>_00000.<fileExtension>. Εάν δεν καθοριστεί, δημιουργείται αυτόματα το πρόθεμα ονόματος αρχείου. Αυτή η ιδιότητα δεν ισχύει όταν η προέλευση είναι χώρος αποθήκευσης που βασίζεται σε αρχείο ή χώρο αποθήκευσης δεδομένων με δυνατότητα διαμερίσματος.
Σύνοψη πίνακα
Avro ως προέλευση
Οι ακόλουθες ιδιότητες υποστηρίζονται στην ενότητα αντιγραφή δραστηριότητας Προέλευση κατά τη χρήση της μορφής Avro.
| Ονομασία | Περιγραφή | Τιμή | Απαραίτητο | Ιδιότητα δέσμης ενεργειών Avro |
|---|---|---|---|---|
| Μορφή αρχείου | Η μορφή αρχείου που θέλετε να χρησιμοποιήσετε. | Avro | Όχι | τύπος (στην περιοχή datasetSettings):Avro |
| Τύπος συμπίεσης | Ο κωδικοποιητής συμπίεσης που χρησιμοποιείται για την ανάγνωση αρχείων Avro. | Κανένας ελαττώνω την αξία |
Όχι | avroCompressionCodec: ελαττώνω την αξία |
| Επίπεδο συμπίεσης | Η αναλογία συμπίεσης. | 1 έως 7 | Όχι | avroCompressionLevel: 1 έως 7 |
Avro ως προορισμός
Οι ακόλουθες ιδιότητες υποστηρίζονται στην ενότητα αντιγραφή δραστηριότητας Προορισμός όταν χρησιμοποιείτε τη μορφή Avro.
| Ονομασία | Περιγραφή | Τιμή | Απαραίτητο | Ιδιότητα δέσμης ενεργειών Avro |
|---|---|---|---|---|
| Μορφή αρχείου | Η μορφή αρχείου που θέλετε να χρησιμοποιήσετε. | Avro | Όχι | τύπος (στην περιοχή datasetSettings):Avro |
| Τύπος συμπίεσης | Ο κωδικοποιητής συμπίεσης που χρησιμοποιείται για την εγγραφή αρχείων Avro. | Κανένας ελαττώνω την αξία |
Όχι | avroCompressionCodec: ελαττώνω την αξία |
| Επίπεδο συμπίεσης | Η αναλογία συμπίεσης. | 1 έως 7 | Όχι | avroCompressionLevel: 1 έως 7 |
| Μέγιστος αριθμός γραμμών ανά αρχείο | Κατά την εγγραφή δεδομένων σε έναν φάκελο, μπορείτε να επιλέξετε να γράψετε σε πολλά αρχεία και να καθορίσετε τις μέγιστες γραμμές ανά αρχείο. | < οι μέγιστες γραμμές ανά αρχείο > | Όχι | maxRowsPerFile |
| Πρόθημα ονόματος αρχείου | Ισχύει όταν ρυθμίζονται οι παράμετροι της ρύθμισης Μέγιστος αριθμός γραμμών ανά αρχείο . Καθορίστε το πρόθημα ονόματος αρχείου κατά την εγγραφή δεδομένων σε πολλαπλά αρχεία, με αποτέλεσμα αυτό το μοτίβο: <fileNamePrefix>_00000.<fileExtension>. Εάν δεν καθοριστεί, δημιουργείται αυτόματα το πρόθεμα ονόματος αρχείου. Αυτή η ιδιότητα δεν ισχύει όταν η προέλευση είναι χώρος αποθήκευσης που βασίζεται σε αρχείο ή χώρο αποθήκευσης δεδομένων με δυνατότητα διαμερίσματος. |
< το πρόθημα ονόματος αρχείου > | Όχι | fileNamePrefix |