Λήψη δεδομένων από το Amazon S3
Σε αυτό το άρθρο, θα μάθετε πώς μπορείτε να λάβετε δεδομένα από το Amazon S3 σε έναν νέο ή υπάρχοντα πίνακα. Το Amazon S3 είναι μια υπηρεσία αποθήκευσης αντικειμένων που έχει δημιουργηθεί για την αποθήκευση και την ανάκτηση δεδομένων.
Για περισσότερες πληροφορίες σχετικά με το Amazon S3, ανατρέξτε στο θέμα Τι είναι το Amazon S3;.
Προαπαιτούμενα στοιχεία
- Ένας χώρος εργασίας με εκχωρημένους πόρους με δυνατότητα Microsoft Fabric
- Μια βάση δεδομένων KQL με δικαιώματα επεξεργασίας
- Ένας κάδος Amazon S3 με δεδομένα
Πηγή
Στην κάτω κορδέλα της βάσης δεδομένων KQL, επιλέξτε Λήψη δεδομένων.
Στο παράθυρο Λήψη δεδομένων, επιλέγεται η καρτέλα Προέλευση.
Επιλέξτε την προέλευση δεδομένων από τη διαθέσιμη λίστα. Σε αυτό το παράδειγμα, κάνετε πρόσληψη δεδομένων από το Amazon S3.
Ρύθμιση παραμέτρων
Επιλέξτε έναν πίνακα προορισμού. Εάν θέλετε να πραγματοποιήσετε πρόσληψη δεδομένων σε έναν νέο πίνακα, επιλέξτε +Νέος πίνακας και εισαγάγετε ένα όνομα πίνακα.
Σημείωμα
Τα ονόματα πινάκων μπορεί να έχουν έως 1024 χαρακτήρες, συμπεριλαμβανομένων διαστημάτων, αλφαριθμητικών, ενωτικών και υπογράμμισης. Δεν υποστηρίζονται ειδικοί χαρακτήρες.
Στο πεδίο URI, επικολλήστε τη συμβολοσειρά σύνδεσης ενός μοναδικού κάδου ή ενός μεμονωμένου αντικειμένου στην ακόλουθη μορφή.
Κάδος:
https://BucketName.s3.RegionName.amazonaws.com;AwsCredentials=AwsAccessID,AwsSecretKeyΠροαιρετικά, μπορείτε να εφαρμόσετε φίλτρα κάδου για να φιλτράρετε δεδομένα σύμφωνα με μια συγκεκριμένη επέκταση αρχείου.
Επιλέξτε Επόμενο.
Επιθεωρήσει
Η καρτέλα Επιθεώρηση ανοίγει με μια προεπισκόπηση των δεδομένων.
Για να ολοκληρώσετε τη διαδικασία πρόσληψης, επιλέξτε Τέλος.
Προαιρετικά:
- Επιλέξτε Πρόγραμμα προβολής εντολών για να προβάλετε και να αντιγράψετε τις αυτόματες εντολές που δημιουργούνται από τις εισόδους σας.
- Χρησιμοποιήστε την αναπτυσσόμενη λίστα Αρχείο ορισμού σχήματος για να αλλάξετε το αρχείο από το οποίο συνάγεται το σχήμα.
- Αλλάξτε τη μορφή δεδομένων που συνάγεται αυτόματα επιλέγοντας την επιθυμητή μορφή από την αναπτυσσόμενη λίστα. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Μορφές δεδομένων που υποστηρίζονται από τη Ευφυΐα σε πραγματικό χρόνο.
- Επεξεργασία στηλών.
- Εξερευνήστε τις Επιλογές για προχωρημένους με βάση τον τύπο δεδομένων.
Επεξεργασία στηλών
Σημείωμα
- Για τις μορφές σε μορφή πίνακα (CSV, TSV, PSV), δεν μπορείτε να αντιστοιχίζετε μια στήλη δύο φορές. Για να αντιστοιχίστε σε μια υπάρχουσα στήλη, διαγράψτε πρώτα τη νέα στήλη.
- Δεν μπορείτε να αλλάξετε έναν υπάρχοντα τύπο στήλης. Εάν προσπαθήσετε να αντιστοιχίσετε σε μια στήλη που έχει διαφορετική μορφή, μπορεί να καταλήξετε με κενές στήλες.
Οι αλλαγές που μπορείτε να κάνετε σε έναν πίνακα εξαρτώνται από τις ακόλουθες παραμέτρους:
- Ο τύπος πίνακα είναι νέος ή υπάρχων
- Ο τύπος αντιστοίχισης είναι νέος ή υπάρχων
| Τύπος πίνακα | Τύπος αντιστοίχισης | Διαθέσιμες προσαρμογές |
|---|---|---|
| Νέος πίνακας | Νέα αντιστοίχιση | Μετονομασία στήλης, αλλαγή τύπου δεδομένων, αλλαγή προέλευσης δεδομένων, μετασχηματισμός αντιστοίχισης, προσθήκη στήλης, διαγραφή στήλης |
| Υπάρχων πίνακας | Νέα αντιστοίχιση | Προσθήκη στήλης (στην οποία μπορείτε έπειτα να αλλάξετε τον τύπο δεδομένων, να μετονομάσετε και να ενημερώσετε) |
| Υπάρχων πίνακας | Υπάρχουσα αντιστοίχιση | κανένας |
Αντιστοίχιση μετασχηματισμών
Ορισμένες αντιστοιχίσεις μορφής δεδομένων (Parquet, JSON και Avro) υποστηρίζουν απλούς μετασχηματισμούς πρόσληψης. Για να εφαρμόσετε μετασχηματισμούς αντιστοίχισης, δημιουργήστε ή ενημερώστε μια στήλη στο παράθυρο Επεξεργασία στηλών .
Οι μετασχηματισμοί αντιστοίχισης μπορούν να εκτελεστούν σε μια στήλη τύπου συμβολοσειράς ή ημερομηνίας/ώρας, με την προέλευση να έχει τύπο δεδομένων ενσωματωμένο ή μεγάλο. Οι υποστηριζόμενοι μετασχηματισμοί αντιστοίχισης είναι οι εξής:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Επιλογές για προχωρημένους με βάση τον τύπο δεδομένων
Σε μορφή πίνακα (CSV, TSV, PSV):
Εάν προσλάβετε μορφές σε μορφή πίνακα σε έναν υπάρχοντα πίνακα, μπορείτε να επιλέξετε Σύνθετη>Διατήρηση σχήματος πίνακα. Τα δεδομένα σε μορφή πίνακα δεν περιλαμβάνουν απαραίτητα τα ονόματα των στηλών που χρησιμοποιούνται για την αντιστοίχιση δεδομένων προέλευσης στις υπάρχουσες στήλες. Όταν αυτή η επιλογή είναι ενεργοποιημένη, η αντιστοίχιση γίνεται βάσει σειράς και το σχήμα πίνακα παραμένει το ίδιο. Εάν δεν επιλέγεται αυτή η επιλογή, δημιουργούνται νέες στήλες για εισερχόμενα δεδομένα, ανεξάρτητα από τη δομή των δεδομένων.
Για να χρησιμοποιήσετε την πρώτη γραμμή ως ονόματα στηλών, επιλέξτε Πρώτη γραμμή για>προχωρημένους είναι κεφαλίδα στήλης.
JSON:
Για να προσδιορίσετε τη διαίρεση στηλών των δεδομένων JSON, επιλέξτε Ένθετα επίπεδα για προχωρημένους>, από 1 έως 100.
Εάν επιλέξετε Σύνθετες>γραμμές παράλειψης JSON με σφάλματα, τα δεδομένα προσλαμφύονται σε μορφή JSON. Εάν αφήσετε αυτό το πλαίσιο ελέγχου μη επιλεγμένο, τα δεδομένα προσλαμβάνεται σε μορφή πολλών ερωτηματών.
Σύνοψη
Στο παράθυρο Προετοιμασία δεδομένων, και τα τρία βήματα επισημαίνονται με πράσινα σημάδια ελέγχου όταν η πρόσληψη δεδομένων ολοκληρωθεί με επιτυχία. Μπορείτε να επιλέξετε μια κάρτα για υποβολή ερωτήματος, να αποθέσετε τα δεδομένα πρόσληψης ή να δείτε έναν πίνακα εργαλείων της σύνοψης πρόσληψης.
Σχετικό περιεχόμενο
- Για να διαχειριστείτε τη βάση δεδομένων σας, ανατρέξτε στο θέμα Διαχείριση δεδομένων
- Για να δημιουργήσετε, αποθηκεύσετε και εξαγάγετε ερωτήματα, ανατρέξτε στο θέμα Υποβολή ερωτημάτων σε ένα σύνολο ερωτημάτων KQL