Λήψη δεδομένων από το Amazon S3
Σε αυτό το άρθρο, θα μάθετε πώς μπορείτε να λάβετε δεδομένα από το Amazon S3 σε έναν νέο ή υπάρχοντα πίνακα. Το Amazon S3 είναι μια υπηρεσία αποθήκευσης αντικειμένων που έχει δημιουργηθεί για την αποθήκευση και την ανάκτηση δεδομένων.
Για περισσότερες πληροφορίες σχετικά με το Amazon S3, ανατρέξτε στο θέμα Τι είναι το Amazon S3;.
Προϋποθέσεις
- Ένας χώρος εργασίας με εκχωρημένους πόρους με δυνατότητα Microsoft Fabric
- Μια βάσης δεδομένων KQL με δικαιώματα επεξεργασίας
- Ένας κάδος Amazon S3 με δεδομένα
Πηγή
Στην κάτω κορδέλα της βάσης δεδομένων KQL, επιλέξτε Λήψη δεδομένων.
Στο παράθυρο λήψη δεδομένων, επιλέγεται η καρτέλα προέλευσης.
Επιλέξτε την προέλευση δεδομένων από τη διαθέσιμη λίστα. Σε αυτό το παράδειγμα, κάνετε πρόσληψη δεδομένων από Amazon S3.
Ρυθμίσετε
Επιλέξτε έναν πίνακα προορισμού. Εάν θέλετε να πραγματοποιήσετε πρόσληψη δεδομένων σε έναν νέο πίνακα, επιλέξτε +Νέος πίνακας και εισαγάγετε ένα όνομα πίνακα.
Σημείωση
Τα ονόματα πινάκων μπορεί να έχουν έως 1024 χαρακτήρες, συμπεριλαμβανομένων διαστημάτων, αλφαριθμητικών, ενωτικών και υπογράμμισης. Δεν υποστηρίζονται ειδικοί χαρακτήρες.
Στο URI πεδίο, επικολλήστε τη συμβολοσειρά σύνδεσης ενός μεμονωμένου κάδου ή ενός μεμονωμένου αντικειμένου στην ακόλουθη μορφή.
Κάδος:
https://BucketName.s3.RegionName.amazonaws.com;AwsCredentials=AwsAccessID,AwsSecretKeyΠροαιρετικά, μπορείτε να εφαρμόσετε φίλτρα κάδου για να φιλτράρετε δεδομένα σύμφωνα με μια συγκεκριμένη επέκταση αρχείου.
Επιλέξτε Επόμενο.
Επιθεωρώ
Η καρτέλα Επιθεώρηση ανοίγει με μια προεπισκόπηση των δεδομένων.
Για να ολοκληρώσετε τη διαδικασία πρόσληψης, επιλέξτε Ολοκλήρωση.
Προαιρετικά:
- Επιλέξτε πρόγραμμα προβολής εντολών για να προβάλετε και να αντιγράψετε τις αυτόματες εντολές που δημιουργούνται από τις εισόδους σας.
- Χρησιμοποιήστε το αρχείο ορισμού σχήματος αναπτυσσόμενη λίστα για να αλλάξετε το αρχείο από το οποίο συνάγεται το σχήμα.
- Αλλάξτε τη μορφή δεδομένων που συνάγεται αυτόματα επιλέγοντας την επιθυμητή μορφή από την αναπτυσσόμενη λίστα. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Μορφές δεδομένων που υποστηρίζονται από Real-Time Intelligence.
- επεξεργασία στηλών.
- Εξερευνήστε επιλογές για προχωρημένους με βάση τον τύπο δεδομένων.
Επεξεργασία στηλών
Σημείωση
- Για τις μορφές σε μορφή πίνακα (CSV, TSV, PSV), δεν μπορείτε να αντιστοιχίζετε μια στήλη δύο φορές. Για να αντιστοιχίστε σε μια υπάρχουσα στήλη, διαγράψτε πρώτα τη νέα στήλη.
- Δεν μπορείτε να αλλάξετε έναν υπάρχοντα τύπο στήλης. Εάν προσπαθήσετε να αντιστοιχίσετε σε μια στήλη που έχει διαφορετική μορφή, μπορεί να καταλήξετε με κενές στήλες.
Οι αλλαγές που μπορείτε να κάνετε σε έναν πίνακα εξαρτώνται από τις ακόλουθες παραμέτρους:
- τύπος πίνακα είναι νέος ή υπάρχων
- τύπος αντιστοίχισης είναι νέος ή υπάρχων
| Τύπος πίνακα | Τύπος αντιστοίχισης | Διαθέσιμες προσαρμογές |
|---|---|---|
| Νέος πίνακας | Νέα αντιστοίχιση | Μετονομασία στήλης, αλλαγή τύπου δεδομένων, αλλαγή προέλευσης δεδομένων μετασχηματισμό αντιστοίχισης, προσθήκη στήλης, διαγραφή στήλης |
| Υπάρχων πίνακας | Νέα αντιστοίχιση | Προσθήκη στήλης (στην οποία μπορείτε έπειτα να αλλάξετε τον τύπο δεδομένων, να μετονομάσετε και να ενημερώσετε) |
| Υπάρχων πίνακας | Υπάρχουσα αντιστοίχιση | κανένας |
Αντιστοίχιση μετασχηματισμών
Ορισμένες αντιστοιχίσεις μορφής δεδομένων (Parquet, JSON και Avro) υποστηρίζουν απλούς μετασχηματισμούς πρόσληψης. Για να εφαρμόσετε μετασχηματισμούς αντιστοίχισης, δημιουργήστε ή ενημερώστε μια στήλη στο επεξεργασία στηλών παράθυρο.
Οι μετασχηματισμοί αντιστοίχισης μπορούν να εκτελεστούν σε μια στήλη τύπου συμβολοσειράς ή ημερομηνίας/ώρας, με την προέλευση να έχει τύπο δεδομένων ενσωματωμένο ή μεγάλο. Οι υποστηριζόμενοι μετασχηματισμοί αντιστοίχισης είναι οι εξής:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Επιλογές για προχωρημένους με βάση τον τύπο δεδομένων
σε μορφή πίνακα (CSV, TSV, PSV):
Εάν προσλάβετε μορφές σε μορφή πίνακα σε έναν υπάρχοντα πίνακα, μπορείτε να επιλέξετε Για προχωρημένους>Διατήρηση σχήματος πίνακα. Τα δεδομένα σε μορφή πίνακα δεν περιλαμβάνουν απαραίτητα τα ονόματα των στηλών που χρησιμοποιούνται για την αντιστοίχιση δεδομένων προέλευσης στις υπάρχουσες στήλες. Όταν αυτή η επιλογή είναι ενεργοποιημένη, η αντιστοίχιση γίνεται βάσει σειράς και το σχήμα πίνακα παραμένει το ίδιο. Εάν δεν επιλέγεται αυτή η επιλογή, δημιουργούνται νέες στήλες για εισερχόμενα δεδομένα, ανεξάρτητα από τη δομή των δεδομένων.
Για να χρησιμοποιήσετε την πρώτη γραμμή ως ονόματα στηλών, επιλέξτε Για προχωρημένους>Πρώτη γραμμή είναι κεφαλίδα στήλης.
JSON:
Για να προσδιορίσετε την διαίρεση στηλών των δεδομένων JSON, επιλέξτε Επίπεδα ένθετης>για προχωρημένους, από 1 έως 100.
Εάν επιλέξετε για προχωρημένους>παράλειψη γραμμών JSON με σφάλματα, τα δεδομένα προσλαμφύονται σε μορφή JSON. Εάν αφήσετε αυτό το πλαίσιο ελέγχου μη επιλεγμένο, τα δεδομένα προσλαμβάνεται σε μορφή πολλών ερωτηματών.
Περίληψη
Στο παράθυρο Προετοιμασία δεδομένων, και τα τρία βήματα επισημαίνονται με πράσινα σημάδια ελέγχου όταν η πρόσληψη δεδομένων ολοκληρωθεί με επιτυχία. Μπορείτε να επιλέξετε μια κάρτα για υποβολή ερωτήματος, να αποθέσετε τα δεδομένα πρόσληψης ή να δείτε έναν πίνακα εργαλείων της σύνοψης πρόσληψης.
Σχετικό περιεχόμενο
- Για να διαχειριστείτε τη βάση δεδομένων σας, ανατρέξτε στο θέμα Διαχείριση δεδομένων
- Για να δημιουργήσετε, αποθηκεύσετε και εξαγάγετε ερωτήματα, ανατρέξτε στο θέμα Υποβολή ερωτημάτων σε ένα σύνολο ερωτημάτων KQL