รับข้อมูลจาก Amazon S3

ในบทความนี้ คุณจะได้เรียนรู้วิธีการรับข้อมูลจาก Amazon S3 ลงในตารางใหม่หรือตารางที่มีอยู่ Amazon S3 เป็นบริการเก็บข้อมูลวัตถุที่สร้างขึ้นเพื่อจัดเก็บและดึงข้อมูล

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับ Amazon S3 สามารถดูได้ที่ Amazon S3 คืออะไร

ข้อกําหนดเบื้องต้น

• พื้นที่ทํางาน ที่มีความจุ ที่เปิดใช้งาน Microsoft Fabric
• ฐานข้อมูล KQL ที่มีสิทธิ์ในการแก้ไข
• บักเก็ต Amazon S3 พร้อมข้อมูล

ที่มา

1. ที่ริบบิ้นด้านล่างของฐานข้อมูล KQL ให้เลือก รับข้อมูล

   ในหน้าต่าง รับข้อมูล แท็บ แหล่งข้อมูล จะถูกเลือกไว้

2. เลือกแหล่งข้อมูลจากรายการที่พร้อมใช้งาน ในตัวอย่างนี้ คุณกําลังรวบรวมข้อมูลจาก Amazon S3

   

กําหนดค่า

1. เลือกตารางเป้าหมาย ถ้าคุณต้องการเก็บข้อมูลลงในตารางใหม่ เลือก + ตารางใหม่ และป้อนชื่อตาราง

   โน้ต

   ชื่อตารางสามารถมีได้ถึง 1024 อักขระ รวมถึงช่องว่าง พยัญชนะผสมตัวเลข เครื่องหมายยัติภังค์ และขีดล่าง ไม่รองรับอักขระพิเศษ

2. ในเขตข้อมูล URI วางสตริงการเชื่อมต่อของบักเก็ตเดียว หรือวัตถุแต่ละรายการในรูปแบบต่อไปนี้

   บักเก็ต: https://BucketName.s3.RegionName.amazonaws.com;AwsCredentials=AwsAccessID,AwsSecretKey

   อีกทางหนึ่งคือ คุณสามารถใช้ตัวกรองบักเก็ตเพื่อกรองข้อมูลตามนามสกุลไฟล์เฉพาะได้

   

3. เลือก ถัดไป

ตรวจ

แท็บ ตรวจสอบ จะเปิดขึ้นพร้อมกับแสดงตัวอย่างของข้อมูล

เลือก เสร็จสิ้นเพื่อเสร็จสิ้นกระบวนการการนําเข้าข้อมูล

เลือก:

• เลือก Command viewer เพื่อดูและคัดลอกคําสั่งอัตโนมัติที่สร้างขึ้นจากการป้อนข้อมูลของคุณ
• ใช้ไฟล์ข้อกําหนด Schema ดรอปดาวน์เพื่อเปลี่ยนไฟล์ที่มีการอนุมาน Schema
• เปลี่ยนรูปแบบข้อมูลที่อนุมานโดยอัตโนมัติโดยการเลือกรูปแบบที่ต้องการจากดรอปดาวน์ สําหรับข้อมูลเพิ่มเติม ให้ดู รูปแบบข้อมูล ที่ได้รับการสนับสนุนโดย Real-Time Intelligence
• แก้ไขคอลัมน์
• สํารวจ ตัวเลือกขั้นสูงที่ยึดตามชนิดข้อมูล

แก้ไขคอลัมน์

โน้ต

• สําหรับรูปแบบตาราง (CSV, TSV, PSV) คุณไม่สามารถแมปคอลัมน์สองครั้ง เมื่อต้องการแมปไปยังคอลัมน์ที่มีอยู่ ก่อนอื่นให้ลบคอลัมน์ใหม่
• คุณไม่สามารถเปลี่ยนชนิดคอลัมน์ที่มีอยู่ได้ ถ้าคุณพยายามแมปไปยังคอลัมน์ที่มีรูปแบบที่แตกต่างกัน คุณอาจมีคอลัมน์ที่ว่างเปล่า

การเปลี่ยนแปลงที่คุณสามารถทําได้ในตารางขึ้นอยู่กับพารามิเตอร์ต่อไปนี้:

• ชนิด ตาราง เป็นชนิดใหม่หรือที่มีอยู่
• ชนิด การแมป เป็นชนิดใหม่หรือที่มีอยู่

ชนิดตาราง	ชนิดการแมป	การปรับปรุงที่พร้อมใช้งาน
ตารางใหม่	การแมปใหม่	เปลี่ยนชื่อคอลัมน์ เปลี่ยนชนิดข้อมูล เปลี่ยนแหล่งข้อมูล แมปเพิ่มคอลัมน์ ลบคอลัมน์
ตารางที่มีอยู่	การแมปใหม่	เพิ่มคอลัมน์ (ซึ่งคุณสามารถเปลี่ยนชนิดข้อมูล เปลี่ยนชื่อ และอัปเดต)
ตารางที่มีอยู่	การแมปที่มีอยู่	ไม่มีใคร

การแม็ปการแปลง

การแมปรูปแบบข้อมูลบางอย่าง (Parquet, JSON และ Avro) สนับสนุนการแปลงข้อมูล ingest-time แบบง่าย เมื่อต้องการใช้การแปลงการแมป ให้สร้างหรืออัปเดตคอลัมน์ในหน้าต่าง แก้ไขคอลัมน์

การแปลงข้อมูลการแมปสามารถทําได้ในคอลัมน์ของสตริงชนิดหรือวันที่เวลา ด้วยแหล่งข้อมูลที่มีชนิดข้อมูลเป็น int หรือ long การแปลงการแมปที่สนับสนุนคือ:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

ตัวเลือกขั้นสูงที่ยึดตามชนิดข้อมูล

Tabular (CSV, TSV, PSV):

• ถ้าคุณกําลังทําการนําเข้ารูปแบบตารางในตาราง ที่มีอยู่ คุณสามารถเลือก ขั้นสูง>รักษา schema ของตาราง ข้อมูลแบบตารางไม่จําเป็นต้องรวมชื่อคอลัมน์ที่ใช้ในการแมปข้อมูลต้นทางไปยังคอลัมน์ที่มีอยู่ เมื่อเลือกตัวเลือกนี้ การแมปจะดําเนินการตามลําดับ และ Schema ของตารางยังคงเหมือนเดิม ถ้าไม่ได้เลือกตัวเลือกนี้ คอลัมน์ใหม่จะถูกสร้างขึ้นสําหรับข้อมูลขาเข้าโดยไม่คํานึงถึงโครงสร้างข้อมูล

• เมื่อต้องการใช้แถวแรกเป็นชื่อคอลัมน์ ให้เลือก ขั้นสูง>แถวแรกคือส่วนหัวของคอลัมน์

  

JSON:

• เมื่อต้องการกําหนดการแบ่งคอลัมน์ของข้อมูล JSON ให้เลือก ระดับที่ซ้อนกันขั้นสูง>จาก 1 ถึง 100

• ถ้าคุณเลือก ขั้นสูง>ข้ามบรรทัด JSON ที่มีข้อผิดพลาดข้อมูลจะถูกนําเข้าในรูปแบบ JSON ถ้าคุณยกเลิกการเลือกกล่องกาเครื่องหมายนี้ ระบบจะนําเข้าข้อมูลในรูปแบบ multijson

  

สรุป

ในหน้าต่าง การเตรียมข้อมูล ทั้งสามขั้นตอนจะถูกทําเครื่องหมายด้วยเครื่องหมายถูกสีเขียวเมื่อการนําเข้าข้อมูลเสร็จสิ้น คุณสามารถเลือกการ์ดที่จะคิวรี วางข้อมูลนําเข้า หรือดูแดชบอร์ดของสรุปการนําเข้าของคุณได้

เนื้อหาที่เกี่ยวข้อง

• เมื่อต้องการจัดการฐานข้อมูลของคุณ ให้ดู จัดการ ข้อมูล
• เมื่อต้องการสร้าง จัดเก็บ และส่งออกคิวรี ให้ดู ข้อมูลคิวรี ในชุดคิวรี KQL