ตัวเลือกในการรับข้อมูลลงใน Fabric Lakehouse
ประสบการณ์การรับข้อมูลครอบคลุมสถานการณ์ผู้ใช้ทั้งหมดสําหรับการนําข้อมูลลงในเลคเฮ้าส์ เช่น:
- เชื่อมต่อกับ SQL Server ที่มีอยู่ และคัดลอกข้อมูลลงในตาราง Delta บน lakehouse
- กําลังอัปโหลดไฟล์จากคอมพิวเตอร์ของคุณ
- คัดลอกและผสานตารางหลายตารางจากเลคเฮ้าส์อื่นๆ ลงในตาราง Delta ใหม่
- กําลังเชื่อมต่อกับแหล่งการสตรีมไปยังข้อมูลที่อยู่ในเลคเฮ้าส์
- การอ้างอิงข้อมูลโดยไม่ต้องคัดลอกจากเลคเฮ้าส์ภายในหรือแหล่งข้อมูลภายนอกอื่น ๆ
วิธีการต่าง ๆ ในการโหลดข้อมูลลงในเลคเฮ้าส์
ใน Microsoft Fabric มีสองสามวิธีที่คุณสามารถรับข้อมูลลงในเลคเฮ้าส์:
- อัปโหลดไฟล์จากคอมพิวเตอร์เฉพาะที่
- เรียกใช้เครื่องมือคัดลอกในไปป์ไลน์
- ตั้งค่ากระแสข้อมูล
- ไลบรารี Apache Spark ในรหัสสมุดบันทึก
- สตรีมเหตุการณ์แบบเรียลไทม์ด้วย Eventstream
- รับข้อมูลจากอีเวนต์เฮ้าส์
การอัปโหลดไฟล์ภายในเครื่อง
คุณยังสามารถอัปโหลดข้อมูลที่จัดเก็บบนเครื่องคอมพิวเตอร์ของคุณได้ คุณสามารถทําได้โดยตรงในตัวสํารวจของเลคเฮ้าส์
เครื่องมือคัดลอกในไปป์ไลน์
เครื่องมือคัดลอกเป็นโซลูชันการรวมข้อมูลที่สามารถปรับขนาดได้อย่างมากซึ่งช่วยให้คุณสามารถเชื่อมต่อกับแหล่งข้อมูลที่แตกต่างกันและโหลดข้อมูลในรูปแบบดั้งเดิมหรือแปลงเป็นตาราง Delta เครื่องมือคัดลอกเป็นส่วนหนึ่งของกิจกรรมไปป์ไลน์ที่คุณสามารถปรับเปลี่ยนได้หลายวิธี เช่น การจัดกําหนดการหรือการทริกเกอร์ตามเหตุการณ์ สําหรับข้อมูลเพิ่มเติม ดู วิธีการคัดลอกข้อมูลโดยใช้กิจกรรมการคัดลอก
กระแสข้อมูล
สําหรับผู้ใช้ที่คุ้นเคยกับกระแสข้อมูล Power BI เครื่องมือเดียวกันนี้สามารถโหลดข้อมูลลงในเลคเฮ้าส์ของคุณได้ คุณสามารถเข้าถึงได้จากตัวเชื่อมต่อของ Lakehouse explorer "รับข้อมูล" และโหลดข้อมูลจากตัวเชื่อมต่อกว่า 200 ตัวได้อย่างรวดเร็ว สําหรับข้อมูลเพิ่มเติม ให้เริ่มต้นใช้งานด่วน: สร้างกระแสข้อมูลแรกของคุณเพื่อรับและแปลงข้อมูล
รหัสสมุดบันทึก
คุณสามารถใช้ไลบรารี Spark ที่พร้อมใช้งานเพื่อเชื่อมต่อกับแหล่งข้อมูลโดยตรง โหลดข้อมูลลงในเฟรมข้อมูล จากนั้นบันทึกไว้ใน lakehouse วิธีนี้เป็นวิธีที่เปิดมากที่สุดในการโหลดข้อมูลในเลคเฮ้าส์ที่รหัสผู้ใช้มีการจัดการอย่างสมบูรณ์
หมายเหตุ
ตาราง Delta ภายนอกที่สร้างขึ้นด้วยรหัส Spark จะไม่สามารถมองเห็นจุดสิ้นสุดการวิเคราะห์ SQL ได้ ใช้ทางลัดในพื้นที่ตารางเพื่อให้มองเห็นตาราง Delta ภายนอกสําหรับจุดสิ้นสุดการวิเคราะห์ SQL เมื่อต้องการเรียนรู้วิธีการสร้างทางลัด ให้ดูที่ สร้างทางลัดไปยังแฟ้มหรือตาราง
สตรีมเหตุการณ์แบบเรียลไทม์ด้วย Eventstream
ด้วย Eventstream คุณจะได้รับ ประมวลผล และกําหนดเส้นทางเหตุการณ์แบบเรียลไทม์ในปริมาณมากจากแหล่งข้อมูลที่หลากหลาย
หากต้องการดูวิธีเพิ่มเลคเฮ้าส์เป็นปลายทางสําหรับอีเวนต์สตรีม โปรดดู รับข้อมูลจากอีเวนต์สตรีมในเลคเฮ้าส์
เพื่อให้ได้ประสิทธิภาพการสตรีมที่ดีที่สุด คุณสามารถสตรีมข้อมูลจาก Eventstream ลงใน Eventhouse แล้ว จึงเปิดใช้งานความพร้อมใช้งานของ OneLake
รับข้อมูลจากอีเวนต์เฮ้าส์
เมื่อคุณเปิดใช้งานความพร้อมใช้งาน OneLake บนข้อมูลใน Eventhouse ตาราง Delta จะถูกสร้างขึ้นใน OneLake ตารางเดลต้านี้สามารถเข้าถึงได้โดยเลคเฮาส์โดยใช้ทางลัด สําหรับข้อมูลเพิ่มเติม ให้ดู ทางลัด OneLake สําหรับข้อมูลเพิ่มเติม ดู ความพร้อมใช้งานของ Eventhouse OneLake
ข้อควรพิจารณาเมื่อเลือกวิธีการโหลดข้อมูล
| กรณีการใช้งาน | การแนะนํา |
|---|---|
| อัปโหลดไฟล์ขนาดเล็กจากเครื่อง | ใช้การอัปโหลดไฟล์ภายในเครื่อง |
| ข้อมูลขนาดเล็กหรือตัวเชื่อมต่อเฉพาะ | ใช้กระแสข้อมูล |
| แหล่งข้อมูลขนาดใหญ่ | ใช้เครื่องมือคัดลอกในไปป์ไลน์ |
| การแปลงข้อมูลที่ซับซ้อน | ใช้รหัสสมุดบันทึก |
| ข้อมูลการสตรีม | ใช้เหตุการณ์สตรีมข้อมูลลงใน Eventhouse เปิดใช้งานความพร้อมใช้งาน OneLake และสร้างทางลัดจาก Lakehouse |
| ข้อมูลอนุกรมเวลา | รับข้อมูลจากอีเวนต์เฮ้าส์ |