เริ่มต้นใช้งานด่วน: ย้ายและแปลงข้อมูลด้วยกระแสข้อมูลและไปป์ไลน์ข้อมูล

ในบทช่วยสอนนี้ คุณค้นพบวิธีที่ประสบการณ์ของกระแสข้อมูลและไปป์ไลน์ข้อมูลสามารถสร้างโซลูชัน Data Factory ที่มีประสิทธิภาพและครอบคลุมได้

ข้อกําหนดเบื้องต้น

เมื่อต้องเริ่มต้นใช้งาน คุณต้องมีข้อกําหนดเบื้องต้นต่อไปนี้:

• บัญชีผู้เช่าที่มีการสมัครใช้งานที่ใช้งานอยู่ สร้างบัญชี ฟรี
• ตรวจสอบให้แน่ใจว่า คุณมีพื้นที่ทํางานที่เปิดใช้งาน Microsoft Fabric: สร้างพื้นที่ทํางาน ที่ไม่ใช่ค่าเริ่มต้นพื้นที่ทํางานของฉัน
• ฐานข้อมูล Azure SQL ที่มีข้อมูลตาราง
• บัญชีที่เก็บข้อมูล Blob

กระแสข้อมูลเมื่อเทียบกับไปป์ไลน์

กระแสข้อมูล Gen2 ช่วยให้คุณสามารถใช้อินเทอร์เฟสแบบโค้ดต่ําและข้อมูลที่มีมากกว่า 300+ และการแปลงที่ใช้ AI เพื่อให้คุณทําความสะอาด เตรียมและแปลงข้อมูลได้อย่างง่ายดายด้วยความยืดหยุ่นที่มากกว่าเครื่องมืออื่นๆ ไปป์ไลน์ข้อมูลช่วยให้สามารถเขียนเวิร์กโฟลว์ข้อมูลที่ยืดหยุ่นได้ตามความต้องการขององค์กร ในไปป์ไลน์ คุณสามารถสร้างการจัดกลุ่มเชิงตรรกะของกิจกรรมที่ทํางานซึ่งอาจรวมถึงการเรียกใช้กระแสข้อมูลเพื่อทําความสะอาดและเตรียมข้อมูลของคุณ ในขณะที่มีฟังก์ชันการทํางานบางอย่างซ้อนทับกัน แต่ตัวเลือกในการใช้สําหรับสถานการณ์เฉพาะนั้นขึ้นอยู่กับว่าคุณต้องการความสมบูรณ์เต็มรูปแบบของไปป์ไลน์หรือสามารถใช้ความสามารถที่เรียบง่ายกว่าแต่จํากัดมากขึ้นของกระแสข้อมูลหรือไม่ สําหรับข้อมูลเพิ่มเติม โปรดดูคู่มือการตัดสินใจของ Fabric

แปลงข้อมูลด้วยกระแสข้อมูล

ทําตามขั้นตอนเหล่านี้เพื่อตั้งค่ากระแสข้อมูลของคุณ

ขั้นตอนที่ 1: สร้างกระแสข้อมูล

1. เลือกพื้นที่ทํางานที่เปิดใช้งาน Fabric ของคุณ จากนั้นเลือก ใหม่ จากนั้นเลือก กระแสข้อมูล Gen2

   

2. หน้าต่างตัวแก้ไขกระแสข้อมูลจะปรากฏขึ้น เลือกการ์ด นําเข้าจาก SQL Server

   

ขั้นตอนที่ 2: รับข้อมูล

1. บนกล่องโต้ตอบ เชื่อมต่อกับแหล่งข้อมูล ที่แสดงถัดไป ให้ป้อนรายละเอียดเพื่อเชื่อมต่อกับฐานข้อมูล Azure SQL ของคุณ จากนั้นเลือก ถัดไป สําหรับตัวอย่างนี้ คุณใช้ฐานข้อมูลตัวอย่าง AdventureWorksLT ที่กําหนดค่าไว้เมื่อคุณตั้งค่าฐานข้อมูล Azure SQL ในข้อกําหนดเบื้องต้น

   

2. เลือกข้อมูลที่คุณต้องการแปลง จากนั้นเลือก สร้าง สําหรับการเริ่มต้นใช้งานด่วนนี้ ให้เลือก SalesLT.Customer จากตัวอย่างข้อมูลตัวอย่าง AdventureWorksLT ที่ให้มาสําหรับ Azure SQL DB จากนั้น เลือกตารางที่เกี่ยวข้อง ปุ่มเพื่อรวมตารางที่เกี่ยวข้องอีกสองตารางโดยอัตโนมัติ

   

ขั้นตอนที่ 3: แปลงข้อมูลของคุณ

1. ถ้าไม่ได้เลือกไว้ ให้เลือกปุ่ม มุมมองไดอะแกรม ตามแถบสถานะที่ด้านล่างของหน้า หรือเลือก มุมมองไดอะแกรม ภายใต้เมนู มุมมอง ที่ด้านบนของตัวแก้ไข Power Query ตัวเลือกใดตัวเลือกหนึ่งเหล่านี้สามารถสลับมุมมองไดอะแกรมได้

   

2. คลิกขวาที่คิวรี SalesLT Customer ของคุณ หรือเลือกจุดไข่ปลาแนวตั้งทางด้านขวาของคิวรี จากนั้นเลือก ผสานคิวรี

   

3. กําหนดค่าการผสานโดยการเลือกตาราง SalesLTOrderHeader เป็นตารางด้านขวาสําหรับการผสาน คอลัมน์ CustomerID จากแต่ละตารางเป็นคอลัมน์การรวม และ ภายนอกด้านซ้ายเป็นประเภทการรวม จากนั้นเลือก ตกลง เพื่อเพิ่มคิวรีผสาน

   

4. เลือก ปุ่ม เพิ่มปลายทางข้อมูล ซึ่งมีลักษณะเหมือนสัญลักษณ์ฐานข้อมูลที่มีลูกศรอยู่ด้านบน จากคิวรีผสานใหม่ที่คุณสร้างขึ้น จากนั้นเลือก ฐานข้อมูล Azure SQL เป็นชนิดปลายทาง

   

5. ระบุรายละเอียดสําหรับการเชื่อมต่อฐานข้อมูล Azure SQL ของคุณซึ่งจะเผยแพร่คิวรีผสาน ในตัวอย่างนี้ คุณสามารถใช้ฐานข้อมูล AdventureWorksLT ที่เราใช้เป็นแหล่งข้อมูลสําหรับปลายทางด้วย

   

6. เลือกฐานข้อมูลเพื่อจัดเก็บข้อมูล และใส่ชื่อตาราง จากนั้นเลือก ถัดไป

   

7. คุณสามารถปล่อยการตั้งค่าเริ่มต้นไว้บน เลือกการตั้งค่าปลายทาง กล่องโต้ตอบ และเลือก บันทึกการตั้งค่า โดยไม่ต้องทําการเปลี่ยนแปลงที่นี่

   

8. เลือก เผยแพร่ กลับไปที่หน้าตัวแก้ไขกระแสข้อมูล เพื่อเผยแพร่กระแสข้อมูล

   

ย้ายข้อมูลพร้อมไปป์ไลน์ข้อมูล

หลังจากที่คุณได้สร้าง Dataflow Gen2 แล้ว คุณสามารถดําเนินการในไปป์ไลน์ได้ ในตัวอย่างนี้ คุณคัดลอกข้อมูลที่สร้างขึ้นจากกระแสข้อมูลลงในรูปแบบข้อความในบัญชี Azure Blob Storage

ขั้นตอนที่ 1: สร้างไปป์ไลน์ข้อมูลใหม่

1. จากพื้นที่ทํางานของคุณ เลือก ใหม่ จากนั้นเลือก ไปป์ไลน์ข้อมูล

   

2. ตั้งชื่อไปป์ไลน์ของคุณ จากนั้นเลือก สร้าง

   

ขั้นตอนที่ 2: กําหนดค่ากระแสข้อมูลของคุณ

1. เพิ่มกิจกรรมกระแสข้อมูลใหม่ไปยังไปป์ไลน์ข้อมูลของคุณโดยการเลือก กระแสข้อมูลในแท็บ กิจกรรม

   

2. เลือกกระแสข้อมูลบนพื้นที่ทํางานของไปป์ไลน์ จากนั้นจึงเลือกแท็บ การตั้งค่า เลือกกระแสข้อมูลที่คุณสร้างไว้ก่อนหน้านี้จากรายการดรอปดาวน์

   

3. เลือก บันทึกจากนั้น เรียกใช้ เพื่อเรียกใช้กระแสข้อมูลเพื่อเติมตารางคิวรีที่ผสานที่คุณออกแบบไว้ในขั้นตอนก่อนหน้า

   

ขั้นตอนที่ 3: ใช้ผู้ช่วยคัดลอกเพื่อเพิ่มกิจกรรมการคัดลอก

1. เลือก คัดลอกข้อมูล บนพื้นที่ทํางานเพื่อเปิดเครื่องมือ คัดลอก Assistant เพื่อเริ่มต้นใช้งาน หรือเลือก ใช้ผู้ช่วยคัดลอก จากรายการดรอปดาวน์ คัดลอกข้อมูล ภายใต้แท็บ กิจกรรม บนริบบอน

   

2. เลือกแหล่งข้อมูลของคุณโดยการเลือกชนิดแหล่งข้อมูล ในบทช่วยสอนนี้ คุณใช้ฐานข้อมูล Azure SQL ที่ใช้ก่อนหน้านี้เมื่อคุณสร้างกระแสข้อมูลเพื่อสร้างคิวรีผสานใหม่ เลื่อนลงด้านล่างข้อเสนอข้อมูลตัวอย่าง และเลือกแท็บ Azure จากนั้น Azure SQL Database จากนั้นเลือก ถัดไปเพื่อดําเนินการต่อ

   

3. สร้างการเชื่อมต่อไปยังแหล่งข้อมูลของคุณโดยการเลือก สร้างการเชื่อมต่อใหม่ กรอกข้อมูลการเชื่อมต่อที่จําเป็นบนแผงและป้อน AdventureWorksLT สําหรับฐานข้อมูลที่เราสร้างคิวรีผสานในกระแสข้อมูล จากนั้นเลือก ถัดไป

   

4. เลือกตารางที่คุณสร้างขึ้นในขั้นตอนกระแสข้อมูลก่อนหน้านี้ จากนั้นเลือก ถัดไป

   

5. สําหรับปลายทางของคุณ ให้เลือก Azure Blob Storage จากนั้นเลือก ถัดไป

   

6. สร้างการเชื่อมต่อไปยังปลายทางของคุณโดยการเลือก สร้างการเชื่อมต่อใหม่ ระบุรายละเอียดสําหรับการเชื่อมต่อของคุณ จากนั้นเลือก ถัดไป

   

7. เลือก เส้นทางโฟลเดอร์ และใส่ชื่อไฟล์ จากนั้นเลือก ถัดไป

   

8. เลือก ถัดไป อีกครั้งเพื่อยอมรับรูปแบบไฟล์เริ่มต้น ตัวคั่นคอลัมน์ ตัวคั่นแถว และชนิดการบีบอัด หรืออาจรวมถึงส่วนหัว

   

9. เสร็จสิ้นการตั้งค่าของคุณ จากนั้นให้ตรวจสอบและเลือก บันทึก + เรียกใช้ เพื่อเสร็จสิ้นกระบวนการ

   

ขั้นตอนที่ 5: ออกแบบไปป์ไลน์ข้อมูลของคุณ และบันทึกเพื่อเรียกใช้และโหลดข้อมูล

1. หากต้องการเรียกใช้กิจกรรม คัดลอก หลังจากกิจกรรม กระแสข้อมูล ให้ลากจากกิจกรรม สําเร็จแล้ว กระแสข้อมูล ไปยังกิจกรรม คัดลอก กิจกรรม คัดลอก จะทํางานเฉพาะหลังจากที่กิจกรรม กระแสข้อมูล ประสบความสําเร็จเท่านั้น

   

2. เลือก บันทึก เพื่อบันทึกไปป์ไลน์ข้อมูลของคุณ จากนั้นเลือก เรียกใช้ เพื่อเรียกใช้ไปป์ไลน์ข้อมูลของคุณและโหลดข้อมูลของคุณ

   

กําหนดการดําเนินการไปป์ไลน์

เมื่อคุณเสร็จสิ้นการพัฒนาและทดสอบไปป์ไลน์ของคุณคุณสามารถกําหนดเวลาให้ดําเนินการโดยอัตโนมัติ

1. บนแท็บ หน้าแรก ของหน้าต่างตัวแก้ไขไปป์ไลน์ ให้เลือก กําหนดเวลา

   

2. กําหนดค่ากําหนดการตามความจําเป็น ตัวอย่างนี้กําหนดให้ไปป์ไลน์ดําเนินการทุกวันเวลา 20:00 น. จนถึงสิ้นปี

   

เนื้อหาที่เกี่ยวข้อง

ตัวอย่างนี้แสดงวิธีการสร้างและกําหนดค่ากระแสข้อมูล Gen2 เพื่อสร้างคิวรีแบบผสานและเก็บไว้ในฐานข้อมูล Azure SQL จากนั้นคัดลอกข้อมูลจากฐานข้อมูลลงในไฟล์ข้อความใน Azure Blob Storage คุณได้เรียนรู้วิธีการ:

• สร้างกระแสข้อมูล
• แปลงข้อมูลด้วยกระแสข้อมูล
• สร้างไปป์ไลน์ข้อมูลโดยใช้กระแสข้อมูล
• จัดลําดับการดําเนินการของขั้นตอนในไปป์ไลน์
• คัดลอกข้อมูลด้วยคัดลอกผู้ช่วย
• เรียกใช้และกําหนดเวลาไปป์ไลน์ข้อมูลของคุณ

ถัดไป ล่วงหน้าเพื่อเรียนรู้เพิ่มเติมเกี่ยวกับการตรวจสอบการเรียกใช้ไปป์ไลน์ของคุณ

วิธีตรวจสอบการเรียกใช้ไปป์ไลน์ใน Microsoft Fabric