กระแสข้อมูลรุ่น 2 ที่รองรับการรวม CI/CD และ Git (ตัวอย่าง)
ในตอนนี้ Dataflow Gen2 รองรับการรวมอย่างต่อเนื่อง/การปรับใช้อย่างต่อเนื่อง (CI/CD) และการรวม Git คุณลักษณะนี้ช่วยให้คุณสามารถสร้าง แก้ไข และจัดการกระแสข้อมูลในที่เก็บ Git ที่เชื่อมต่อกับพื้นที่ทํางานของผ้า นอกจากนี้ คุณสามารถใช้คุณลักษณะไปป์ไลน์การปรับใช้เพื่อทําให้การปรับใช้กระแสข้อมูลจากพื้นที่ทํางานของคุณไปยังพื้นที่ทํางานอื่น ๆ เป็นไปโดยอัตโนมัติ บทความนี้เจาะลึกลงในวิธีใช้ Dataflow Gen2 ด้วยการรวม CI/CD และ Git ใน Fabric Data Factory
โน้ต
รุ่นการสนับสนุนการรวม CI/CD และ Git ได้ถูกจัดกําหนดการใหม่เป็นเดือนมกราคมเพื่อให้แน่ใจว่าคุณภาพของการเปิดตัวและตรวจสอบให้แน่ใจว่าไม่มีผลกระทบกับการดําเนินงานที่มีอยู่ เราขออภัยสําหรับความไม่สะดวกและขอขอบคุณที่คุณเข้าใจ
คุณลักษณะใหม่
ด้วย Dataflow Gen2 (ตัวอย่าง CI/CD) ตอนนี้คุณสามารถ:
- ใช้การสนับสนุนการรวม Git สําหรับ Dataflow Gen2
- ใช้คุณลักษณะไปป์ไลน์การปรับใช้เพื่อทําให้การปรับใช้กระแสข้อมูลจากพื้นที่ทํางานของคุณไปยังพื้นที่ทํางานอื่น ๆ เป็นไปโดยอัตโนมัติ
- ใช้การตั้งค่า Fabric และตัวจัดกําหนดการเพื่อรีเฟรชและแก้ไขการตั้งค่าสําหรับ Dataflow Gen2
- สร้างกระแสข้อมูล Gen2 ของคุณลงในโฟลเดอร์พื้นที่ทํางานโดยตรง
ข้อกำหนดเบื้องต้น
เมื่อต้องการเริ่มต้นใช้งาน คุณต้องดําเนินการข้อกําหนดเบื้องต้นต่อไปนี้ให้เสร็จสมบูรณ์:
- มีบัญชีผู้เช่า Microsoft Fabric ที่มีการสมัครใช้งานที่ใช้งานอยู่ สร้างบัญชีฟรี
- ตรวจสอบให้แน่ใจว่า คุณมีพื้นที่ทํางานที่เปิดใช้งาน Microsoft Fabric
- หากต้องการเพลิดเพลินไปกับการรวม Git ตรวจสอบให้แน่ใจว่ามีการเปิดใช้งานสําหรับพื้นที่ทํางานของคุณ เมื่อต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการเปิดใช้งานการรวม Git ไปที่ เริ่มต้นใช้งานการรวม Git
สร้างกระแสข้อมูล Gen2 ด้วยการสนับสนุน CI/CD และ Git
หากต้องการสร้างกระแสข้อมูล Gen2 ที่รองรับ CI/CD และ Git ให้ทําตามขั้นตอนเหล่านี้:
ในพื้นที่ทํางาน Fabric เลือกสร้างรายการใหม่จากนั้นเลือกกระแสข้อมูล Gen2
ตั้งชื่อกระแสข้อมูลของคุณและเปิดใช้งานการรวม Git จากนั้น เลือก สร้าง
กระแสข้อมูลจะถูกสร้างขึ้นและคุณถูกเปลี่ยนเส้นทางไปยังพื้นที่ทํางานสําหรับเขียนกระแสข้อมูล ตอนนี้คุณสามารถเริ่มสร้างกระแสข้อมูลของคุณ
เมื่อคุณทําเสร็จแล้ว เลือก บันทึกและเรียกใช้
หลังจากที่คุณเผยแพร่ กระแสข้อมูลจะมีสถานะเป็นไม่ได้ผูกมัด
เพื่อบันทึกกระแสข้อมูลไปยังที่เก็บ Git ให้เลือกไอคอนตัวควบคุมแหล่งข้อมูลที่มุมบนขวาของมุมมองพื้นที่ทํางาน
เลือกการเปลี่ยนแปลงทั้งหมดที่คุณต้องการบันทึก จากนั้นเลือก ยืนยัน
ตอนนี้คุณมีกระแสข้อมูล Gen2 ที่รองรับ CI/CD และ Git แล้ว เราขอแนะนําให้คุณปฏิบัติตามแนวทางปฏิบัติที่ดีที่สุดสําหรับการทํางานกับการรวม CI/CD และ Git ใน Fabric ที่อธิบายไว้ใน สถานการณ์ที่ 2 - พัฒนาโดยใช้บทช่วยสอนพื้นที่ทํางาน อื่น
รีเฟรชกระแสข้อมูล Gen2 หรือจัดกําหนดการการรีเฟรช
คุณสามารถรีเฟรชกระแสข้อมูล Gen2 ด้วยการสนับสนุน CI/CD และ Git ได้สองวิธี ทั้งด้วยตนเองหรือโดยกําหนดตารางเวลาการรีเฟรช ส่วนต่อไปนี้อธิบายวิธีการรีเฟรชกระแสข้อมูล Gen2 ด้วยการสนับสนุน CI/CD และ Git
รีเฟรชตอนนี้
ในพื้นที่ทํางานของผ้า ให้เลือกตัวเลือกเพิ่มเติมที่ไอคอนจุดไข่ปลาถัดจากกระแสข้อมูลที่คุณต้องการรีเฟรช
เลือกรีเฟรชทันที
กําหนดตารางเวลาการรีเฟรช
ถ้ากระแสข้อมูลของคุณจําเป็นต้องรีเฟรชตามช่วงเวลาปกติ คุณสามารถจัดกําหนดการการรีเฟรชโดยใช้ตัวจัดกําหนดการ Fabric
ในพื้นที่ทํางาน Fabric ให้เลือกตัวเลือกเพิ่มเติมที่ไอคอนจุดไข่ปลาถัดจากกระแสข้อมูลที่คุณต้องการรีเฟรช
เลือก กำหนดการ
บนหน้ากําหนดการ คุณสามารถตั้งค่าความถี่ในการรีเฟรชและเวลาเริ่มต้นและเวลาสิ้นสุดหลังจากนั้นคุณสามารถใช้การเปลี่ยนแปลงได้
หากต้องการเริ่มรีเฟรชทันที ให้เลือกปุ่มรีเฟรช
ประวัติการรีเฟรชและการตั้งค่า
เมื่อต้องการดูประวัติการรีเฟรชของกระแสข้อมูล คุณสามารถเลือกแท็บประวัติการรีเฟรชในเมนูดรอปดาวน์หรือไปที่ฮับจอภาพและเลือกกระแสข้อมูลที่คุณต้องการดูประวัติการรีเฟรช
การตั้งค่าสําหรับ Dataflow Gen2 ที่มี CI/CD
การเข้าถึงการตั้งค่าของ Dataflow Gen2 ใหม่ที่มีการสนับสนุน CI/CD และ Git จะคล้ายกับรายการ Fabric อื่น ๆ คุณสามารถเข้าถึงการตั้งค่าได้โดยการเลือกไอคอนจุดไข่ปลาตัวเลือกเพิ่มเติมถัดจากกระแสข้อมูลและเลือกการตั้งค่า
ข้อจำกัดและปัญหาที่ทราบ
ในขณะที่ Dataflow Gen2 ที่มีการสนับสนุน CI/CD และ Git นําเสนอชุดคุณสมบัติที่มีประสิทธิภาพสําหรับการทํางานร่วมกันที่พร้อมสําหรับองค์กร ซึ่งทําให้เราสร้างแบ็คเอนด์ไปยังสถาปัตยกรรมผ้าอีกครั้ง ซึ่งหมายความว่าคุณลักษณะบางอย่างยังไม่พร้อมใช้งานหรือมีข้อจํากัด เรากําลังทํางานเพื่อปรับปรุงประสบการณ์และจะอัปเดตบทความนี้เมื่อมีการเพิ่มคุณลักษณะใหม่
- อาร์ทิแฟกต์การจัดเตรียมอยู่ในประสบการณ์การใช้งานบางอย่างที่สามารถมองเห็นได้เช่น ALM UI สิ่งประดิษฐ์การจัดเตรียมจะถูกซ่อนไว้ในประสบการณ์ทั้งหมดในอนาคต
- เมื่อคุณลบกระแสข้อมูล Gen2 ล่าสุดที่มีการสนับสนุน CI/CD และ Git วัตถุการกําหนดตําแหน่งจะปรากฏในพื้นที่ทํางานและปลอดภัยที่จะลบโดยผู้ใช้
- ประสบการณ์บางอย่างกล่าวถึงการสนับสนุนสําหรับ REST API แต่ API เหล่านี้ยังไม่พร้อมใช้งาน กระแสข้อมูล Gen2 ทั้งหมดที่มีการสนับสนุน CI/CD และ Git จะรองรับ Fabric Public API ในอนาคต
- การจัดเรียงการรีเฟรชของกระแสข้อมูลรุ่น 2 ที่มีการสนับสนุน CI/CD และ Git ไม่สามารถทําได้ในไปป์ไลน์ข้อมูล Fabric
- มุมมองพื้นที่ทํางานจะไม่แสดงหากการรีเฟรชสําหรับกระแสข้อมูลดําเนินอยู่
- Copilot สําหรับ Dataflow Gen2 ที่มีการสนับสนุน CI/CD และ Git ยังไม่พร้อมใช้งาน
- การเชื่อมต่อ VNet Gateway ยังไม่ได้รับการสนับสนุนในประสบการณ์การเขียนกระแสข้อมูล
- คุณไม่สามารถส่งออก Dataflow.json จากเมนูพื้นที่ทํางาน การแก้ไขปัญหาชั่วคราวที่ช่วยให้คุณสามารถส่งออกกระแสข้อมูลได้คือ:
- ใช้ Fabric Public API เพื่อรับ Dataflow.json
- ใช้คุณลักษณะส่งออกเทมเพลต power query เพื่อส่งออกข้อกําหนดกระแสข้อมูล
- ใช้ OneLake explorer ไปยังพื้นที่ทํางานเพื่อรับข้อกําหนดกระแสข้อมูล
- กระแสข้อมูลรุ่น 2 ที่รองรับ CI/CD และ Git ไม่รองรับฟีเจอร์รับความเป็นเจ้าของในพื้นที่ทํางาน Fabric ดังนั้น ผู้สร้างกระแสข้อมูลเท่านั้นที่สามารถแก้ไขกระแสข้อมูลได้ ถ้าคุณต้องการทํางานร่วมกันบนกระแสข้อมูล คุณสามารถใช้สาขาในที่เก็บข้อมูล Git และสร้างคําขอดึงข้อมูลเพื่อรวมการเปลี่ยนแปลงได้ สําหรับข้อมูลเพิ่มเติม ไปที่ สถานการณ์ที่ 2 - พัฒนาโดยใช้พื้นที่ทํางานอื่น
- เมื่อแยกสาขาออกจากพื้นที่ทํางานอื่น การรีเฟรชกระแสข้อมูล Gen2 อาจล้มเหลวด้วยข้อความว่าไม่สามารถค้นหา staging lakehouse ได้ เมื่อเกิดกรณีนี้ขึ้น ให้สร้างกระแสข้อมูลรุ่น Gen2 ใหม่โดยรองรับ CI/CD และ Git ในพื้นที่ทํางานเพื่อกระตุ้นการสร้างเลคเฮ้าส์สเตจ หลังจากนี้ กระแสข้อมูลอื่น ๆ ทั้งหมดในพื้นที่ทํางานควรเริ่มทํางานอีกครั้ง
- เมื่อคุณสร้างรายการใหม่ในพื้นที่ทํางานของคุณ อาจแสดงรายการ "Dataflow Gen2 (CI/CD, preview)" ละเว้นรายการนี้และทําตามคําแนะนําที่อธิบายไว้ในบทความนี้ ซึ่งอาจใช้เวลาสักครู่จนกว่าภูมิภาคของคุณจะแสดงกล่องกาเครื่องหมายสําหรับการเปิดใช้งานการสนับสนุน CI/CD และ Git
- สําเนาด่วนอาจไม่เปิดใช้งานตามค่าเริ่มต้นในกระแสข้อมูลของคุณ คุณสามารถเปิดใช้งานได้โดยใช้การตั้งค่ากระแสข้อมูล
- การเชื่อมต่อที่ใช้เกตเวย์ข้อมูลภายในองค์กรในขณะนี้ทําให้เกิดปัญหาในการรีเฟรชกระแสข้อมูล เราขอแนะนําให้ใช้วิธีการที่แตกต่างกันสําหรับการรับข้อมูลจากแหล่งข้อมูลภายในองค์กรลงใน fabric
เรามุ่งมั่นที่จะปรับปรุงกระแสข้อมูล Gen2 อย่างต่อเนื่องด้วยการสนับสนุน CI /CD และ Git และชื่นชมความอดทนของคุณในขณะที่เราทํางานเพื่อการปรับปรุงเหล่านี้