แชร์ผ่าน

ย้ายจากกระแสข้อมูล Gen1 ไปยังกระแสข้อมูล Gen2: สถานการณ์การโยกย้าย

  • บทความ

บทความนี้แสดงสถานการณ์การโยกย้ายที่แตกต่างกันที่คุณสามารถพิจารณาได้เมื่อ ย้ายจาก Dataflow Gen1 ไปยัง Dataflow Gen2 นอกจากนี้ยังให้คําแนะนําและคําแนะนําการดําเนินการแก่คุณ สถานการณ์เหล่านี้อาจสร้างแรงบันดาลใจให้คุณกําหนดวิธีการโยกย้ายที่ถูกต้องตามข้อกําหนดและสถานการณ์ทางธุรกิจของคุณ

เมื่อคุณโยกย้ายกระแสข้อมูลของคุณ สิ่งสําคัญคือต้องคิดว่านอกเหนือจากการคัดลอกโซลูชันที่มีอยู่ แต่เราขอแนะนําให้ปรับโซลูชันของคุณให้ทันสมัยโดยการใช้ประโยชน์จากนวัตกรรมและความสามารถล่าสุดของกระแสข้อมูล Gen2 วิธีนี้ช่วยให้มั่นใจว่าโซลูชันของคุณสามารถสนับสนุนความต้องการที่เพิ่มขึ้นของธุรกิจ

ตัวอย่างเช่น Dataflow Gen2 มีคุณลักษณะที่ชื่อ สําเนาอย่างรวดเร็วซึ่งจะช่วยลดเวลาที่จําเป็นในการนําเข้าข้อมูลสําหรับการแปลงและตัวเชื่อมต่อบางอย่างอย่างมีนัยสําคัญ กระแสข้อมูล Gen2 ยังได้ปรับปรุง การรีเฟรชแบบเพิ่มหน่วยซึ่งปรับกระบวนการรีเฟรชข้อมูลให้เหมาะสมโดยการอัปเดตเฉพาะข้อมูลที่มีการเปลี่ยนแปลงเท่านั้น ความก้าวหน้าเหล่านี้ไม่เพียงแต่ช่วยเพิ่มประสิทธิภาพและประสิทธิภาพแต่ยังทําให้มั่นใจได้ว่าโซลูชันของคุณจะปรับขนาดอีกด้วย

โน้ต

สถานการณ์การย้ายข้อมูลจะเป็นตัวแทนของการโยกย้ายข้อมูลลูกค้าจริง อย่างไรก็ตามสถานการณ์ของลูกค้าแต่ละรายจะแตกต่างกัน

บทความนี้ไม่ครอบคลุมข้อมูลการกําหนดราคา สําหรับข้อมูลการกําหนดราคา โปรดดู Fabric pricing

สําคัญ

การใช้ CPU ตาม Dataflow Gen1 และ Dataflow Gen2 อาจแตกต่างกันไปตามเหตุผลหลายประการ เช่น การใช้คุณลักษณะใหม่ ๆ ใน Dataflow Gen2 รวมถึง การสร้างเลคเฮ้าส์ staging และ Warehouse การคํานวณ เราขอแนะนําให้คุณดําเนินการวิเคราะห์เชิงลึก — อาจเป็นการพิสูจน์แนวคิด (POC) เพื่อหาปริมาณการใช้ CPU ที่เปรียบเทียบใน Dataflow Gen1 และ Dataflow Gen2 ก่อน คุณโยกย้ายกระแสข้อมูลของคุณ

สถานการณ์การโยกย้าย

กระแสข้อมูลนําเสนอแพลตฟอร์มที่หลากหลายสําหรับการสร้างโซลูชัน ETL ที่ปรับขนาดได้ (แยก แปลง และโหลด) และโซลูชัน ELT (Extract, Load และ Transform) ซึ่งรองรับสถานการณ์การใช้งานที่หลากหลายจาก BI ส่วนบุคคล ไปจนถึง BI ขององค์กร

ต่อไปนี้คือสถานการณ์การโยกย้ายที่เป็นไปได้สามสถานการณ์ที่ได้รับแรงบันดาลใจในบทความนี้:

  • การใช้งานส่วนบุคคลหรือทีม : ทีมขนาดเล็กหรือบุคคลใช้กระแสข้อมูลเพื่อนําเข้าข้อมูลและเตรียมงานโดยอัตโนมัติ ช่วยให้พวกเขามุ่งเน้นไปที่การวิเคราะห์ข้อมูลและข้อมูลเชิงลึก ตัวอย่างเช่น ทีมสามารถใช้กระแสข้อมูลเพื่อดึงข้อมูลจากแหล่งข้อมูลต่าง ๆ เช่น Microsoft Excel หรือ Microsoft SharePoint ได้ กระแสข้อมูลของพวกเขาแปลงข้อมูลต้นทางตามความต้องการเฉพาะของพวกเขา และโหลดลงในแบบจําลองความหมายเพื่อวัตถุประสงค์ในการรายงาน
  • การใช้งานของแผนก: แผนกภายในองค์กรใช้กระแสข้อมูลเพื่อจัดการแหล่งข้อมูลขนาดใหญ่และการแปลงที่ซับซ้อน พวกเขาอาจสร้างกระแสข้อมูลแบบรวมที่ส่งเสริมการนํากลับมาใช้ใหม่และความสอดคล้องกันในรายงานของแผนกเพื่อให้มั่นใจว่าสมาชิกทีมทุกคนทํางานบนข้อมูลเวอร์ชันเดียวกัน
  • การใช้งานขององค์กร : ในระดับองค์กร กระแสข้อมูลเป็นเครื่องมือในการนําเข้าข้อมูลจํานวนมากในหลายแผนกตามมาตราส่วน ทําหน้าที่เป็นเลเยอร์การเตรียมข้อมูลแบบรวมศูนย์ที่ป้อนเข้าไปยังแบบจําลองความหมายจํานวนมาก ซึ่งครอบคลุมแอปพลิเคชันข่าวกรองธุรกิจและการวิเคราะห์ที่หลากหลาย ทั้งองค์กรได้รับประโยชน์จากข้อมูลที่เชื่อถือได้ up-toวันที่ซึ่งช่วยให้สามารถตัดสินใจได้ทุกระดับ

ในแต่ละสถานการณ์เหล่านี้ กระแสข้อมูลช่วยในการสร้างโซลูชัน ETL/ELT ที่แข็งแกร่งและปรับขนาดได้ที่สามารถเติบโตไปพร้อมกับความต้องการของทีม แผนก หรือองค์กร กระแสข้อมูลที่ออกแบบมาอย่างดีช่วยให้แน่ใจว่ากระบวนการจัดการข้อมูลยังคงมีประสิทธิภาพและประสิทธิผล

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับสถานการณ์การใช้งาน โปรดดู การวางแผนการใช้งาน Microsoft Fabric

สถานการณ์การโยกย้าย 1

ในสถานการณ์การโยกย้ายนี้ องค์กรใช้กระแสข้อมูล Power BI สําหรับการเตรียมข้อมูลด้วยตนเองเพื่อสนับสนุนสถานการณ์การใช้งานส่วนบุคคลหรือทีม กระแสข้อมูลจะอยู่ภายในพื้นที่ทํางานเดียวที่ถูกกําหนดให้เป็นความจุ Fabric

ผู้สร้างกระแสข้อมูลต้องการใช้ประโยชน์จากความสามารถขั้นสูงของ กระแสข้อมูล Gen2 เพื่อวัตถุประสงค์ในการเขียน ในเวลาเดียวกัน พวกเขาวางแผนที่จะดําเนินการต่อไปโดยใช้ตารางกระแสข้อมูลเป็นแหล่งข้อมูลในระหว่างการโยกย้ายแบบเป็นระยะ วิธีนี้ช่วยให้ง่ายต่อการใช้งานและการเชื่อมต่อสําหรับผู้สร้างเนื้อหาที่ทํางานกับแบบจําลองความหมายของ Power BI สเปรดชีต Excel หรือตาราง Dataverse อย่างน้อยจนกว่าการเปลี่ยนไปยังแหล่งข้อมูลปลายทางที่ได้รับการสนับสนุนจะเสร็จสมบูรณ์

หากต้องการโยกย้ายโซลูชัน ของพวกเขา ผู้สร้างกระแสข้อมูล:

  1. อัปเดต ID พื้นที่ทํางาน ถ้ามีการสร้างพื้นที่ทํางานใหม่เพื่อจัดเก็บกระแสข้อมูลใหม่
  2. อัปเดตโซลูชันที่มีอยู่จาก ID กระแสข้อมูล (Gen1) เดิมเป็น ID กระแสข้อมูล (Gen2) ใหม่

นี่คือคิวรีตัวอย่างที่ได้รับการอัปเดตเพื่อดึงข้อมูลสําหรับตารางมิติวันที่

let
    Source = PowerPlatform.Dataflows(null),
    Workspaces = Source{[Id="Workspaces"]}[Data],
    Workspace = Workspaces{[workspaceId="<enter new workspace ID>"]}[Data],
    DataflowId = Workspace{[dataflowId="<enter new dataflow ID"]}[Data],
    DimDateTable = DataflowId{[entity="DimDate", version=""]}[Data]
in
    DimDateTable

ปลาย

ถ้าคุณกําหนดพารามิเตอร์ค่า workspaceId และ dataflowId ในแบบจําลองเชิงความหมาย คุณสามารถใช้ชุดข้อมูล - อัปเดตพารามิเตอร์ในกลุ่ม การดําเนินการ REST API เพื่ออัปเดตรายละเอียดพารามิเตอร์ mashup โดยทางโปรแกรม

สําคัญ

ถึงแม้จะสามารถรับ ข้อมูลได้โดยใช้ตัวเชื่อมต่อกระแสข้อมูล แต่ไม่แนะนําให้ใช้วิธีนี้เมื่อใช้ Dataflow Gen2 แต่เราขอแนะนําให้คุณใช้ฟังก์ชันปลายทางข้อมูลเพื่อส่งออกตารางที่สร้างขึ้นทั้งหมดจาก Dataflow Gen2 ไปยังรายการ Fabric หรือปลายทางอื่น ๆ เมื่อใดก็ตามที่เป็นไปได้ นั่นเป็นเพราะตัวเชื่อมต่อกระแสข้อมูลใช้เลเยอร์ที่เก็บข้อมูลการใช้งานระบบพื้นฐาน (เรียกว่า DataflowsStagingLakehouse) และอาจมีการเปลี่ยนแปลงได้เมื่อมีการเพิ่มฟังก์ชันการทํางานหรือคุณสมบัติใหม่

สถานการณ์การโยกย้าย 2

ในสถานการณ์การโยกย้ายนี้ องค์กรใช้กระแสข้อมูล Power BI สําหรับการเตรียมข้อมูลด้วยตนเองเพื่อสนับสนุนสถานการณ์การใช้งานของแผนกด้วยกระแสข้อมูลที่แยกได้และตารางที่เชื่อมโยงในพื้นที่ทํางานหลายแห่ง

ผู้สร้างกระแสข้อมูลต้องการใช้ประโยชน์จากความสามารถขั้นสูงของ Dataflow Gen2 สําหรับการเขียน ในขณะที่ยังแชร์และส่งออกตารางกระแสข้อมูลไปยัง Fabric lakehouse ได้อย่างมีประสิทธิภาพ วิธีนี้ใช้ประโยชน์จากทางลัด OneLake ทางลัด OneLake ช่วยลดความซับซ้อนของการจัดการโซลูชันโดยลดเวลาแฝงของกระบวนการที่เชื่อมโยงกับตารางที่เชื่อมโยงทั่วทั้งพื้นที่ทํางานและกําจัดสําเนาข้อมูลจํานวนมาก

หากต้องการโยกย้ายโซลูชัน ของพวกเขา ผู้สร้างกระแสข้อมูล:

  1. แทนที่ตารางที่เชื่อมโยงด้วยทางลัด OneLake ซึ่งให้ผู้บริโภคปลายทางที่มีการเข้าถึงข้อมูลโดยตรง
  2. อัปเดตโซลูชันที่มีอยู่และเปลี่ยนคิวรีโดยแทนที่ฟังก์ชัน PowerPlatform.Dataflows หรือ PowerBI.Dataflows ด้วยฟังก์ชันการเข้าถึงข้อมูล Lakehouse.Contents ใน Fabric

นี่คือตัวอย่างคิวรี PowerQuery ที่ได้รับการอัปเดตเพื่อดึงข้อมูลจากตารางมิติลูกค้า

let
  Source = Lakehouse.Contents([]),
  WorkspaceId = Source{[workspaceId="<0000aaaa-11bb-cccc-dd22-eeeeee333333>"]}[Data],
  LakehouseId = WorkspaceId{[lakehouseId="1111bbbb-22cc-dddd-ee33-ffffff444444"]}[Data],
  DimCustomerTable = LakehouseId{[Id="DimCustomer", ItemKind="Table"]}[Data]
in
  DimCustomerTable

โน้ต

คุณสามารถแก้ไขนิพจน์คิวรีทางโปรแกรมในแบบจําลองความหมาย Power BI ที่เผยแพร่ไปยัง Fabric โดยใช้ตําแหน่งข้อมูล XMLA และโดยการอัปเดตนิพจน์ M ที่มีการแบ่งพาร์ติชันของตาราง

อย่างไรก็ตาม โปรดทราบว่าเมื่อคุณปรับเปลี่ยนแบบจําลองความหมายโดยใช้ตําแหน่งข้อมูล XMLA คุณจะไม่สามารถดาวน์โหลดได้จากบริการของ Power BI

สถานการณ์การโยกย้าย 3

ในสถานการณ์การโยกย้ายนี้ องค์กรใช้กระแสข้อมูล Power BI สําหรับการเตรียมข้อมูลแบบบริการตนเองเพื่อสนับสนุนสถานการณ์การใช้งานของแผนกด้วยกระแสข้อมูลที่แยกได้ในพื้นที่ทํางานหลายแห่ง

ผู้สร้างกระแสข้อมูลต้องการใช้ประโยชน์จากความสามารถขั้นสูงของ Dataflow Gen2 สําหรับการเขียน ในขณะที่ยังมีการส่งออกและการแชร์ตารางกระแสข้อมูลจากคลังสินค้า Fabric ที่มีสิทธิ์ผู้ใช้ที่แยกย่อยได้ วิธีนี้มีความยืดหยุ่น และการเข้าถึงข้อมูลสามารถใช้ได้กับการรักษาความปลอดภัยระดับแถว (RLS) การรักษาความปลอดภัยระดับคอลัมน์ (CLS) และ data masking แบบไดนามิก (DDM)

หากต้องการโยกย้ายโซลูชัน ของพวกเขา ผู้สร้างกระแสข้อมูล:

  1. ให้สิทธิ์การเข้าถึงข้อมูลผ่าน สิทธิ์ที่ละเอียดของกลไกการคํานวณ SQLซึ่งให้การเข้าถึงที่เลือกมากขึ้นแก่ผู้ใช้บางราย โดยการจํากัดการเข้าถึงตารางและ schema ที่เฉพาะเจาะจง ตลอดจนการใช้ RLS และ CLS
  2. อัปเดตโซลูชันที่มีอยู่และเปลี่ยนคิวรีโดยแทนที่ฟังก์ชัน PowerPlatform.Dataflows หรือ PowerBI.Dataflows ด้วยฟังก์ชันการเข้าถึงข้อมูล Fabric.Warehouse ใน Fabric

นี่คือตัวอย่างคิวรี PowerQuery ที่ได้รับการอัปเดตเพื่อดึงข้อมูลจากตารางมิติลูกค้า

let
  Source = Fabric.Warehouse([]),
  WorkspaceId = Source{[workspaceId="0000aaaa-11bb-cccc-dd22-eeeeee333333"]}[Data],
  WarehouseId = WorkspaceId{[warehouseId="1111bbbb-22cc-dddd-ee33-ffffff444444"]}[Data],
  DimCustomerTable = WarehouseId{[Schema="dbo", Item="DimCustomer"]}[Data]
in
  DimCustomerTable

คําแนะนําการโยกย้าย

เราขอแนะนําให้คุณรวบรวมคลังกระแสข้อมูลและรายการที่ขึ้นต่อกันของคุณ เราขอแนะนําให้คุณพิจารณาใช้เทมเพลต Power Query

สินค้า คง คลัง

เพื่อช่วยคุณวางแผนการย้ายของคุณ ขั้นตอนแรกของคุณคือการใช้สินค้าคงคลังของกระแสข้อมูลของคุณและโซลูชันปลายทางทั้งหมดที่ขึ้นอยู่กับพวกเขา การระบุรายการที่ขึ้นต่อกันสามารถช่วยหลีกเลี่ยงการหยุดทํางานและการหยุดชะงัก

  • กระแสข้อมูลเป็นแหล่งข้อมูลใน Power BI
    • ใช้ กระแสข้อมูล - รับกระแสข้อมูลอัพสตรีมในกลุ่ม REST API เพื่อระบุสายข้อมูลและการขึ้นต่อกันระหว่างกระแสข้อมูลที่ใช้ตารางที่เชื่อมโยง โดยเฉพาะอย่างยิ่ง ตารางที่เชื่อมโยงสามารถมีการอ้างอิงได้ถึง 32 รายการ
      • อีกวิธีหนึ่งคือ คุณสามารถใช้ฟังก์ชัน การลิงก์เชิงความหมายของ เพื่อลดความซับซ้อนของกระบวนการเรียกใช้ซ้ํา การดําเนินการ REST API ฟังก์ชันจะทําซ้ํากระแสข้อมูลที่เชื่อมโยงทั้งหมดจนกว่าจะพบระเบียนที่มีค่าว่างเปล่าซึ่งระบุจุดสิ้นสุดของห่วงโซ่
    • ใช้ผู้ดูแลระบบ - ชุดข้อมูล GetDatasetToDataflowsLinksInGroupAsAdmin การดําเนินการ REST API เพื่อรวบรวมคลังแบบจําลองความหมายของ Power BI ที่ใช้กระแสข้อมูลภายในพื้นที่ทํางานซึ่งจะต้องมีการอัปเดต
    • ใช้ API ของสแกนเนอร์ Microsoft Fabric เพื่อดึงข้อมูลนิพจน์คิวรี mashup จากแบบจําลองความหมายในผู้เช่า จากนั้นคุณสามารถค้นหานิพจน์สําหรับรหัสกระแสข้อมูลใด ๆ เพื่อทําความเข้าใจสายข้อมูลที่สมบูรณ์ในผู้เช่า
  • กระแสข้อมูลเป็นแหล่งข้อมูลใน Power Apps
    • เข้าถึงนิพจน์คิวรี Mashup จากตารางกระแสข้อมูล ภายในโซลูชันแอป กระแสข้อมูล Power Platform จากนั้นคุณสามารถค้นหานิพจน์สําหรับรหัสกระแสข้อมูลใด ๆ เพื่อทําความเข้าใจสายข้อมูลที่สมบูรณ์ทั่วทั้งแอปพลิเคชันภายในผู้เช่า เมื่อต้องการเรียนรู้วิธีการติดตั้งและจัดการแอปภายใน Dynamics 365 ที่ทํางานบน Microsoft Dataverse โปรดดู จัดการ Power Apps
  • กระแสข้อมูลเป็นแหล่งข้อมูลใน Excel
    • ในขณะที่เวิร์กบุ๊ก Excel ไม่มี REST API เพื่อติดตามสายข้อมูลและการขึ้นต่อกัน คุณสามารถใช้ Visual Basic for Applications (VBA) และออบเจ็กต์ WorkbookConnection เพื่อกําหนดว่าสตริงการเชื่อมต่อประกอบด้วยข้อความ Provider=Microsoft.Mashup.OleDb.1หรือไม่ ซึ่งระบุการเชื่อมต่อ Power Query นอกจากนี้ คุณยังสามารถใช้คุณสมบัติ WorkbookQuery.Formula เพื่อแยกสูตร Power Query ได้
    • หลังจากติดตามสายข้อมูลของกระแสข้อมูลของคุณแล้ว เราขอแนะนําให้คุณอัปเดตการเชื่อมต่อกระแสข้อมูลที่มีอยู่ใน Excel สําหรับรายการ Fabric ดังนี้:
      • หากต้องการเข้าถึงจุดสิ้นสุดการวิเคราะห์ SQL ของ Fabric lakehouse, Warehouse หรือฐานข้อมูล SQL ให้ใช้ตัวเชื่อมต่อ SQL Serverซึ่งใช้ฟังก์ชันการเข้าถึงข้อมูล Sql.Database
      • หากต้องการเข้าถึงเนื้อหาไฟล์ Fabric lakehouse ให้ใช้ตัวเชื่อมต่อ Azure Data Lake Gen2 Storageซึ่งใช้ฟังก์ชันการเข้าถึงข้อมูล
      • เมื่อต้องการเข้าถึงฐานข้อมูล Eventhouse Fabric ให้ใช้ตัวเชื่อมต่อ Azure Data Explorerซึ่งใช้ฟังก์ชันการเข้าถึงข้อมูล AzureDataExplorer.Contents

เทมเพลต Power Query

เทมเพลต Power Query ลดความซับซ้อนของกระบวนการถ่ายโอนโครงการระหว่างการรวม Power Query ที่แตกต่างกัน พวกเขาช่วยปรับปรุงสิ่งที่อาจเป็นงานที่ซับซ้อนและใช้เวลานาน เทมเพลตย่อส่วนโครงการ Power Query ทั้งหมด รวมถึงสคริปต์และเมตาดาต้า ให้เป็นไฟล์เดียวแบบพกพา

เทมเพลต Power Query ได้รับการออกแบบมาเพื่อเข้ากันได้กับการผสานรวมต่าง ๆ เช่น กระแสข้อมูล Power BI (Gen1) และกระแสข้อมูล Fabric (Gen2) เพื่อให้มั่นใจถึงการเปลี่ยนแปลงที่ราบรื่นระหว่างบริการเหล่านี้

เนื้อหาที่เกี่ยวข้อง

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับบทความนี้ โปรดดูทรัพยากรต่อไปนี้:

คู่ค้า Fabric พร้อมช่วยให้องค์กรของคุณประสบความสําเร็จในกระบวนการโยกย้ายข้อมูล หากต้องการมีส่วนร่วมกับคู่ค้า Fabric โปรดไปที่พอร์ทัลคู่ค้า Fabric