แชร์ผ่าน

สถานการณ์การกําหนดราคาโดยใช้กระแสข้อมูล Gen2 เพื่อโหลดข้อมูล Parquet 2 GB ไปยังตาราง Lakehouse

  • บทความ

ในสถานการณ์นี้ กระแสข้อมูล Gen2 ถูกใช้เพื่อโหลดข้อมูล Parquet 2 GB ที่จัดเก็บไว้ใน Azure Data Lake Storage (ADLS) Gen2 ไปยังตาราง Lakehouse ใน Microsoft Fabric เราใช้ข้อมูลตัวอย่างสีเขียวของ NYC Taxi สําหรับข้อมูล Parquet

ราคาที่ใช้ในตัวอย่างต่อไปนี้เป็นการสมมติขึ้นและไม่ได้ตั้งใจจะหมายถึงการกําหนดราคาจริงที่แน่นอน ต่อไปนี้เป็นเพียงการสาธิตวิธีการที่คุณสามารถประมาณ วางแผน และจัดการค่าใช้จ่ายสําหรับโครงการ Data Factory ใน Microsoft Fabric นอกจากนี้เนื่องจากความจุ Fabric มีราคาเฉพาะในแต่ละภูมิภาค เราจึงใช้การกําหนดราคาแบบจ่ายตามการใช้งานจริงสําหรับความจุ Fabric ที่ US West 2 (ภูมิภาค Azure ทั่วไป) อยู่ที่ $0.18 ต่อ CU ต่อชั่วโมง ดูที่ Microsoft Fabric - ราคา เพื่อสํารวจตัวเลือกการกําหนดราคา Fabric อื่น ๆ

การกำหนดค่า

หากต้องการทําสถานการณ์นี้ให้สําเร็จ คุณต้องสร้างกระแสข้อมูลด้วยขั้นตอนต่อไปนี้:

  1. เริ่มต้นกระแสข้อมูล: รับข้อมูลไฟล์ Parquet 2 GB จากบัญชีที่เก็บข้อมูล ADLS Gen2
  2. กําหนดค่า Power Query:
    1. นําทางไปยัง Power Query
    2. ตรวจสอบให้แน่ใจว่ามีการเปิดใช้งานตัวเลือกสําหรับการจัดเตรียมคิวรี
    3. ดําเนินการรวมไฟล์ Parquet
  3. การแปลงข้อมูล:
    1. เลื่อนระดับส่วนหัวเพื่อความชัดเจน
    2. ลบคอลัมน์ที่ไม่จําเป็นออก
    3. ปรับชนิดข้อมูลคอลัมน์ตามความจําเป็น
  4. กําหนดปลายทางของข้อมูลผลลัพธ์:
    1. กําหนดค่าของเลคเฮ้าส์เป็นปลายทางผลลัพธ์ข้อมูล
    2. ในตัวอย่างนี้ มีการสร้างและใช้งานเลคเฮ้าส์ภายใน Fabric

การประมาณค่าใช้จ่ายโดยใช้แอปการวัด Fabric

Screenshot showing the duration and CU consumption of the job in the Fabric Metrics App.

Screenshot showing details of Dataflow Gen2 Refresh duration and CU consumption.

Screenshot showing details of SQL Endpoint Query duration and CU consumption used in the run.

Screenshot showing details of Warehouse Query and OneLake Compute duration and CU consumption used in the run.

Screenshot showing details of Query and Dataset On-Demand Refresh duration and CU consumption and SQL Endpoint Query used in the run.

Screenshot showing details of a second Query and Dataset On-Demand Refresh duration and CU consumption used in the run.

Screenshot showing details of OneLake Compute and 2 High Scale Dataflow Compute duration and CU consumption used in the run.

ตัววัดการคํานวณกระแสข้อมูลระดับสูงบันทึกกิจกรรมที่ละเลยได้ ตัววัดการคํานวณมาตรฐานสําหรับการดําเนินการรีเฟรชกระแสข้อมูล Gen2 ใช้หน่วยคํานวณ 112,098.540 หน่วย (CUs) สิ่งสําคัญคือต้องพิจารณาว่าการดําเนินการอื่น ๆ รวมถึง Warehouse Query, SQL Endpoint Query และ Dataset On-Demand Refresh ซึ่งเป็นลักษณะโดยละเอียดของการใช้งาน Dataflow Gen2 ที่โปร่งใสและจําเป็นสําหรับการดําเนินการที่เกี่ยวข้องในปัจจุบัน อย่างไรก็ตาม การดําเนินการเหล่านี้จะถูกมองไม่เห็นในการอัปเดตในอนาคต และควรละเว้นเมื่อประเมินค่าใช้จ่ายสําหรับ Dataflow Gen2

หมายเหตุ

แม้ว่ารายงานเป็นเมตริก แต่ระยะเวลาที่แท้จริงของการเรียกใช้ไม่เกี่ยวข้องเมื่อคํานวณชั่วโมง CU ที่มีประสิทธิภาพด้วยแอปเมตริก Fabric ตั้งแต่เมตริก CU วินาทีและยังรายงานบัญชีอยู่แล้วสําหรับระยะเวลา

Metric การคํานวณมาตรฐาน การคํานวณระดับสูง
วินาที CU ทั้งหมด 112,098.54 CU วินาที 0 CU วินาที
เรียกเก็บเงิน CU-ชั่วโมงที่มีประสิทธิภาพ 112,098.54 / (60*60) = 31.14 CU ชั่วโมง 0 / (60*60) = 0 ชั่วโมงคิว

ต้นทุนการเรียกใช้ทั้งหมดที่ $0.18/CU ชั่วโมง = (31.14 CU-ชั่วโมง) * ($0.18/CU ชั่วโมง) ~ = $5.60

เนื้อหาที่เกี่ยวข้อง