การล็อกอัตโนมัติใน Microsoft Fabric

Synapse Data Science ใน Microsoft Fabric รวมถึงการล็อกอัตโนมัติซึ่งจะช่วยลดจํานวนโค้ดที่จําเป็นในการบันทึกพารามิเตอร์ เมตริก และรายการของแบบจําลองการเรียนรู้ของเครื่องในระหว่างการฝึกอบรมโดยอัตโนมัติ บทความนี้อธิบายการล็อกอัตโนมัติสําหรับ Synapse Data Science ใน Microsoft Fabric

การล็อกอัตโนมัติเพิ่มขีดความสามารถ การติดตาม MLflow และผสานรวมเข้ากับวิทยาศาสตร์ข้อมูล Synapse ในประสบการณ์ Microsoft Fabric อย่างลึกซึ้ง การบันทึกอัตโนมัติสามารถจับภาพเมตริกต่าง ๆ รวมถึงความแม่นยํา การสูญเสีย คะแนน F1 และเมตริกที่กําหนดเองที่คุณกําหนด นักพัฒนาซอฟต์แวร์และนักวิทยาศาสตร์ข้อมูลสามารถติดตามและเปรียบเทียบประสิทธิภาพของแบบจําลองและการทดลองที่แตกต่างกันได้อย่างง่ายดายโดยไม่ต้องติดตามด้วยตนเอง

เฟรมเวิร์กที่รองรับ

การล็อกอัตโนมัติสนับสนุนเฟรมเวิร์กการเรียนรู้ของเครื่องที่หลากหลาย รวมถึง TensorFlow, PyTorch, Scikit-learn และ XGBoost หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับคุณสมบัติเฉพาะของเฟรมเวิร์กที่บันทึกโดยอัตโนมัติ โปรดดูเอกสารประกอบ MLflow

การกําหนดค่า

การล็อกอัตโนมัติทํางานโดยการจับค่าของพารามิเตอร์อินพุต เมตริกผลลัพธ์ และรายการผลลัพธ์ของแบบจําลองการเรียนรู้ของเครื่องโดยอัตโนมัติขณะที่กําลังได้รับการฝึก ข้อมูลนี้จะถูกบันทึกไปยังพื้นที่ทํางาน Microsoft Fabric ของคุณ ซึ่งคุณสามารถเข้าถึงและแสดงภาพได้โดยใช้ API ของ MLflow หรือรายการการทดลองและแบบจําลองที่สอดคล้องกันในพื้นที่ทํางาน Microsoft Fabric ของคุณ

เมื่อคุณเปิดใช้งานสมุดบันทึก Synapse Data Science แล้ว Microsoft Fabric จะเรียกใช้ mlflow.autolog() เพื่อเปิดใช้งานการติดตามและโหลดการขึ้นต่อกันที่เกี่ยวข้องทันที เมื่อคุณฝึกแบบจําลองในสมุดบันทึกของคุณ MLflow จะติดตามข้อมูลแบบจําลองนี้โดยอัตโนมัติ

การกําหนดค่าเกิดขึ้นเบื้องหลังโดยอัตโนมัติเมื่อคุณเรียกใช้ import mlflow การกําหนดค่าเริ่มต้นสําหรับสมุดบันทึก mlflow.autolog() hook คือ:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

กำหนด เอง

หากต้องการกําหนดลักษณะการทํางานของการบันทึกเอง คุณสามารถใช้การกําหนดค่า mlflow.autolog() ได้ การกําหนดค่านี้มีพารามิเตอร์เพื่อเปิดใช้งานการบันทึกแบบจําลอง รวบรวมตัวอย่างการป้อนข้อมูล กําหนดค่าคําเตือน หรือเปิดใช้งานการบันทึกสําหรับเนื้อหาที่เพิ่มที่คุณระบุ

ติดตามเมตริก พารามิเตอร์ และคุณสมบัติเพิ่มเติม

สําหรับการเรียกใช้ที่สร้างขึ้นด้วย MLflow ให้อัปเดตการกําหนดค่าการบันทึกอัตโนมัติของ MLflow เพื่อติดตามเมตริก พารามิเตอร์ ไฟล์ และเมตาดาต้าเพิ่มเติมดังนี้:

1. อัปเดต mlflow.autolog() เรียกใช้ เพื่อตั้งค่า exclusive=False

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. ใช้ API การติดตาม MLflow เพื่อบันทึกพารามิเตอร์ เพิ่มเติม และเมตริก โค้ดตัวอย่างต่อไปนี้ช่วยให้คุณสามารถบันทึกเมตริกและพารามิเตอร์แบบกําหนดเองของคุณควบคู่ไปกับคุณสมบัติเพิ่มเติมได้

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

ปิดใช้งานการล็อกโดยอัตโนมัติของ Microsoft Fabric

คุณสามารถปิดใช้งานการล็อกโดยอัตโนมัติของ Microsoft Fabric สําหรับเซสชันสมุดบันทึกที่เฉพาะเจาะจง คุณยังสามารถปิดใช้งานการล็อกอัตโนมัติในสมุดบันทึกทั้งหมดได้โดยใช้การตั้งค่าพื้นที่ทํางาน

โน้ต

หากปิดใช้งานการล็อกอัตโนมัติ คุณต้องบันทึกพารามิเตอร์ ของคุณ และเมตริก ด้วยตนเองโดยใช้ API ของ MLflow

ปิดใช้งานการล็อกอัตโนมัติสําหรับเซสชันสมุดบันทึก

เพื่อปิดใช้งานการล็อกโดยอัตโนมัติของ Microsoft Fabric สําหรับเซสชันสมุดบันทึกที่เฉพาะเจาะจง เรียกใช้ mlflow.autolog() และตั้งค่า

import mlflow
mlflow.autolog(disable=True)

ปิดใช้งานการล็อกอัตโนมัติสําหรับสมุดบันทึกและเซสชันทั้งหมด

ผู้ดูแลระบบพื้นที่ทํางานสามารถเปิดหรือปิดใช้งานการล็อกอัตโนมัติของ Microsoft Fabric สําหรับสมุดบันทึกและเซสชันทั้งหมดในพื้นที่ทํางานของพวกเขาโดยใช้การตั้งค่าพื้นที่ทํางาน เมื่อต้องการเปิดใช้งานหรือปิดใช้งานการล็อกอัตโนมัติของ Synapse Data Science:

1. ในพื้นที่ทํางานของคุณ ให้เลือก การตั้งค่าพื้นที่ทํางาน

   

2. ใน การตั้งค่าพื้นที่ทํางานขยาย วิศวกรรมข้อมูล/วิทยาศาสตร์ บนแถบนําทางด้านซ้ายและเลือก การตั้งค่า Spark

3. ใน การตั้งค่า Sparkเลือกแท็บ บันทึกอัตโนมัติ

4. ตั้งค่า ติดตามการทดลองและแบบจําลองการเรียนรู้ของเครื่องโดยอัตโนมัติ ไปยัง On หรือ Off

5. เลือก บันทึก

   

เนื้อหาที่เกี่ยวข้อง

• สร้างแบบจําลองการเรียนรู้ของเครื่องด้วย Apache Spark MLlib
• การทดลองการเรียนรู้ของเครื่อง ใน Microsoft Fabric