使用離線評估來分析您的學習迴圈

重要

從 2023 年 9 月 20 日起，您將無法建立新的個人化工具資源。 個人化工具服務將於 2026 年 10 月 1 日淘汰。

了解如何建立離線評估並解譯結果。

離線評估可讓您衡量個人化工具在一段記錄 (歷程記錄) 資料期間與應用程式預設行為相比較的有效性，並評定其他模型組態設定對您模型的執行成效。

當您建立離線評估時，「最佳化探索」選項將針對各種學習原則值執行離線評估，以尋找可改善模型效能的評估。 您也可以提供額外的原則，在離線評估中進行評定。

閱讀離線評估進一步了解。

必要條件

• 已設定的個人化工具資源
• 個人化工具資源必須要有已記錄的代表性資料量，經過大約估算之後，建議記錄中至少要有 50,000 個事件，才能取得有意義的評估結果。 (選擇性) 您先前可能也匯出了希望在此評估中進行測試和比較的「學習原則」檔案。

執行離線評估

1. 在 Azure 入口網站中，找到個人化工具資源。

2. 在 Azure 入口網站中，移至 [評估] 區段，然後選取 [建立評估]。

3. 填寫 [建立評估] 視窗中的選項：

   • 評估名稱。
   • 開始和結束的日期：這些都是在評估中用於指定資料範圍的日期。 如 資料保留值所指定，此資料必須存在記錄中。
   • 如果您希望個人化工具嘗試尋找更多最佳學習原則，將 [最佳化探索] 設定為 [是]。
   • 新增學習設定 - 如果您希望評估自訂或先前匯出的原則，請上傳學習原則檔案。

   

4. 選取 [開始評估] 以開始評估。

檢閱評估結果

評估可能需要很長的執行時間，這取決於要處理的資料量、要比較的學習原則數目、是否已要求最佳化。

1. 完成之後，您可以從評估清單中選取評估，然後選取 [比較您的應用程式與其他可能之學習設定的分數]。 當想要比較目前的學習原則和新原則的效能時，請選取這項功能。

2. 接下來，檢閱學習原則的效能。

   

您將在圖表上看到各種學習原則，包括預估的平均獎勵、信賴區間，以及下載或套用特定原則的選項。

• "Online"：個人化工具目前的原則
• "Baseline1"：應用程式的基準原則
• "BaselineRand"：隨機採取動作的原則
• "Inter-len#" 或 "Hyper#"：最佳化探索所建立的原則。

選取 [套用] 以套用可改善最適資料模型的原則。

下一步

• 深入了解離線評估的運作方式。