預測模型的推斷和評估
本文會介紹與預測工作中模型推斷和評估相關的概念。 如需在 AutoML 中定型預測模型的指示和範例，請參閱設定 AutoML 以使用 SDK 和 CLI 定型時間序列預測模型。
使用 AutoML 來定型並選取最佳模型之後，下一個步驟是產生預測。 然後，如果可以，請評估使用定型資料的測試集所產生的預測正確性。 若要了解如何在自動化機器學習中設定和執行預測模型評估，請參閱協調定型、推斷和評估。
推斷案例
針對機器學習來説，推斷是對未用於定型的新資料產生模型預測的流程。 由於資料的時間相依性，在預測中產生預測的方式有很多種。 最簡單的案例是，推斷期間會緊接在定型期間之後，並在預測時間範圍中產生預測。 下圖說明此案例：
此圖顯示了兩個重要的推斷參數:
- 內容長度是模型進行預測所需的歷程記錄量。
- 預測時間範圍是預測員經過定型會在多長時間之前進行預測。
預測模型通常會使用一些歷史資訊，也就是內容，在預測時間範圍之前預先做出預測。 當內容屬於定型資料的一部分時，AutoML 會儲存進行預測所需要的部分。 因此，不需要明確提供內容。
另外還有兩個比較複雜的推斷案例:
- 產生在預測時間範圍之後的未來預測
- 當定型與推斷期間之間有差距時，取得預測
下列小節將檢閱這些案例。
超過預測時間範圍的預測: 遞迴預測
當您需要超過預測時間範圍的預測時，AutoML 會在推斷期間以遞歸方式套用模型。 模型產生的預測會反饋作為輸入，以便產生後續預測時段的預測。 下圖為一個簡單的範例:
這裡，機器學習會在該時間範圍三倍長的一段時期產生預測。 它會使用一個時段的預測作為下一個時段的內容。
警告
遞迴預測會加劇模型化錯誤。 當預測距離原始預測時間範圍越遠，預測就越不準確。 您可以使用較長的時間範圍重新定型以找出更精確的模型。
定型與推斷期間之間有差距的預測
假設在定型模型後，您想要使用該模型依據定型期間尚無法使用的新觀察來進行預測。 在此情況下，定型與推斷期間之間有時間差距:
AutoML 支援此推斷案例，但 您需要提供差距期間的內容資料，如下圖所示。 傳遞至推斷元件的預測資料會需要差距和遺漏值中的特徵和觀察目標值，或推斷期間内目標的 NaN 值。 下表會顯示這個模式的範例:
已提供 2023-05-01 至 2023-05-03 期間目標和特徵的已知值。 從 2023-05-04 開始的遺漏目標值表示推斷期間係從該日期開始。
AutoML 會使用新的內容資料來更新延隔時間和其他回溯功能，以及更新 ARIMA 之類的模型，以保持內部狀態。 此作業不會更新或重新調整模型參數。
模型評估
評估是從引導模型部署決策的這些預測，在定型資料和計算計量所保留的測試集上產生預測的流程。 因此，有一個適合模型評估的推斷模式：滾動預測。
評估預測模型的最佳做法流程是將定型的預測員在測試集上將時間往前捲動，平均數個預測時段的錯誤計量。 此程序有時稱為回測。 在理想情況下，評估的測試集相對於模型的預測時間範圍很長。 預測錯誤的估計值可能是統計上的雜訊，因此比較不可靠。
下圖會顯示具有三個預測時段的簡單範例:
此圖會說明三個滾動評估參數:
- 內容長度是模型進行預測所需的歷程記錄量。
- 預測時間範圍是預測員經過定型會在多長時間之前進行預測。
- 步幅是指測試集每次反覆運算時滾動時段的提前時間長度。
內容會隨著預測時段一起推前。 當測試集的實際值落在目前的內容時段內時，即會用來進行預測。 用於指定預測時段之實際值的最新日期稱為時段的 起源時間。 下表會顯示三個視窗滾動預測的範例輸出，時間範圍為三天，步驟大小為一天:
有了這樣的資料表，您可以將預測與實際和計算所需的評估計量視覺化。 AutoML 管線可以在具有 推斷元件 的測試集上產生滾動預測。
注意
當測試期間與預測時間範圍相同時，在預測時間範圍前，滾動預測會提供一個預測時段。
評估計量
特定商務案例通常會推動評估摘要或計量的選擇。 一些常見的選擇包括下列範例：
- 繪製觀察的目標值與預測值，以檢查模型所擷取資料的特定動態
- 實際值與預測值之間的平均絕對百分比誤差 (MAPE)
- 實際值和預測值之間的均方根誤差 (RMSE)，可能使用正規化
- 實際值和預測值之間的平均絕對誤差 (MAE)，可能使用正規化
根據商務案例，還有其他許多可能性。 您可能需要建立自己的後置處理公用程式，以從推斷結果或滾動預測計算評估計量。 如需計量的詳細資訊，請參閱迴歸/預測計量。
相關內容
- 深入了解如何設定 AutoML 定型時間序列預測模型。
- 了解 AutoML 如何使用機器學習來建置預測模型。
- 讀取關於在 AutoML 中預測之常見問題的解答。