Wnioskowanie i ocena modeli prognozowania

W tym artykule przedstawiono pojęcia związane z wnioskowaniem i oceną modelu w zadaniach prognozowania. Aby uzyskać instrukcje i przykłady dotyczące modeli prognozowania trenowania w rozwiązaniu AutoML, zobacz Konfigurowanie rozwiązania AutoML do trenowania modelu prognozowania szeregów czasowych przy użyciu zestawu SDK i interfejsu wiersza polecenia.

Po użyciu rozwiązania AutoML do trenowania i wybierania najlepszego modelu następnym krokiem jest wygenerowanie prognoz. Następnie, jeśli to możliwe, oceń ich dokładność na zestawie testowym przechowywanym na podstawie danych treningowych. Aby dowiedzieć się, jak skonfigurować i uruchomić ocenę modelu prognozowania w zautomatyzowanym uczeniu maszynowym, zobacz Organizowanie trenowania, wnioskowania i oceny.

Scenariusze wnioskowania

W uczeniu maszynowym wnioskowanie to proces generowania przewidywań modelu dla nowych danych, które nie są używane podczas trenowania. Istnieje wiele sposobów generowania przewidywań w prognozowaniu ze względu na zależność czasu od danych. Najprostszym scenariuszem jest to, że okres wnioskowania natychmiast następuje po okresie trenowania i generujesz przewidywania na horyzoncie prognozy. Na poniższym diagramie przedstawiono ten scenariusz:

Diagram przedstawia dwa ważne parametry wnioskowania:

• Długość kontekstu to ilość historii wymaganej przez model do utworzenia prognozy.
• Horyzont prognozy jest tym, jak daleko w czasie prognostyk jest szkolony do przewidywania.

Modele prognozowania zwykle używają pewnych informacji historycznych, kontekstu, aby przewidywać z wyprzedzeniem do horyzontu prognozy. Gdy kontekst jest częścią danych treningowych, rozwiązanie AutoML zapisuje to, czego potrzebuje do prognoz. Nie ma potrzeby jawnego podawania go.

Istnieją dwa inne scenariusze wnioskowania, które są bardziej skomplikowane:

• Generowanie przewidywań dalej w przyszłości niż horyzont prognozy
• Uzyskiwanie przewidywań w przypadku różnic między okresami trenowania i wnioskowania

W poniższych podsekcjach przeglądu tych przypadków.

Przewidywanie przeszłości horyzontu prognozy: rekursywne prognozowanie

Gdy potrzebujesz prognoz poza horyzontem, rozwiązanie AutoML stosuje model rekursywnie w okresie wnioskowania. Przewidywania z modelu są przekazywane z powrotem jako dane wejściowe do generowania przewidywań dla kolejnych okien prognozowania. Na poniższym diagramie przedstawiono prosty przykład:

W tym miejscu uczenie maszynowe generuje prognozy na okres trzy razy dłuższy niż horyzont. Używa przewidywań z jednego okna jako kontekstu następnego okna.

Ostrzeżenie

Rekursywne prognozowanie składa błędy modelowania. Przewidywania stają się mniej dokładne, tym dalej pochodzą z pierwotnego horyzontu prognozy. Bardziej dokładny model można znaleźć przez ponowne trenowanie z dłuższym horyzontem.

Przewidywanie z luką między okresami trenowania i wnioskowania

Załóżmy, że po wytrenowaniu modelu chcesz użyć go do przewidywania z nowych obserwacji, które nie były jeszcze dostępne podczas trenowania. W takim przypadku istnieje różnica czasu między okresami trenowania i wnioskowania:

Rozwiązanie AutoML obsługuje ten scenariusz wnioskowania, ale musisz podać dane kontekstowe w okresie przerwy, jak pokazano na diagramie. Dane przewidywania przekazane do składnika wnioskowania wymagają wartości cech i obserwowanych wartości docelowych w przerwie oraz brakujących wartości lub NaN wartości dla celu w okresie wnioskowania. W poniższej tabeli przedstawiono przykład tego wzorca:

Znane wartości elementu docelowego i funkcji są udostępniane 2023-05-01 za pośrednictwem 2023-05-03elementu . Brak wartości docelowych rozpoczynających się od 2023-05-04 wskazuje, że okres wnioskowania rozpoczyna się od tej daty.

Rozwiązanie AutoML używa nowych danych kontekstowych do aktualizowania opóźnień i innych funkcji wyszukiwania, a także do aktualizowania modeli, takich jak ARIMA, które zachowują stan wewnętrzny. Ta operacja nie aktualizuje ani nie pasuje do parametrów modelu.

Ocena modelu

Ocena to proces generowania przewidywań na zestawie testowym przechowywanym na podstawie danych szkoleniowych i metryk obliczeniowych z tych przewidywań, które prowadzą decyzje dotyczące wdrażania modelu. W związku z tym istnieje tryb wnioskowania dostosowany do oceny modelu: prognoza krocząca.

Najlepszą procedurą oceny modelu prognozowania jest przerzucanie wytrenowanego prognosta do przodu w czasie w zestawie testowym, czyli średnie metryki błędów w kilku oknach przewidywania. Ta procedura jest czasami nazywana backtestem. Najlepiej, aby zestaw testowy oceny był długi w stosunku do horyzontu prognozy modelu. Oszacowania błędu prognozowania mogą być w przeciwnym razie statystycznie hałaśliwe i dlatego mniej wiarygodne.

Na poniższym diagramie przedstawiono prosty przykład z trzema oknami prognozowania:

Diagram przedstawia trzy parametry oceny stopniowej:

• Długość kontekstu to ilość historii wymaganej przez model do utworzenia prognozy.
• Horyzont prognozy jest tym, jak daleko w czasie prognostyk jest szkolony do przewidywania.
• Rozmiar kroku określa, jak daleko przed upływem czasu okno stopniowe przechodzi na każdą iterację zestawu testowego.

Kontekst jest rozwijany wraz z oknem prognozowania. Wartości rzeczywiste z zestawu testów są używane do tworzenia prognoz, gdy znajdują się one w bieżącym oknie kontekstu. Najnowsza data rzeczywistych wartości używanych w danym oknie prognozy jest nazywana czasem pochodzenia okna. W poniższej tabeli przedstawiono przykładowe dane wyjściowe z prognozy kroczącej z trzema oknami z horyzontem trzech dni i rozmiarem kroku jednego dnia:

W takiej tabeli można wizualizować prognozy w porównaniu z wartościami rzeczywistymi i obliczonymi żądanymi metrykami oceny. Potoki automatycznego uczenia maszynowego mogą generować prognozy stopniowe na zestawie testowym ze składnikiem wnioskowania.

Uwaga

Gdy okres testu jest taka sama jak horyzont prognozy, prognoza krocząca daje pojedyncze okno prognoz aż do horyzontu.

Metryki oceny

Konkretny scenariusz biznesowy zwykle wpływa na wybór podsumowania lub metryki oceny. Niektóre typowe opcje obejmują następujące przykłady:

• Wykresy obserwowanych wartości docelowych w porównaniu z wartościami prognozowanymi w celu sprawdzenia, czy określona dynamika danych przechwytywane przez model
• Średni bezwzględny błąd procentowy (MAPE) między wartościami rzeczywistymi i prognozowanym
• Błąd średniokwadratowy (RMSE), prawdopodobnie z normalizacją między wartościami rzeczywistymi i prognozowanymi
• Średni błąd bezwzględny (MAE), prawdopodobnie z normalizacją, między wartościami rzeczywistymi i prognozowanymi

Istnieje wiele innych możliwości, w zależności od scenariusza biznesowego. Może być konieczne utworzenie własnych narzędzi przetwarzania końcowego na potrzeby obliczania metryk oceny na podstawie wyników wnioskowania lub prognoz kroczenia. Aby uzyskać więcej informacji na temat metryk, zobacz Metryki regresji/prognozowania.

Powiązana zawartość

• Dowiedz się więcej o sposobie konfigurowania rozwiązania AutoML do trenowania modelu prognozowania szeregów czasowych.
• Dowiedz się, jak rozwiązanie AutoML używa uczenia maszynowego do tworzenia modeli prognozowania.
• Przeczytaj odpowiedzi na często zadawane pytania dotyczące prognozowania w rozwiązaniu AutoML.