Model opruimen en selectie voor prognoses in AutoML
In dit artikel wordt beschreven hoe geautomatiseerde machine learning (AutoML) in Azure Machine Learning zoekt naar en selecteert voorspellingsmodellen. Zie Overzicht van prognosemethoden in AutoML als u meer wilt weten over de prognosemethodologie in AutoML. Zie AutoML instellen voor het trainen van een tijdreeksprognosemodel met de SDK en CLI voor meer informatie over trainingsvoorbeelden voor het voorspellen van modellen in AutoML.
Model opruimen in AutoML
De centrale taak voor AutoML is het trainen en evalueren van verschillende modellen en het beste kiezen met betrekking tot de opgegeven primaire metrische gegevens. Het woord 'model' in dit geval verwijst naar zowel de modelklasse, zoals ARIMA of Random Forest, als de specifieke instellingen voor hyperparameters die onderscheid maken tussen modellen binnen een klasse. ARIMA verwijst bijvoorbeeld naar een klasse van modellen die een wiskundige sjabloon en een set statistische veronderstellingen delen. Training of aanpassing van een ARIMA-model vereist een lijst met positieve gehele getallen die de exacte wiskundige vorm van het model opgeven. Deze waarden zijn de hyperparameters. De modellen ARIMA(1, 0, 1) en ARIMA(2, 1, 2) hebben dezelfde klasse, maar verschillende hyperparameters. Deze definities kunnen afzonderlijk worden afgestemd op de trainingsgegevens en op elkaar worden geëvalueerd. AutoML-zoekopdrachten, of veegt, over verschillende modelklassen en binnen klassen door de hyperparameters te variëren.
Methoden voor het opruimen van hyperparameters
In de volgende tabel ziet u de verschillende methoden voor het opruimen van hyperparameters die AutoML gebruikt voor verschillende modelklassen:
| Modelklassegroep | Modeltype | Methode voor het opruimen van hyperparameters |
|---|---|---|
| Naïef, Naïef, Gemiddeld, Seizoensgemiddelde | Tijdreeks | Geen opruimen binnen klasse vanwege de eenvoud van het model |
| Exponentieel gladmaken, ARIMA(X) | Tijdreeks | Raster zoeken naar opruimen binnen de klasse |
| Profeet | Regressie | Geen vegen binnen de klas |
| Linear SGD, LARS LASSO, Elastic Net, K Nearest Neighbors, Decision Tree, Random Forest, Extreem randomized Trees, Gradient Boosted Trees, LightGBM, XGBoost | Regressie | De modelaanbevelingsservice van AutoML verkent dynamisch hyperparameterruimten |
| ForecastTCN | Regressie | Statische lijst met modellen gevolgd door willekeurige zoekopdrachten via netwerkgrootte, vervolgkeuzelijst en leersnelheid |
Zie de sectie Voorspellende modellen in de sectie AutoML van het overzichtsartikel over prognosemethoden voor een beschrijving van de verschillende modeltypen.
De hoeveelheid opruimen door AutoML is afhankelijk van de configuratie van de prognosetaak. U kunt de stopcriteria opgeven als een tijdslimiet of een limiet voor het aantal experimenten, of het equivalente aantal modellen. Logica voor vroegtijdige beëindiging kan in beide gevallen worden gebruikt om te stoppen met opruimen als de primaire metriek niet wordt verbeterd.
Modelselectie in AutoML
AutoML volgt een proces met drie fasen om prognosemodellen te zoeken en te selecteren:
Fase 1: Veeg over tijdreeksmodellen en selecteer het beste model uit elke klasse met behulp van methoden voor maximale waarschijnlijkheidschatting .
Fase 2: Veeg over regressiemodellen en rangschik ze, samen met de beste tijdreeksmodellen uit fase 1, op basis van hun primaire metrische waarden uit validatiesets.
Fase 3: Bouw een ensemblemodel op basis van de meest gerangschikte modellen, bereken de validatiegegevens en rangschik het met de andere modellen.
Het model met de hoogste metrische waarde aan het einde van fase 3 wordt aangewezen als het beste model.
Belangrijk
In fase 3 berekent AutoML altijd metrische gegevens over out-of-sample-gegevens die niet worden gebruikt om de modellen aan te passen. Deze aanpak helpt om te beschermen tegen overfitting.
Validatieconfiguraties
AutoML heeft twee validatieconfiguraties: kruisvalidatie en expliciete validatiegegevens.
In het geval van kruisvalidatie gebruikt AutoML de invoerconfiguratie om gegevenssplitsingen te maken in trainings- en validatievouws. De tijdsvolgorde moet in deze splitsingen worden bewaard. AutoML maakt gebruik van zogenaamde Rolling Origin Cross Validation, waarmee de reeks wordt verdeeld in trainings- en validatiegegevens met behulp van een oorspronkelijk tijdstip. Als u de oorsprong in de tijd schuift, worden de kruisvalidatievouwen gegenereerd. Elke validatievouw bevat de volgende horizon van waarnemingen direct na de positie van de oorsprong voor de opgegeven vouw. Deze strategie behoudt de integriteit van tijdreeksgegevens en vermindert het risico op het lekken van informatie.
AutoML volgt de gebruikelijke procedure voor kruisvalidatie, het trainen van een afzonderlijk model voor elke vouw en het gemiddelde van de validatiegegevens van alle vouwen.
Kruisvalidatie voor prognosetaken wordt geconfigureerd door het aantal kruisvalidatievouwen in te stellen en eventueel het aantal perioden tussen twee opeenvolgende kruisvalidatievouwen. Zie Aangepaste instellingen voor kruisvalidatie voor prognose voor meer informatie en een voorbeeld van het configureren van kruisvalidatie.
U kunt ook uw eigen validatiegegevens meenemen. Zie Training, validatie, kruisvalidatie en testgegevens configureren in AutoML (SDK v1) voor meer informatie.