AutoMLExperiment Klasse

Referenz

Definition

Namespace:: Microsoft.ML.AutoML

Assembly:: Microsoft.ML.AutoML.dll

Paket:: Microsoft.ML.AutoML v0.21.1

Wichtig

Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.

Die -Klasse für das AutoML-Experiment

public class AutoMLExperiment

type AutoMLExperiment = class

Public Class AutoMLExperiment

Vererbung: Object
AutoMLExperiment

Beispiele

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using Microsoft.ML.Data;

namespace Microsoft.ML.AutoML.Samples
{
    public static class AutoMLExperiment
    {
        public static async Task RunAsync()
        {
            var seed = 0;

            // Create a new context for ML.NET operations. It can be used for
            // exception tracking and logging, as a catalog of available operations
            // and as the source of randomness. Setting the seed to a fixed number
            // in this example to make outputs deterministic.
            var context = new MLContext(seed);

            // Create a list of training data points and convert it to IDataView.
            var data = GenerateRandomBinaryClassificationDataPoints(100, seed);
            var dataView = context.Data.LoadFromEnumerable(data);

            var trainTestSplit = context.Data.TrainTestSplit(dataView);

            // Define the sweepable pipeline using predefined binary trainers and search space.
            var pipeline = context.Auto().BinaryClassification(labelColumnName: "Label", featureColumnName: "Features");

            // Create an AutoML experiment
            var experiment = context.Auto().CreateExperiment();

            // Redirect AutoML log to console
            context.Log += (object o, LoggingEventArgs e) =>
            {
                if (e.Source == nameof(AutoMLExperiment) && e.Kind > Runtime.ChannelMessageKind.Trace)
                {
                    Console.WriteLine(e.RawMessage);
                }
            };

            // Config experiment to optimize "Accuracy" metric on given dataset.
            // This experiment will run hyper-parameter optimization on given pipeline
            experiment.SetPipeline(pipeline)
                      .SetDataset(trainTestSplit.TrainSet, fold: 5) // use 5-fold cross validation to evaluate each trial
                      .SetBinaryClassificationMetric(BinaryClassificationMetric.Accuracy, "Label")
                      .SetMaxModelToExplore(100); // explore 100 trials

            // start automl experiment
            var result = await experiment.RunAsync();

            // Expected output samples during training:
            //      Update Running Trial - Id: 0
            //      Update Completed Trial - Id: 0 - Metric: 0.5536912515402218 - Pipeline: FastTreeBinary - Duration: 595 - Peak CPU: 0.00 % -Peak Memory in MB: 35.81
            //      Update Best Trial - Id: 0 - Metric: 0.5536912515402218 - Pipeline: FastTreeBinary

            // evaluate test dataset on best model.
            var bestModel = result.Model;
            var eval = bestModel.Transform(trainTestSplit.TestSet);
            var metrics = context.BinaryClassification.Evaluate(eval);

            PrintMetrics(metrics);

            // Expected output:
            //  Accuracy: 0.67
            //  AUC: 0.75
            //  F1 Score: 0.33
            //  Negative Precision: 0.88
            //  Negative Recall: 0.70
            //  Positive Precision: 0.25
            //  Positive Recall: 0.50

            //  TEST POSITIVE RATIO: 0.1667(2.0 / (2.0 + 10.0))
            //  Confusion table
            //            ||======================
            //  PREDICTED || positive | negative | Recall
            //  TRUTH     ||======================
            //   positive || 1 | 1 | 0.5000
            //   negative || 3 | 7 | 0.7000
            //            ||======================
            //  Precision || 0.2500 | 0.8750 |
        }

        private static IEnumerable<BinaryClassificationDataPoint> GenerateRandomBinaryClassificationDataPoints(int count,
            int seed = 0)

        {
            var random = new Random(seed);
            float randomFloat() => (float)random.NextDouble();
            for (int i = 0; i < count; i++)
            {
                var label = randomFloat() > 0.5f;
                yield return new BinaryClassificationDataPoint
                {
                    Label = label,
                    // Create random features that are correlated with the label.
                    // For data points with false label, the feature values are
                    // slightly increased by adding a constant.
                    Features = Enumerable.Repeat(label, 50)
                        .Select(x => x ? randomFloat() : randomFloat() +
                        0.1f).ToArray()

                };
            }
        }

        // Example with label and 50 feature values. A data set is a collection of
        // such examples.
        private class BinaryClassificationDataPoint
        {
            public bool Label { get; set; }

            [VectorType(50)]
            public float[] Features { get; set; }
        }

        // Class used to capture predictions.
        private class Prediction
        {
            // Original label.
            public bool Label { get; set; }
            // Predicted label from the trainer.
            public bool PredictedLabel { get; set; }
        }

        // Pretty-print BinaryClassificationMetrics objects.
        private static void PrintMetrics(BinaryClassificationMetrics metrics)
        {
            Console.WriteLine($"Accuracy: {metrics.Accuracy:F2}");
            Console.WriteLine($"AUC: {metrics.AreaUnderRocCurve:F2}");
            Console.WriteLine($"F1 Score: {metrics.F1Score:F2}");
            Console.WriteLine($"Negative Precision: " +
                $"{metrics.NegativePrecision:F2}");

            Console.WriteLine($"Negative Recall: {metrics.NegativeRecall:F2}");
            Console.WriteLine($"Positive Precision: " +
                $"{metrics.PositivePrecision:F2}");

            Console.WriteLine($"Positive Recall: {metrics.PositiveRecall:F2}\n");
            Console.WriteLine(metrics.ConfusionMatrix.GetFormattedConfusionTable());
        }
    }
}

Konstruktoren

AutoMLExperiment(MLContext, AutoMLExperiment+AutoMLExperimentSettings)

Die -Klasse für das AutoML-Experiment

Methoden

AddSearchSpace(String, SearchSpace)	Die -Klasse für das AutoML-Experiment
Run()	Führen Sie das Experiment aus, und geben Sie das beste Testergebnis synchron zurück.
RunAsync(CancellationToken)	Führen Sie das Experiment aus, und geben Sie das beste Testergebnis asynchron zurück. Das Experiment gibt das aktuelle beste Testergebnis zurück, wenn eine Testversion abgeschlossen wurde, wenn `ct` sie abgebrochen wird, und wird mit der Meldung "Trainingszeit ohne Abschluss eines Testlaufs TimeoutException beendet" ausgelöst, wenn keine Testversion abgeschlossen wurde. Eine weitere Sache muss beachten, dass diese Funktion nicht sofort zurückgegeben wird, nachdem `ct` sie abgebrochen wurde. Stattdessen wird aufgerufen Microsoft.ML.MLContext.CancelExecution , den gesamten Trainingsprozess abzubrechen und zu warten, dass alle ausgeführten Testversionen abgebrochen oder abgeschlossen werden.
SetMaximumMemoryUsageInMegaByte(Double)	Die -Klasse für das AutoML-Experiment
SetMaxModelToExplore(Int32)	Die -Klasse für das AutoML-Experiment
SetMonitor<TMonitor>()	Die -Klasse für das AutoML-Experiment
SetMonitor<TMonitor>(Func<IServiceProvider,TMonitor>)	Die -Klasse für das AutoML-Experiment
SetMonitor<TMonitor>(TMonitor)	Die -Klasse für das AutoML-Experiment
SetTrainingTimeInSeconds(UInt32)	Die -Klasse für das AutoML-Experiment
SetTrialRunner<TTrialRunner>()	Die -Klasse für das AutoML-Experiment
SetTrialRunner<TTrialRunner>(Func<IServiceProvider,TTrialRunner>)	Die -Klasse für das AutoML-Experiment
SetTrialRunner<TTrialRunner>(TTrialRunner)	Die -Klasse für das AutoML-Experiment
SetTuner<TTuner>()	Die -Klasse für das AutoML-Experiment
SetTuner<TTuner>(Func<IServiceProvider,TTuner>)	Die -Klasse für das AutoML-Experiment
SetTuner<TTuner>(TTuner)	Die -Klasse für das AutoML-Experiment

Erweiterungsmethoden

SetBinaryClassificationMetric(AutoMLExperiment, BinaryClassificationMetric, String, String)	Legen Sie als Auswertungs-Manager für AutoMLExperimentfestMicrosoft.ML.AutoML.BinaryMetricManager. Dadurch wird AutoMLExperiment als Auswertungsmetrik verwendet `metric` .
SetCheckpoint(AutoMLExperiment, String)	Legen Sie den Prüfpunktordner für AutoMLExperimentfest. Der Prüfpunktordner wird verwendet, um die temporäre Ausgabe, den Ausführungsverlauf und viele andere Elemente zu speichern, die zum Wiederherstellen des Trainingsprozesses vom letzten Prüfpunkt und zum Fortsetzen des Trainings verwendet werden.
SetCostFrugalTuner(AutoMLExperiment)	Legen Sie als Tuner für die Hyperparameteroptimierung fest Microsoft.ML.AutoML.CostFrugalTuner .
SetDataset(AutoMLExperiment, DataOperationsCatalog+TrainTestData)	Legen Sie das Train- und Validierungsdataset für AutoMLExperimentfest. Dadurch werden AutoMLExperiment Verwendungen TrainSet von zum `trainValidationSplit` Trainieren eines Modells und zum `trainValidationSplit` Auswerten des Modells verwendetTestSet.
SetDataset(AutoMLExperiment, IDataView, IDataView, Boolean)	Legen Sie das Train- und Validierungsdataset für AutoMLExperimentfest. Dies verwendet AutoMLExperiment zum `train` Trainieren eines Modells und `validation` zum Auswerten des Modells.
SetDataset(AutoMLExperiment, IDataView, Int32, String)	Legen Sie das übergreifende Validierungsdataset für AutoMLExperimentfest. Dadurch wird AutoMLExperiment n=`fold` Kreuzvalidierung zum `dataset` Trainieren und Auswerten eines Modells verwendet.
SetEciCostFrugalTuner(AutoMLExperiment)	als Tuner für die Hyperparameteroptimierung festgelegt Microsoft.ML.AutoML.EciCostFrugalTuner . Dieser Tuner funktioniert nur mit Suchbereich von SweepablePipeline.
SetGridSearchTuner(AutoMLExperiment, Int32)	legen Sie als Tuner für die Hyperparameteroptimierung fest Microsoft.ML.AutoML.GridSearchTuner .
SetMulticlassClassificationMetric(AutoMLExperiment, MulticlassClassificationMetric, String, String)	Legen Sie als Auswertungs-Manager für AutoMLExperimentfestMicrosoft.ML.AutoML.MultiClassMetricManager. Dadurch wird AutoMLExperiment als Auswertungsmetrik verwendet `metric` .
SetPerformanceMonitor(AutoMLExperiment, Int32)	Legen Sie als IPerformanceMonitor für AutoMLExperimentfestDefaultPerformanceMonitor.
SetPerformanceMonitor<TPerformanceMonitor>(AutoMLExperiment, Func<IServiceProvider,TPerformanceMonitor>)	Legen Sie einen benutzerdefinierten Leistungsmonitor als IPerformanceMonitor für AutoMLExperimentfest.
SetPerformanceMonitor<TPerformanceMonitor>(AutoMLExperiment)	Legen Sie einen benutzerdefinierten Leistungsmonitor als IPerformanceMonitor für AutoMLExperimentfest.
SetPipeline(AutoMLExperiment, SweepablePipeline)	Für das Training festgelegt `pipeline` . Dies macht AutoMLExperiment auch Verwendungen Microsoft.ML.AutoML.SweepablePipelineRunnerMicrosoft.ML.AutoML.MLContextMonitor und Microsoft.ML.AutoML.EciCostFrugalTuner auch für automl traininng.
SetRandomSearchTuner(AutoMLExperiment, Nullable<Int32>)	legen Sie als Tuner für die Hyperparameteroptimierung fest Microsoft.ML.AutoML.RandomSearchTuner . Wenn `seed` angegeben wird, wird dieser Seed verwendet, um zu initialisieren Microsoft.ML.AutoML.RandomSearchTuner. Andernfalls Seed wird verwendet.
SetRegressionMetric(AutoMLExperiment, RegressionMetric, String, String)	Legen Sie als Auswertungs-Manager für AutoMLExperimentfestMicrosoft.ML.AutoML.RegressionMetricManager. Dadurch wird AutoMLExperiment als Auswertungsmetrik verwendet `metric` .
SetSmacTuner(AutoMLExperiment, Int32, Int32, Int32, Int32, Single, Int32, Int32, Double, Int32)	Legen Sie als Tuner für die Hyperparameteroptimierung fest Microsoft.ML.AutoML.SmacTuner . Die Leistung von smac wird in einem großen Bereich von bestimmt, `numberOfTreesnMinForSpit` und `splitRatio`, die verwendet werden, um den inneren Regressor von smac zu passen.

Gilt für:

Freigeben über