AutoMLExperiment Clase

Referencia

Definición

Espacio de nombres:: Microsoft.ML.AutoML

Ensamblado:: Microsoft.ML.AutoML.dll

Paquete:: Microsoft.ML.AutoML v0.21.1

Importante

Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.

La clase para el experimento de AutoML

public class AutoMLExperiment

type AutoMLExperiment = class

Public Class AutoMLExperiment

Herencia: Object
AutoMLExperiment

Ejemplos

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using Microsoft.ML.Data;

namespace Microsoft.ML.AutoML.Samples
{
    public static class AutoMLExperiment
    {
        public static async Task RunAsync()
        {
            var seed = 0;

            // Create a new context for ML.NET operations. It can be used for
            // exception tracking and logging, as a catalog of available operations
            // and as the source of randomness. Setting the seed to a fixed number
            // in this example to make outputs deterministic.
            var context = new MLContext(seed);

            // Create a list of training data points and convert it to IDataView.
            var data = GenerateRandomBinaryClassificationDataPoints(100, seed);
            var dataView = context.Data.LoadFromEnumerable(data);

            var trainTestSplit = context.Data.TrainTestSplit(dataView);

            // Define the sweepable pipeline using predefined binary trainers and search space.
            var pipeline = context.Auto().BinaryClassification(labelColumnName: "Label", featureColumnName: "Features");

            // Create an AutoML experiment
            var experiment = context.Auto().CreateExperiment();

            // Redirect AutoML log to console
            context.Log += (object o, LoggingEventArgs e) =>
            {
                if (e.Source == nameof(AutoMLExperiment) && e.Kind > Runtime.ChannelMessageKind.Trace)
                {
                    Console.WriteLine(e.RawMessage);
                }
            };

            // Config experiment to optimize "Accuracy" metric on given dataset.
            // This experiment will run hyper-parameter optimization on given pipeline
            experiment.SetPipeline(pipeline)
                      .SetDataset(trainTestSplit.TrainSet, fold: 5) // use 5-fold cross validation to evaluate each trial
                      .SetBinaryClassificationMetric(BinaryClassificationMetric.Accuracy, "Label")
                      .SetMaxModelToExplore(100); // explore 100 trials

            // start automl experiment
            var result = await experiment.RunAsync();

            // Expected output samples during training:
            //      Update Running Trial - Id: 0
            //      Update Completed Trial - Id: 0 - Metric: 0.5536912515402218 - Pipeline: FastTreeBinary - Duration: 595 - Peak CPU: 0.00 % -Peak Memory in MB: 35.81
            //      Update Best Trial - Id: 0 - Metric: 0.5536912515402218 - Pipeline: FastTreeBinary

            // evaluate test dataset on best model.
            var bestModel = result.Model;
            var eval = bestModel.Transform(trainTestSplit.TestSet);
            var metrics = context.BinaryClassification.Evaluate(eval);

            PrintMetrics(metrics);

            // Expected output:
            //  Accuracy: 0.67
            //  AUC: 0.75
            //  F1 Score: 0.33
            //  Negative Precision: 0.88
            //  Negative Recall: 0.70
            //  Positive Precision: 0.25
            //  Positive Recall: 0.50

            //  TEST POSITIVE RATIO: 0.1667(2.0 / (2.0 + 10.0))
            //  Confusion table
            //            ||======================
            //  PREDICTED || positive | negative | Recall
            //  TRUTH     ||======================
            //   positive || 1 | 1 | 0.5000
            //   negative || 3 | 7 | 0.7000
            //            ||======================
            //  Precision || 0.2500 | 0.8750 |
        }

        private static IEnumerable<BinaryClassificationDataPoint> GenerateRandomBinaryClassificationDataPoints(int count,
            int seed = 0)

        {
            var random = new Random(seed);
            float randomFloat() => (float)random.NextDouble();
            for (int i = 0; i < count; i++)
            {
                var label = randomFloat() > 0.5f;
                yield return new BinaryClassificationDataPoint
                {
                    Label = label,
                    // Create random features that are correlated with the label.
                    // For data points with false label, the feature values are
                    // slightly increased by adding a constant.
                    Features = Enumerable.Repeat(label, 50)
                        .Select(x => x ? randomFloat() : randomFloat() +
                        0.1f).ToArray()

                };
            }
        }

        // Example with label and 50 feature values. A data set is a collection of
        // such examples.
        private class BinaryClassificationDataPoint
        {
            public bool Label { get; set; }

            [VectorType(50)]
            public float[] Features { get; set; }
        }

        // Class used to capture predictions.
        private class Prediction
        {
            // Original label.
            public bool Label { get; set; }
            // Predicted label from the trainer.
            public bool PredictedLabel { get; set; }
        }

        // Pretty-print BinaryClassificationMetrics objects.
        private static void PrintMetrics(BinaryClassificationMetrics metrics)
        {
            Console.WriteLine($"Accuracy: {metrics.Accuracy:F2}");
            Console.WriteLine($"AUC: {metrics.AreaUnderRocCurve:F2}");
            Console.WriteLine($"F1 Score: {metrics.F1Score:F2}");
            Console.WriteLine($"Negative Precision: " +
                $"{metrics.NegativePrecision:F2}");

            Console.WriteLine($"Negative Recall: {metrics.NegativeRecall:F2}");
            Console.WriteLine($"Positive Precision: " +
                $"{metrics.PositivePrecision:F2}");

            Console.WriteLine($"Positive Recall: {metrics.PositiveRecall:F2}\n");
            Console.WriteLine(metrics.ConfusionMatrix.GetFormattedConfusionTable());
        }
    }
}

Constructores

AutoMLExperiment(MLContext, AutoMLExperiment+AutoMLExperimentSettings)

La clase para el experimento de AutoML

Métodos

AddSearchSpace(String, SearchSpace)	La clase para el experimento de AutoML
Run()	Ejecute el experimento y devuelva el mejor resultado de prueba de forma sincronizada.
RunAsync(CancellationToken)	Ejecute el experimento y devuelva el mejor resultado de prueba de forma asincrónica. El experimento devuelve el mejor resultado de prueba actual si hay alguna versión de prueba completada cuando `ct` se cancela y genera TimeoutException el mensaje "Tiempo de entrenamiento finalizado sin completar una ejecución de prueba" cuando no se ha completado ninguna prueba. Otra cosa que debe observar es que esta función no devolverá inmediatamente después `ct` de cancelarse. En su lugar, llamará Microsoft.ML.MLContext.CancelExecution a para cancelar todo el proceso de entrenamiento y esperar a que todas las pruebas en ejecución se cancelen o completen.
SetMaximumMemoryUsageInMegaByte(Double)	La clase para el experimento de AutoML
SetMaxModelToExplore(Int32)	La clase para el experimento de AutoML
SetMonitor<TMonitor>()	La clase para el experimento de AutoML
SetMonitor<TMonitor>(Func<IServiceProvider,TMonitor>)	La clase para el experimento de AutoML
SetMonitor<TMonitor>(TMonitor)	La clase para el experimento de AutoML
SetTrainingTimeInSeconds(UInt32)	La clase para el experimento de AutoML
SetTrialRunner<TTrialRunner>()	La clase para el experimento de AutoML
SetTrialRunner<TTrialRunner>(Func<IServiceProvider,TTrialRunner>)	La clase para el experimento de AutoML
SetTrialRunner<TTrialRunner>(TTrialRunner)	La clase para el experimento de AutoML
SetTuner<TTuner>()	La clase para el experimento de AutoML
SetTuner<TTuner>(Func<IServiceProvider,TTuner>)	La clase para el experimento de AutoML
SetTuner<TTuner>(TTuner)	La clase para el experimento de AutoML

Métodos de extensión

SetBinaryClassificationMetric(AutoMLExperiment, BinaryClassificationMetric, String, String)	Establezca Microsoft.ML.AutoML.BinaryMetricManager como administrador de evaluación para AutoMLExperiment. Esto hará AutoMLExperiment usos `metric` como métrica de evaluación.
SetCheckpoint(AutoMLExperiment, String)	Establezca la carpeta checkpoint para AutoMLExperiment. La carpeta checkpoint se usará para guardar la salida temporal, el historial de ejecución y muchas otras cosas que se usarán para restaurar el proceso de entrenamiento desde el último punto de control y continuar el entrenamiento.
SetCostFrugalTuner(AutoMLExperiment)	Establezca Microsoft.ML.AutoML.CostFrugalTuner como optimizador para la optimización de hiperparámetro.
SetDataset(AutoMLExperiment, DataOperationsCatalog+TrainTestData)	Establezca el conjunto de datos de entrenamiento y validación para AutoMLExperiment. Esto hará AutoMLExperiment usos TrainSet de `trainValidationSplit` para entrenar un modelo y usarlo TestSet desde `trainValidationSplit` para evaluar el modelo.
SetDataset(AutoMLExperiment, IDataView, IDataView, Boolean)	Establezca el conjunto de datos de entrenamiento y validación para AutoMLExperiment. Esto hará AutoMLExperiment usos `train` para entrenar un modelo y usarlo `validation` para evaluar el modelo.
SetDataset(AutoMLExperiment, IDataView, Int32, String)	Establezca el conjunto de datos de validación cruzada para AutoMLExperiment. Esto usará AutoMLExperiment n=`fold` división de validación cruzada en `dataset` para entrenar y evaluar un modelo.
SetEciCostFrugalTuner(AutoMLExperiment)	se establece Microsoft.ML.AutoML.EciCostFrugalTuner como tuner para la optimización de hiperparámetro. Este tuner solo funciona con el espacio de búsqueda de SweepablePipeline.
SetGridSearchTuner(AutoMLExperiment, Int32)	se establece Microsoft.ML.AutoML.GridSearchTuner como tuner para la optimización de hiperparámetro.
SetMulticlassClassificationMetric(AutoMLExperiment, MulticlassClassificationMetric, String, String)	Establezca Microsoft.ML.AutoML.MultiClassMetricManager como administrador de evaluación para AutoMLExperiment. Esto hará AutoMLExperiment usos `metric` como métrica de evaluación.
SetPerformanceMonitor(AutoMLExperiment, Int32)	Establezca DefaultPerformanceMonitor como IPerformanceMonitor para AutoMLExperiment.
SetPerformanceMonitor<TPerformanceMonitor>(AutoMLExperiment, Func<IServiceProvider,TPerformanceMonitor>)	Establezca un monitor de rendimiento personalizado como IPerformanceMonitor para AutoMLExperiment.
SetPerformanceMonitor<TPerformanceMonitor>(AutoMLExperiment)	Establezca un monitor de rendimiento personalizado como IPerformanceMonitor para AutoMLExperiment.
SetPipeline(AutoMLExperiment, SweepablePipeline)	Se establece `pipeline` para el entrenamiento. Esto también usa AutoMLExperimentMicrosoft.ML.AutoML.SweepablePipelineRunner , Microsoft.ML.AutoML.MLContextMonitor y Microsoft.ML.AutoML.EciCostFrugalTuner para traininng de automl.
SetRandomSearchTuner(AutoMLExperiment, Nullable<Int32>)	se establece Microsoft.ML.AutoML.RandomSearchTuner como tuner para la optimización de hiperparámetro. Si `seed` se proporciona, usará esa inicialización para inicializar Microsoft.ML.AutoML.RandomSearchTuner. De lo contrario, Seed se usará.
SetRegressionMetric(AutoMLExperiment, RegressionMetric, String, String)	Establezca Microsoft.ML.AutoML.RegressionMetricManager como administrador de evaluación para AutoMLExperiment. Esto hará AutoMLExperiment usos `metric` como métrica de evaluación.
SetSmacTuner(AutoMLExperiment, Int32, Int32, Int32, Int32, Single, Int32, Int32, Double, Int32)	Establezca Microsoft.ML.AutoML.SmacTuner como optimizador para la optimización de hiperparámetro. El rendimiento de smac está en una extensión grande determinada por `numberOfTrees`, `nMinForSpit` y `splitRatio`, que se usan para ajustar el regresor interno del smac.

Se aplica a

Compartir a través de