Выбор алгоритма ML.NET
Для каждой задачи ML.NET существует несколько возможных алгоритмов обучения. Выбор конкретного алгоритма определяется проблемой, которую вы пытаетесь решить, характеристиками данных, а также доступными вам вычислительными ресурсами и ресурсами хранения. Важно отметить, что обучение модели машинного обучения — это итеративный процесс. Может потребоваться попробовать несколько алгоритмов, чтобы определить лучший из них.
Алгоритмы работают на базе признаков. Признаки — это числовые значения, вычисляемые на основе входных данных. Они являются оптимальным входными данными для алгоритмов машинного обучения. Вы преобразовываете необработанные входные данные в признаки, используя одно или несколько преобразований данных. Например, текстовые данные преобразуются в набор из числа слов и числа сочетаний слов. После извлечения признаков из необработанных данных с помощью преобразований данных они считаются определенными признаками. Например, определенные признаки текста или определенные признаки данных изображения.
Обучающий алгоритм = алгоритм + задача
Алгоритм — это математическое описание, используемое для создания модели. Различные алгоритмы дают модели с разными характеристиками.
В ML.NET один алгоритм можно применить к различным задачам. Например, стохастический двойной покоординатный подъем можно использовать для двоичной классификации, многоклассовой классификации и регрессии. Различие заключается в интерпретации выходных данных алгоритма для сопоставления с задачей.
Для каждого сочетания алгоритма и задачи ML.NET предоставляет компонент, который выполняет алгоритм обучения и осуществляет интерпретацию. Такие компоненты называются обучающими алгоритмами. Например, SdcaRegressionTrainer использует алгоритм StochasticDualCoordinatedAscent, применяемый к задаче регрессии.
Линейные алгоритмы
Линейные алгоритмы создают модель, которая вычисляет оценки на базе линейного сочетания входных данных и набора весовых коэффициентов. Весовые коэффициенты — это параметры модели, оцениваемые во время обучения.
Линейные алгоритмы хорошо подходят для признаков, являющихся линейно сепарабельными.
Перед обучением с помощью линейного алгоритма нужно нормализовать признаки. Это не позволяет одному признаку оказывать большее влияние на результат по сравнению с другими признаками.
В общем случае линейные алгоритмы являются масштабируемыми и быстрыми, а также не требуют больших затрат на обучение и прогнозирование. Они масштабируются по количеству признаков и приблизительно по размеру набора данных для обучения.
Линейные алгоритмы делают несколько проходов по данным для обучения. Если набор данных помещается в память, то добавление контрольной точки кэша в конвейер ML.NET перед добавлением обучающего алгоритма ускорит обучение.
Усредненный персептрон
Идеально подходит для классификации текста.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| AveragedPerceptronTrainer | Двоичная классификация | Да |
Стохастический двойной покоординатный подъем
Не требуется настройка для обеспечения хорошей производительности.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| SdcaLogisticRegressionBinaryTrainer | Двоичная классификация | Да |
| SdcaNonCalibratedBinaryTrainer | Двоичная классификация | Да |
| SdcaMaximumEntropyMulticlassTrainer | Классификация по нескольким классам | Да |
| SdcaNonCalibratedMulticlassTrainer | Классификация по нескольким классам | Да |
| SdcaRegressionTrainer | Регрессия | Да |
L-BFGS
Используется при большом числе признаков. Создает статистику обучения логистической регрессии, но масштабируется не так хорошо, как AveragedPerceptronTrainer.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| LbfgsLogisticRegressionBinaryTrainer | Двоичная классификация | Да |
| LbfgsMaximumEntropyMulticlassTrainer | Классификация по нескольким классам | Да |
| LbfgsPoissonRegressionTrainer | Регрессия | Да |
Посимвольный стохастический градиентный спуск
Самый быстрый и точный линейный обучающий алгоритм двоичной классификации. Хорошо масштабируется с учетом числа процессоров.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| SymbolicSgdLogisticRegressionBinaryTrainer | Двоичная классификация | Да |
Метод градиентного спуска в подключенном режиме
Реализует стандартный (не пакетный) стохастический градиентный спуск с выбором функций потери и возможностью обновлять весовой вектор по среднему значению наблюдаемых векторов.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| OnlineGradientDescentTrainer | Регрессия | Да |
Алгоритмы дерева принятия решений
Алгоритмы дерева принятия решений создают модель, которая содержит ряд решений: по сути, блок-схему для значений данных.
Для использования этого типа алгоритма не требуются линейно масштабируемые признаки. Кроме того, признаки не нужно нормализовывать, так как отдельные значения в векторе признаков используются независимо в процессе принятия решений.
Алгоритмы дерева принятия решений обычно очень точны.
За исключением обобщенных аддитивных моделей (GAM), модели дерева могут иметь недостаточную объясняемость, когда число признаков велико.
Алгоритмы дерева принятия решений используют больше ресурсов и хуже масштабируются по сравнению с линейными алгоритмами. Они хорошо подходят для наборов данных, помещающихся в память.
Расширенные деревья принятия решений представляют собой ансамбль небольших деревьев, где каждое дерево оценивает входные данные и передает результат следующему дереву для уточнения оценки и т. д., то есть каждое следующее дерево улучшает результат предыдущего.
Машина слабого градиентного бустинга
Самый быстрый и точный из обучающих алгоритмов деревьев двоичной классификации. Широкие возможности настройки.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| LightGbmBinaryTrainer | Двоичная классификация | Да |
| LightGbmMulticlassTrainer | Классификация по нескольким классам | Да |
| LightGbmRegressionTrainer | Регрессия | Да |
| LightGbmRankingTrainer | Рейтинг | No |
Быстрое дерево
Используется для данных изображения с определенными признаками. Устойчив к несбалансированным данным. Широкие возможности настройки.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| FastTreeBinaryTrainer | Двоичная классификация | Да |
| FastTreeRegressionTrainer | Регрессия | Да |
| FastTreeTweedieTrainer | Регрессия | Да |
| FastTreeRankingTrainer | Рейтинг | No |
Быстрый лес
Отлично подходит для данных с высоким уровнем шума.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| FastForestBinaryTrainer | Двоичная классификация | Да |
| FastForestRegressionTrainer | Регрессия | Да |
Обобщенная аддитивная модель (GAM)
Лучше всего подходит для задач, с которыми хорошо справляются алгоритмы дерева, если объясняемость имеет высокий приоритет.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| GamBinaryTrainer | Двоичная классификация | No |
| GamRegressionTrainer | Регрессия | No |
Факторизация матрицы
Факторизация матрицы
Используется для совместной фильтрации в рекомендации.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| MatrixFactorizationTrainer | Рекомендация | No |
Факторизационный метод с полями
Лучше всего подходит для разреженных категориальных данных с большими наборами данных.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| FieldAwareFactorizationMachineTrainer | Двоичная классификация | No |
Метаалгоритмы
Эти обучающие алгоритмы создают многоклассовый обучающий алгоритм из двоичного. Используется с AveragedPerceptronTrainer, LbfgsLogisticRegressionBinaryTrainer, SymbolicSgdLogisticRegressionBinaryTrainer, LightGbmBinaryTrainer, FastTreeBinaryTrainer, FastForestBinaryTrainer, GamBinaryTrainer.
Один против всех
Этот многоклассовый классификатор обучает один двоичный классификатор для каждого класса, который отличает этот класс от других. Масштабирование ограничено числом классов для классификации.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| OneVersusAllTrainer | Классификация по нескольким классам | Да |
Попарное соединение
Этот многоклассовый классификатор обучает алгоритм двоичной классификации для каждой пары классов. Масштабирование ограничено числом классов, так как требуется обучение для каждого сочетания из двух классов.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| PairwiseCouplingTrainer | Классификация по нескольким классам | No |
Метод k-средних
Используется для кластеризации.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| KMeansTrainer | Кластеризация | Да |
Анализ главных компонентов
Используется для обнаружения аномалий.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| RandomizedPcaTrainer | Обнаружение аномалий | No |
Упрощенный алгоритм Байеса
Этот алгоритм многоклассовой классификации используется, когда признаки являются независимыми, а набор данных небольшой.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| NaiveBayesMulticlassTrainer | Классификация по нескольким классам | Да |
Базовый обучающий алгоритм
Этот алгоритм двоичной классификации позволяет задать базовый уровень производительности для других обучающих алгоритмов. Для обеспечения эффективности метрики других обучающих алгоритмов должны быть лучше, чем у базового.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| PriorTrainer | Двоичная классификация | Да |
Метод опорных векторов
Метод опорных векторов (SVM) — это невероятно популярный и хорошо изученный класс моделей для контролируемого обучения, который можно использовать в линейных и нелинейных задачах классификации.
Последние исследования сосредоточены на способах оптимизации этих моделей для эффективного масштабирования до более крупных наборов обучения.
Линейный метод опорных векторов
Прогнозирует целевое значение с использованием модели линейной двоичной классификации, обученной по двоичным данным с метками. Поочередно применяет этапы стохастического градиентного спуска и проекции.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| LinearSvmTrainer | Двоичная классификация | Да |
Глубокий локальный метод опорных векторов
Прогнозирует целевое значение с использованием модели нелинейной двоичной классификации. Сокращает затраты времени на получение прогноза. Затраты при увеличении обучающего набора растут не линейно, а логарифмически, с допустимой потерей точности классификации.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| LdSvmTrainer | Двоичная классификация | Да |
Обычный метод наименьших квадратов
Обычный метод наименьших квадратов является одним из самых распространенных методов линейной регрессии.
Обычные наименьшие квадраты относятся к функции потери, которая вычисляет ошибку в виде суммы квадрата расстояния от фактического значения к прогнозируемой строке и соответствует модели путем минимизации квадратной ошибки. Этот метод предполагает наличие сильной линейной связи между входными данными и зависимой переменной.
| Учебный | Задача | Экспортируемый в ONNX |
|---|---|---|
| OlsTrainer | Регрессия | Да |
