Поделиться через

Мультиклассовая регрессионная логистическая модель

  • Статья

Важно!

Поддержка Студии машинного обучения (классической) будет прекращена 31 августа 2024 г. До этой даты рекомендуется перейти на Машинное обучение Azure.

Начиная с 1 декабря 2021 года вы не сможете создавать новые ресурсы Студии машинного обучения (классической). Существующие ресурсы Студии машинного обучения (классическая версия) можно будет использовать до 31 августа 2024 г.

Поддержка документации по ML Studio (классической) прекращается, а сама документация может не обновляться в будущем.

Создает модель классификации мультиклассовой логистической регрессии.

категория: Машинное обучение/инициализация модели или классификации

Примечание

применимо к: только Машинное обучение Studio (классическая модель)

Подобные модули перетаскивания доступны в конструкторе машинного обучения Azure.

Обзор модуля

в этой статье описывается, как использовать модуль логистической регрессии класса Машинное обучение Studio (классическая модель) для создания модели логистической регрессии, которая может использоваться для прогнозирования нескольких значений.

Классификация с применением логистической регрессии является методом управляемого обучения и, следовательно, требует размеченного набора данных. Обучение модели осуществляется путем предоставления модели и помеченного набора данных в качестве входных данных для модуля, например для обучения модели или настройки параметров модели. Обученную модель затем можно использовать для прогнозирования новых примеров входных данных.

Машинное обучение Studio (классическая модель) также предоставляет модуль логистической регрессии двух классов , который подходит для классификации двоичных или дихотомической переменных.

Дополнительные сведения о логистической регрессии в нескольких классах

Логистическая регрессия — это хорошо известный метод в статистике, который используется для прогнозирования вероятности результата и особенно популярн для задач классификации. Алгоритм прогнозирует вероятность возникновения события путем подгонки данных логистической функции. Дополнительные сведения о реализации см. в разделе Технические примечания.

В мультиклассовой логистической регрессии классификатор можно использовать для прогнозирования нескольких результатов.

Настройка логистической регрессии в многоклассовой конфигурации

  1. Добавьте модуль логистической регрессии класса в эксперимент.

  2. Укажите, как должна быть обучена модель, установив параметр Создать режим учителя.

    • Одиночный параметр. Используйте этот вариант, если вы знаете, как хотите настроить модель, и предоставьте определенный ряд значений в качестве аргументов.

    • Диапазон параметров. Используйте этот параметр, если вы не знаете наилучших параметров и хотите использовать параметр очистки.

  3. Отклонение оптимизации. Укажите пороговое значение для конвергенции оптимизатора. Если улучшение между итерациями меньше, чем пороговое значение, алгоритм прекращает работу и возвращает текущую модель.

  4. Вес регуляризации L1, вес регуляризации L2. Введите значение, которое будет использоваться для параметров регуляризации L1 и L2. Для обоих параметров рекомендуется использовать ненулевое значение.

    Регуляризация — это метод предотвращения образования лжевзаимосвязей за счет применения штрафных коэффициентов к моделям с предельными значениями. Регуляризация предполагает добавление штрафа, связанного со значениями коэффициентов, к погрешности гипотезы. К точной модели с предельными коэффициентами будет применен больший штраф. При этом для менее точной модели с более приемлемыми значениями штраф будет меньше.

    Регуляризации L1 и L2 отличаются результатами и способом применения. L1 можно применять к разреженным моделям, что удобно при работе с многомерными данными. L2, напротив, предпочтительнее использовать для неразреженных данных. Этот алгоритм поддерживает линейное сочетание значений регуляризации L1 и L2. Это означает, что, если x = L1 и y = L2, ax + by = c определяет линейный диапазон терминов регуляризации.

    Для моделей логистической регрессии, например, регуляризации эластичной сети, были применены различные линейные сочетания терминов L1 и L2.

  5. Объем памяти для l-бфгс: укажите объем памяти, используемый для оптимизации L-бфгс . Этот параметр указывает число сохраняемых последних позиций и градиентов для вычисления следующего шага.

    L-BFGS — это алгоритм оптимизации Бройдена–Флетчера–Гольдфарба–Шанно с ограниченным использованием памяти, который широко применяется для оценки параметров. Этот параметр оптимизации ограничивает объем памяти, используемый для вычисления следующего шага и направления. Если указано меньшее количество памяти, обучение проходит быстрее, но является менее точным.

  6. Начальное число случайных чисел. Введите целочисленное значение, которое будет использоваться в качестве начального значения для алгоритма, если необходимо, чтобы результаты были повторяемыми между выполнениями. В противном случае в качестве начального значения используется системное значение системных часов, что может привести к слегка отличающимся результатам в выполнении одного и того же эксперимента.

  7. Разрешить неизвестные уровни категорий: Выберите этот параметр, чтобы создать дополнительный "Неизвестный" уровень в каждом столбце категории. Все значения (уровни) в тестовом наборе данных, отсутствующие в наборе данных для обучения, сопоставляются с этим уровнем "Неизвестный".

  8. Подключение помеченный набор данных и один из модулей для обучения:

    • Если для параметра Создать режим учителя задано значение Одиночный параметр, используйте модуль Обучение модели.

    • Если для параметра Создать режим учителя задано значение Диапазон параметров, используйте модуль Настройка гиперпараметров модели. С помощью этого параметра можно указать несколько значений, и преподаватель выполняет перебор нескольких сочетаний параметров, чтобы определить сочетание значений, обеспечивающих наилучшую модель.

    Примечание

    При передаче диапазона параметров в модуль Обучение модели используется только первое значение в списке диапазона параметров.

    Если передать один набор значений параметров в модуль Настройка гиперпараметров модели, когда он ожидает диапазон параметров для каждого параметра, он пропускает значения и использует значения по умолчанию для ученика.

    Если выбран вариант Parameter Range (Диапазон параметров) и указано одно значение для любого параметра, это единственное заданное значение будет использоваться во время очистки, даже если другие параметры меняются в диапазоне значений.

  9. Запустите эксперимент.

Результаты

После завершения обучения:

  • Чтобы просмотреть сводку параметров модели, а также весовые коэффициенты функций, полученные в ходе обучения, щелкните правой кнопкой мыши выход модуля обучение модели или Настройте параметры моделии выберите визуализировать.

Примеры

Примеры использования этого алгоритма обучения см. в Коллекция решений ии Azure:

Технические примечания

В этом разделе содержатся сведения и советы относительно реализации, а также ответы на часто задаваемые вопросы.

Хотите узнать больше о регуляризации L1 и L2? В следующей статье приводятся сведения о различиях между уровнями L1 и L2 и их влиянии на подгонку моделей с помощью примеров кода для моделей логистической регрессии и нейронных сетей.

Дополнительные сведения о реализации этого алгоритма см. в следующих статьях:

Сведения о реализации

Логистическая регрессия требует числовые переменные. поэтому при попытке использовать столбцы категории в качестве переменной Машинное обучение преобразует значения в массив индикаторов внутренне.

Для значений даты и времени используется числовое представление. дополнительные сведения о значениях даты и времени см. в разделе DateTime Structure платформа .NET Framework. Если требуется обработать даты и время по-разному, мы рекомендуем создать производный столбец.

Стандартная логистическая регрессия является биномиальное и предполагает два выходных класса. В случае многоклассовой или мультиноминальное логистической регрессии предполагается три или более выходных класса.

При биномиальное логистической регрессии предполагается Логистическое распределение данных, где вероятность того, что пример принадлежит к классу 1, является формулой:

p(x;β0,…, βD-1)

Где:

  • x — это D-мерный вектор, содержащий значения всех компонентов экземпляра.

  • p — это функция логистического распределения.

  • β{0},..., β {D-1} являются неизвестными параметрами распределения логистики.

Алгоритм пытается найти оптимальные значения для β{0},..., β {D-1} , увеличивая вероятность в журнале параметров, заданных входными данными. Максимизации выполняется с помощью популярного метода для оценки параметров, именуемого ограниченной памятью бфгс.

Параметры модуля

Имя Диапазон Тип По умолчанию Описание
Отклонение оптимизации >= double.Epsilon Float 0,0000001 Укажите предельное значение для оптимизатора L-BFGS.
Вес регуляризации L1 >= 0,0 Float 1,0 Укажите вес регуляризации L1. Во избежание лжевзаимосвязи используйте ненулевое значение.
Вес "обычный" L2 >= 0,0 Float 1,0 Укажите весовой коэффициент для уровня "основной кэш". Во избежание лжевзаимосвязи используйте ненулевое значение.
Объем памяти для L-BFGS >= 1 Целое число 20 Укажите объем памяти (в МБ) для оптимизатора L-BFGS. Если используется меньше памяти, обучение проходит быстрее, но является менее точным.
Начальное значение случайного числа Любой Целое число Введите начальное значение для генератора случайных чисел, используемого моделью. Чтобы использовать значение по умолчанию, оставьте это поле пустым.
Разрешить неизвестные категориальные уровни Любой Логическое значение True Укажите, следует ли создавать дополнительный уровень для каждого категориального столбца. Все уровни в тестовом наборе данных, недоступные в обучающем наборе, сопоставляются с этим дополнительным уровнем.

Выходные данные

Имя Тип Описание
Необученная модель Интерфейс ILearner Необученная модель классификации

См. также раздел

Классификация
Двухклассовая регрессионная логистическая модель
Список модулей в алфавитном порядке