Интерпретация результатов модели в Студии машинного обучения (классическая)

ОБЛАСТЬ ПРИМЕНЕНИЯ К:Машинное обучение Studio (классическая) Машинное обучение Azure

Внимание

Поддержка Студии машинного обучения (классической) будет прекращена 31 августа 2024 г. До этой даты рекомендуется перейти на Машинное обучение Azure.

Начиная с 1 декабря 2021 года вы не сможете создавать новые ресурсы Студии машинного обучения (классической). Существующие ресурсы Студии машинного обучения (классической) можно будет использовать до 31 августа 2024 г.

• См. сведения о переносе проектов машинного обучения из Студии машинного обучения (классическая версия) в Машинное обучение Azure.
• См. дополнительные сведения о Машинном обучении Azure.

Прекращается поддержка документации по Студии машинного обучения (классической). В будущем она может не обновляться.

В этой статье объясняется, как визуализировать и интерпретировать результаты прогнозирования в Студии машинного обучения (классическая). Когда вы обучите модель и получите с ее помощью прогнозы (оценки модели), этот результат нужно интерпретировать.

В Студии машинного обучения (классическая) существует четыре основных типа моделей машинного обучения:

• Классификация
• Кластеризация
• Регрессия
• системы рекомендаций.

Модули, используемые для прогнозирования на основе этих моделей:

• модуль Score Model (Оценка модели) для классификации и регрессии;
• модуль Assign to Clusters (Назначить в кластеры) для кластеризации;
• модуль Score Matchbox Recommender (Оценка модели рекомендаций Matchbox) для систем рекомендаций.

Узнайте, как выбирать параметры для оптимизации алгоритмов в Студии машинного обучения (классическая версия).

Сведения о том, как оценивать модели, см. в статье об оценке эффективности модели.

Если вы не знакомы с ML Studio (классическая версия), узнайте, как создать простой эксперимент.

Классификация

Существует две подкатегории задач классификации:

• задачи только с двумя классами (двухклассовая или двоичная классификация);
• задачи более чем с двумя классами (многоклассовая классификация).

Хотя Студия машинного обучения (классическая) содержит различные модули для работы с этими типами классификации, методы интерпретации прогнозных результатов для всех модулей похожи.

Двуклассовая классификация

Пример эксперимента

Пример проблемы с двухклассовой классификацией — классификация цветов ириса. Задача — классификация цветов ириса по их признакам. Набор данных Iris в Студии машинного обучения (классическая) — это часть популярного набора Ирисы Фишера, которая содержит экземпляры только двух видов цветов (классы 0 и 1). Для каждого цветка можно выделить четыре признака: длина наружной доли околоцветника, ширина наружной доли околоцветника, длина внутренней доли околоцветника и ширина внутренней доли околоцветника.

Рисунок 1. Рис. 1. Эксперимент с задачей двухклассовой классификации цветков ириса

Эксперимент для решения этой задачи проведен, как показано на рис. 1. Модель повышенного дерева принятия решений двухклассовой классификации обучена и оценена. Теперь результаты прогноза модуля Score Model (Оценка модели) можно визуализировать. Для этого щелкните порт вывода модуля Score Model (Оценка модели) и в раскрывшемся меню выберите команду Визуализировать.

Это действие приводит к отображению результатов оценки, как показано на рис. 2.

Рисунок 2. Визуализация результата оценки модели для задачи двухклассовой классификации

Интерпретация результатов

В таблице результатов представлены шесть столбцов. Четыре столбца слева соответствуют четырем признакам. Два правых столбца — "Scored Labels" (Оцененные метки) и "Scored Probabilities" (Оцененные вероятности) — представляют результаты прогнозирования. Столбец "Scored Probabilities" (Оцененные вероятности) отражает вероятность того, что цветок принадлежит к положительному классу (класс 1). Например, первое число в этом столбце (0,028571) означает, что первый цветок принадлежит классу 1 с вероятностью 0,028571. Столбец «Метки оценки» содержит прогнозируемый класс для каждого из цветков. Этот прогноз основывается на столбце оценки вероятности. Если оцененная вероятность составляет больше 0,5, прогнозируется принадлежность к классу 1. В противном случае прогнозируется принадлежность к классу 0.

Публикация в веб-службе

Если результаты прогнозирования выглядят понятными и убедительными, эксперимент можно опубликовать как веб-службу. Так вы сможете развертывать его в разных приложениях и прогнозировать принадлежность к классам новых цветков ириса. Сведения о том, как превратить обучающий эксперимент в оценивающий эксперимент и опубликовать его в виде веб-службы, см. в руководстве 3 по развертыванию модели кредитных рисков. Выполнив эту процедуру, вы получите оценивающий эксперимент, как показано на рис. 3.

Рисунок 3. Оценка эксперимента с задачей двухклассовой классификации цветков ириса

Теперь вам нужно определить вход и выход для веб-службы. Очевидно, что входные данные — правый входной порт модуля Score Model (Оценка модели), представляющий входные данные о признаках цветков ириса. Выбор выхода зависит от того, что мы хотим получить: оцененную метку (прогнозируемый класс), оцененную вероятность или оба значения сразу. В этом примере нас интересуют оба значения. Чтобы выбрать нужные выходные столбцы, используйте модуль Select Columns in Data set (Выбор столбцов в наборе данных). Щелкните модуль Select Columns in Data set (Выбор столбцов в наборе данных), затем — Launch column selector (Запустить средство выбора столбцов) и выберите столбцы Scored Labels (Оцененные метки) и Scored Probabilities (Оцененные вероятности). Настроив порт вывода модуля Select Columns in Data set (Выбор столбцов в наборе данных) и запустив эксперимент еще раз, можно приступать к публикации оценивающего эксперимента в виде веб-службы. Для этого нажмите кнопку Опубликовать веб-службу. Окончательный эксперимента выглядит как показано на рис. 4.

Рисунок 4. Окончательный оценивающий эксперимент в задаче двухклассовой классификации цветков ириса

Запустив веб-службу, вы можете ввести некоторые значения признаков для тестового экземпляра и получить ответ в виде двух чисел. Первое число — это оцененная метка, а второе — оцененная вероятность. Прогноз относит этот цветок к классу 1 с вероятностью 0,9655.

Рисунок 5. Результат, возвращаемый веб-службой для двухклассовой классификации цветков ириса

Многоклассовая классификация

Пример эксперимента

В этом эксперименте в качестве примера многоклассовой классификации выполняется задача по распознаванию букв. Классификатор пытается предсказать определенную букву (класс) по некоторым значениям атрибутов, извлеченным из изображений рукописных символов.

В обучающих данных предусмотрено 16 признаков, извлеченных из изображений рукописных букв. У нас есть 26 букв, которые образуют 26 классов. На рис. 6 представлен эксперимент, который обучает модель многоклассовой классификации распознавать буквы. Кроме того, он прогнозирует результаты по тому же набору признаков для тестового набора данных.

Рисунок 6. Эксперимент с задачей многоклассовой классификации — распознавание букв

Отобразите результаты модуля Score Model (Оценка модели), щелкнув порт вывода модуля Score Model (Оценка модели) и выбрав команду Визуализировать. Вы увидите данные, представленные на рис. 7.

Рис. 7. Визуализация результата оценки модели для задачи многоклассовой классификации

Интерпретация результатов

16 столбцов слева представляют значения признаков тестового набора. Столбцы с такими именами, как "Scored Probabilities for Class «XX»" (Оцененные вероятности для класса "XX") аналогичны столбцу со значениями оцененной вероятности в двухклассовом эксперименте. Они показывают вероятность того, что соответствующая запись будет принадлежать определенному классу. Например, для первой записи число 0,003571 представляет вероятность принадлежности к классу А, число 0,000451 — к классу В и т. д. Последний столбец (с оцененными метками) полностью соответствует одноименному столбцу в двухклассовом эксперименте. Класс с наибольшим показателем вероятности выбирается в качестве прогнозируемого класса соответствующей записи. Например, для первой записи меткой оценки является "F", так как у нее наибольшая вероятность быть "F" (0,916995).

Публикация в веб-службе

Здесь вы также можете получить для каждой записи значение оцененной метки и оцененной вероятности. Задача состоит в нахождении наибольшей вероятности среди всех оценок вероятностей. Для этого вам потребуется модуль Выполнить сценарий R. Код для скрипта R представлен на рис. 8, а на рис. 9 показан результат эксперимента.

Рис. 8. Код R для извлечения оцененных меток и оцененных вероятностей

Рис. 9. Окончательный оценивающий эксперимент с задачей многоклассовой классификации — распознавание букв

Когда вы опубликуете эту веб-службу и введете некоторые входные значения признаков, вы получите результат, который выглядит как на рис. 10. Эта рукописная буква согласно 16 извлеченным признакам будет буквой "T" с вероятностью 0,9715.

Рис. 10. Возвращаемый веб-службой результат задачи многоклассовой классификации

Регрессия

Регрессионная задача отличается от задачи классификации. В задаче классификации мы пытаемся прогнозировать дискретные классы, определяя, например, к какому классу принадлежит цветок ириса. А в следующем примере представлена регрессионная задача, в которой мы пробуем спрогнозировать значение непрерывной переменной, например стоимости автомобиля.

Пример эксперимента

В нашем примере регрессивной задачи прогнозируется стоимость автомобиля. Вы будете прогнозировать цену автомобиля на основе таких его признаков, как производитель, тип топлива, тип кузова, типа привода и т. д. Этот эксперимент показан на рис. 11.

Рис. 11. Регрессионный эксперимент с задачей оценки стоимости автомобиля

Результаты работы модуля Score Model (Оценка модели) показаны на рис. 12.

Рис. 12. Оценка результата для задачи прогноза стоимости автомобилей

Интерпретация результатов

В этом эксперименте результаты оценки представлены в столбце оцененных меток. Числа являются прогнозируемой стоимостью для каждого автомобиля.

Публикация в веб-службе

Вы можете опубликовать эксперимент регрессии в веб-службе и вызывать его для прогнозирования стоимости автомобиля, как в двухклассовом эксперименте.

Рис. 13. Оценивающий эксперимент для регрессионной задачи оценки стоимости автомобилей

Выполняющаяся веб-служба возвращает результат, как показано на рис. 14. Прогнозируемая стоимость этого автомобиля — 15 085,52 долларов США.

Рис. 14. Результат веб-службы для регрессионной задачи оценки стоимости автомобиля

Кластеризация

Пример эксперимента

Воспользуемся набором данных Iris еще раз, чтобы создать эксперимент кластеризации. Здесь вы можете отфильтровать метки классов в наборе данных, чтобы они включали только признаки и их можно было использовать для кластеризации. В этом примере обучения с использованием набора данных Iris мы укажем два кластера. Это означает, что цветки будут разделены на два класса. Этот эксперимент показан на рис. 15.

Рис. 15. Эксперимент с задачей кластеризации цветков ириса

Кластеризация отличается от классификации тем, что обучающий набор данных не имеет собственных меток. При кластеризации экземпляры обучающего набора данных группируются в несколько кластеров. В процессе обучения модель помечает записи по мере изучения различий между их признаками. После этого обученная модель может классифицировать новые записи. В задаче кластеризации нас интересуют результаты по двум направлениям. Сначала мы создадим метки для обучающего набора данных, а затем классифицируем новый набор данных с помощью обученной модели.

Первую часть результатов можно визуализировать, щелкнув левый порт вывода модуля Train Clustering Model (Обучение модели кластеризации) и выбрав команду Визуализировать. Визуализация представлена на рис. 16.

Рис. 16. Визуализация результата кластеризации для обучающего набора данных

Вторая часть результатов, кластеризация новых записей с помощью обученной модели кластеризации, показана на рис. 17.

Рис. 17. Визуализация результата кластеризации для нового набора данных

Интерпретация результатов

Хотя результаты двух подмножеств получены на разных этапах эксперимента, они выглядят похожими и интерпретируются одинаково. Первые четыре столбца — это признаки. Последний столбец "Assignments" (Назначения) представляет результат прогнозирования. Записи, которым назначены одинаковые числа, по прогнозу отнесены в один кластер. Это означает, что у них есть определенные сходства (в этом эксперименте использовалась стандартная формула Евклидовой метрики для оценки расстояния). Так как вы указали, что кластеров должно быть 2, в этом столбце встречаются только значения 0 и 1.

Публикация в веб-службе

Вы можете опубликовать эксперимент кластеризации в веб-службе и вызывать его для прогнозирования кластеризации так же, как и эксперимент двухклассовой классификации.

Рис. 18. Оценивающий эксперимент с задачей кластеризации набора данных Iris

Запустив веб-службу, вы получите результат, представленный на рис. 19. Согласно прогнозу этот цветок относится к кластеру 0.

Рис. 19. Результат, возвращаемый веб-службой для двухклассовой классификации цветков ириса

Система рекомендаций

Пример эксперимента

Чтобы ознакомиться с системой рекомендаций, в качестве примера рассмотрим задачу рекомендации ресторана: вы будете рекомендовать клиентам рестораны на основе их оценок. Входные данные делятся на три части:

• клиентские оценки ресторанов;
• данные о характеристиках клиентов;
• Данные об услугах ресторанов

С помощью встроенного модуля Студии машинного обучения (классическая) Train Matchbox Recommender (Обучение системы Matchbox Recommender) можно выполнять несколько задач:

• Прогноз оценки для указанных пользователя и объекта
• рекомендовать объект данному пользователю;
• Поиск пользователей, связанных с указанным пользователем
• Поиск объектов, связанных с данным объектом

Вы можете выбрать нужную задачу в меню Recommender prediction kind (Тип прогноза системы рекомендаций), где есть четыре варианта. Здесь мы рассмотрим все четыре сценария.

Типичный эксперимент Студии машинного обучения (классическая) для системы рекомендаций представлен на рис. 20. Дополнительные сведения об использовании этих модулей системы рекомендаций см. на странице справки в статьях Train matchbox recommender (Обучение модели рекомендаций Matchbox) и Score matchbox recommender (Оценка модели рекомендаций Matchbox).

Рис. 20. Эксперимент с системой рекомендаций

Интерпретация результатов

Прогноз оценки для указанных пользователя и объекта

Выбрав пункт Rating Prediction (Прогноз оценки) в меню Recommender prediction kind (Тип прогноза системы рекомендаций), мы запросим у системы рекомендаций создать прогнозную оценку для указанных пользователя и объекта. Визуализация результатов модуля Score Matchbox Recommender (Оценка модели рекомендаций Matchbox) показана на рис. 21.

Рис. 21. Визуализация результата оценки системы рекомендаций — прогнозная оценка

Первые два столбца — это пары пользователь-объект, представленные во входных данных. Третий столбец является прогнозируемой оценкой пользователя для определенного объекта. Например в первой строке клиент U1048 вероятно даст ресторану 135026 оценку 2.

Рекомендация объекта указанному пользователю

Выбрав пункт Item Recommendation (Рекомендация объекта) в меню Recommender prediction kind (Тип прогноза системы рекомендаций), мы запросим систему рекомендаций найти рекомендуемые объекты для указанного пользователя. В этом сценарии нужно указать значение еще одного параметра: Recommended item selection (Выбор рекомендуемого объекта). Параметр From Rated Items (for model evaluation) (Из оцененных объектов — для оценки модели) используется преимущественно для оценки модели при обучении. На этом этапе прогнозирования мы выбираем From All Items (Из всех объектов). Визуализация результатов модуля Score Matchbox Recommender (Оценка модели рекомендаций Matchbox) показана на рис. 22.

Рис. 22. Визуализация результата оценки системы рекомендаций — рекомендуемый объект

Первый из шести столбцов содержит идентификаторы пользователей, которым будут рекомендованы объекты. Они получены из входных данных. Остальные пять столбцов содержат объекты, рекомендуемые каждому пользователю. Они перечислены в порядке убывания релевантности. Например, в первой строке для клиента U1048 первый рекомендуемый ресторан представлен значением 134986; за ним следуют 135018, 134975, 135021 и 132862.

Поиск пользователей, связанных с указанным пользователем

Выбрав пункт Related Users (Связанные пользователи) в меню Recommender prediction kind (Тип прогноза системы рекомендаций), мы запросим систему рекомендаций найти пользователей, связанных с указанным пользователем. Связанными пользователями являются пользователи с аналогичными параметрами. В этом сценарии нужно выбрать значение еще одного параметра: Related user selection (Выбор связанных пользователей). Параметр From Users That Rated Items (for model evaluation)(Из пользователей, которые оценили объекты — для оценки модели) используется преимущественно для оценки модели при обучении. На этом этапе прогнозирования мы выбираем From All Users (Из всех пользователей). Визуализация результатов модуля Score Matchbox Recommender (Оценка модели рекомендаций Matchbox) показана на рис. 23.

Рис. 23. Визуализация результатов оценки системы рекомендаций — связанные пользователи

Первый из шести столбцов содержит идентификаторы пользователей, для которых ищутся связанные пользователи. Они получены из входных данных. Остальные пять столбцов содержат прогнозы по связанным пользователям. Они перечислены в порядке убывания релевантности. Например, в первой строке для клиента U1048 наиболее соответствующий клиент представлен значением U1051; за ним следуют U1066, U1044, U1017 и U1072.

Поиск объектов, связанных с данным объектом

Выбрав пункт Related Items (Связанные объекты) в меню Recommender prediction kind (Тип прогноза системы рекомендаций), мы запросим систему рекомендаций найти объекты, связанные с указанным объектом. Связанные объекты — это те объекты, которые скорее всего понравятся тем же пользователям. В этом сценарии нужно выбрать значение еще одного параметра: Related item selection (Выбор связанных объектов). Параметр From Rated Items (for model evaluation) (Из оцененных объектов — для оценки модели) используется преимущественно для оценки модели при обучении. На этом этапе прогнозирования мы выбираем From All Items (Из всех объектов). Визуализация результатов модуля Score Matchbox Recommender (Оценка модели рекомендаций Matchbox) показана на рис. 24.

Рис. 24. Визуализация результатов оценки системы рекомендаций — связанные объекты

Первый из шести столбцов содержит идентификаторы объектов, для которых ищутся связанные объекты. Они получены из входных данных. Остальные пять столбцов содержат прогнозы по связанным объектам. Они перечислены в порядке убывания релевантности. Например, в первой строке для объекта 135026 наиболее соответствующий объект представлен значением 135074; за ним следуют 135035, 132875, 135055 и 134992.

Публикация в веб-службе

Процесс публикации этих экспериментов как веб-служб для получения прогнозов аналогичен для каждого из четырех сценариев. В качестве примера мы возьмем второй сценарий, в котором объекты рекомендуются указанному пользователю. Ту же процедуру необходимо повторить и для трех остальных сценариев.

Сохранив обученную систему рекомендаций в качестве обученной модели и преобразовав входные данные в один столбец идентификаторов пользователей, мы можем подключить эксперимент, как показано на рис. 25, и опубликовать его как веб-службу.

Рис. 25. Оценивающий эксперимент с задачей рекомендации ресторана

Запустив эту веб-службу, мы получим результат, представленный на рис. 26. Пользователю U1048 рекомендуются пять ресторанов: 134986, 135018, 134975, 135021 и 132862.

Рис. 26. Результаты веб-службы для задачи рекомендации ресторана