Поделиться через

Оценка модели прогнозирования первоначальных платежей клиента

  • Статья

В этой статье объясняется, как оценить прогнозную модель после включения Finance Insights и последующего создания и обучения первой модели. В этой статье рассматриваются модели для прогнозирования платежей клиентов. В ней описываются шаги, которые можно предпринять для понимания модели прогнозирования платежей клиентов и оценки ее эффективности.

Получение сведений о модели

На странице Параметры Finance Insights в Microsoft Dynamics 365 Finance рядом с показателем точности появляется ссылка Улучшить точность модели.

Ссылка улучшения точности модели.

Эта ссылка переводит вас в AI Builder, где можно узнать больше о текущей модели, а также предпринять шаги по ее совершенствованию. На следующем рисунке показана открытая страница.

AI Builder.

На открытой странице показаны следующие сведения:

  • В разделе Производительность оценка производительности модели обеспечивает перспективу качества модели. Дополнительные сведения об этой оценке см. в разделе Производительность модели прогнозирования в документации по AI Builder.

  • В разделе Самые влиятельные данные показано, как важны для модели были данные различных входных типов. Можно оценить этот список и соответствующие процентные доли, чтобы определить, согласованы ли сведения с тем, что вам известно о вашем бизнесе и рынке.

    Разделы производительности и самых влиятельных данных для модели прогноза.

  • В разделе Производительность выберите См. сведения для получения дополнительных сведений о классе и других вопросах. На следующем рисунке сведения показывают, что модель использует меньше сведений, чем рекомендуется. Таким образом, система создала предупреждающее сообщение.

    Предупреждения о производительности модели.

Более подробный анализ

Хотя точность является хорошей отправной точкой для оценки модели, а уровень производительности обеспечивает перспективу, AI Builder предоставляет более подробные показатели, которые можно использовать для оценки. Чтобы загрузить сведения, в разделе Производительность выберите кнопку с многоточием (...) рядом с кнопкой Использовать модель, а затем выберите Загрузить подробные метрики.

Команда

На следующем рисунке показан формат, в котором можно загрузить данные.

Формат загруженных данных.

Для более глубокого анализа результатов хорошей отправной точкой является проверка метрики "Матрица ошибок". Например, здесь представлены данные, которые отображаются для данной метрики на предыдущем рисунке.

{"name": "Confusion Matrix", "value": {"schema_type": "confusion_matrix", "schema_version": "1.0.0", "data": {"class_labels": ["0", "1", "2"], "matrix": [[71, 9, 21], [5, 0, 27], [2, 0, 45]]}}, "type": "dictionaryNumericalList", "isGlobalScore": false}

Эти данные можно расширить следующим образом:

  Прогноз "Вовремя" Прогноз "Поздно" Прогноз "Очень поздно"
Фактический платеж вовремя 71 0 21
Фактический просроченный платеж 5 0 27
Фактический сильно просроченный платеж 2 0 45

В матрице ошибок показаны результаты случайно выбранного тестового набора данных из процесса обучения. Так как эти закрытые накладные не использовались для обучения модели, они являются хорошими тестовыми случаями для модели. Кроме того, поскольку фактическое состояние накладной известно, производительность модели также можно увидеть.

Первое, что нужно искать — это самое обычное фактическое значение. Хотя это значение может не быть идеально выровнено с общим набором данных, это разумная аппроксимация. В этом случае Фактический платеж вовремя выполняется для 92 из общего количества 171 накладной и является наиболее распространенным фактическим значением. Таким образом, это хорошая база для вашей модели. Если вы просто предположите, что все накладные будут оплачены вовремя, необходимо было бы исправить 92 из 171 (то есть, 54 процента времени).

Важно понимать, насколько сбалансирован набор данных. В этом случае 92 из 171 накладных были оплачены вовремя, 32 были оплачены с опозданием, а 47 — с очень большим опозданием. Эти значения указывают на разумно сбалансированный набор данных, поскольку в каждой классификации имеются нетривиальные результаты. Ситуация, когда одно из состояний имеет очень мало результатов, может быть непростой для модели машинного обучения.

Точность модели указывает количество правильных прогнозов для проверочного набора данных. Эти правильные прогнозы представляют собой значения, которые отображаются полужирным шрифтом в предыдущем примере. В этом случае значения создают вычисленную точность 67,8 процента (= [71 + 0 + 45] ÷ 171). Это значение представляет собой усовершенствование на 14% от простого предположения с 54 процентами и является одним индикатором качества модели.

Если взглянуть более внимательно на матрицу ошибок, вы увидите, что модель работает хорошо для прогноза оплаты накладных вовремя и с большой задержкой. Однако она неверна для всех 32 накладных, которые фактически были оплачены поздно (но не очень поздно). Этот результат предполагает, что потребуется дополнительное исследование и усовершенствование модели.

Число, представляющее производительность модели лучше, чем точность, — это показатель макро F1. Этот показатель учитывает результаты каждого состояния классификации (вовремя, поздно и очень поздно). Например, здесь представлены данные, которые отображаются для метрики "Макро F1" на предыдущем рисунке.

{"name": "F1 Macro", "value": 0.4927170868347339, "type": "percentage", "isGlobalScore": false}

В этом случае оценка макро F1, равная приблизительно 49,3 процентам, указывает на то, что модель не предоставляет эффективные прогнозы по каждому из состояний, несмотря на общую оценку точности, которая кажется довольно высокой

Совершенствование модели

Поняв результаты первой модели лучше, возможно, потребуется улучшить модель путем добавления или удаления столбцов функций или путем фильтрации всех частей набора данных, которые не поддерживают точные прогнозы. Закройте AI Builder, а затем воспользуйтесь ссылкой Улучшить модель в Dynamics 365 Finance для перезапуска процесса AI Builder. Можно экспериментировать с различными характеристиками без воздействия на опубликованную модель. Опубликованная модель затрагивается только в том случае, если выбрано значение Опубликовать. Помните, что одна модель используется для вашего экземпляра Dynamics 365 Finance. Поэтому перед публикацией следует внимательно просмотреть любую новую модель.

Дополнительные сведения

Дополнительные сведения об оценке моделей прогнозирования см. в разделе Результаты моделей машинного обучения