Введение
Мы можем оценивать модели классификации с точки зрения типов ошибок, к которым они приводят, например ложных отрицательных и положительных результатов. Это может дать представление о типах ошибок, сделанных моделью, но не обязательно предоставляет глубокую информацию о том, как модель может выполняться, если незначительные корректировки были сделаны в его критерии принятия решений. Здесь мы обсудим кривые оператора приемника (ROC), которые опираемся на идею матрицы путаницы, но предоставьте нам более глубокую информацию, которая позволяет улучшить наши модели до большей степени.
Сценарий:
В рамках этого модуля мы будем использовать следующий пример-сценарий для теоретической и практической работы с ROC-кривыми.
Ваша благотворительная организация по спасению лавины успешно построила модель машинного обучения, которая может оценить, обнаружен ли объект упрощенными датчиками является туристом или естественным объектом, например деревом или скалой. Это позволяет определить, сколько на горе людей, чтобы понять, нужна ли спасательная бригада при сходе лавины. Модель неплохо работает, но вы хотите понять, можно ли ее улучшить. Внутри модель принимает альтернативное решение, является ли обнаруженный объект туристом, и решение это основано на вероятностях. Можно ли оптимизировать процесс принятия решения для повышения эффективности?
Необходимые компоненты
- Знакомство с моделями машинного обучения
Цели обучения
Изучив этот модуль, вы сможете:
- Узнайте, как создавать кривые ROC.
- Узнайте, как оценивать и сравнивать модели с помощью этих кривых.
- Практика точной настройки модели с использованием характеристик, которые выстраивались на кривых ROC.