Обучение и оценка модели
Обучение и оценка модели — это итеративный процесс добавления данных и меток в обучающий набор данных с целью более точного обучения модели. Чтобы узнать, какие типы данных и меток необходимо улучшить, Language Studio предоставляет оценку на странице Просмотр сведений о модели в области слева.
Отдельные сущности и общая оценка модели разбиваются на три метрики с целью объяснить, насколько они эффективны и где требуются улучшения.
| Метрическая | Description |
|---|---|
| Точность | Отношение успешных попыток распознавания сущностей ко всем попыткам распознавания. Высокая оценка означает присвоение сущности правильной метки при условии ее правильного распознавания. |
| Отзыв | Отношение успешных попыток распознавания сущностей к фактическому числу сущностей в документе. Высокая оценка означает эффективное обнаружение сущностей независимо от того, правильная ли метка им назначается. |
| Оценка F1 | Сочетание точности и полноты, предоставляющее единую метрику оценки |
Оценки доступны как для каждой сущности, так и для модели в целом. Оценки сущностей могут быть хорошими, а вот оценки модели в целом — нет.
Интерпретация метрик
В идеале модель должна получить высокую оценку как по точности, так и по полноте. Это означает, что распознавание сущностей работает хорошо. Если обе метрики получили низкую оценку, это означает, что у модели возникают проблемы с распознаванием сущностей в документе и при извлечении этой сущности она не присваивает ей правильную метку с высокой степенью достоверности.
Если точность низкая, а полнота высокая, значит, модель распознает сущность хорошо, но не помечает ее как правильный тип сущности.
Если точность высокая, а полнота низкая, значит, модель не всегда распознает сущность, однако когда модель извлекает сущность, применяется правильная метка.
Матрица ошибок
В верхней части той же страницы Просмотр сведений о модели находится еще одна вкладка для матрицы неточностей. Это представление предоставляет визуальную таблицу всех сущностей и эффективности каждой из них, обеспечивая полное представление о модели и ее недостатках.
Матрица неточностей позволяет визуально определить, куда добавлять данные для повышения производительности модели.