Просмотр результатов оценки и сведений о модели классификации текстов
После завершения обучения модели можно просмотреть метрики производительности модели и прогнозируемые классы для документов в наборе для тестирования.
Примечание.
Автоматическое разделение набора для тестирования от данных для обучения может привести к разным результатам оценки модели при каждом обучении новой модели, так как набор для тестирования выбирается случайным образом из данных. Чтобы убедиться в том, что оценка вычисляется для одного и того же набора для тестирования при каждом обучении модели, обязательно используйте параметр Разделение данных для обучения и тестирования вручную при запуске задания обучения и определите документы для тестирования при маркировке данных.
Необходимые компоненты
Перед просмотром оценки модели вам потребуется:
- Проект пользовательской классификации текстов с настроенной учетной записью Хранилища BLOB-объектов Azure.
- Текстовые данные, отправленные в учетную запись хранения.
- Помеченные данные
- Успешно обученная модель.
Дополнительные сведения см. в статье о жизненном цикле разработки проекта.
Сведения о модели
Перейдите к странице проекта в Language Studio.
В меню слева выберите Производительность модели.
На этой странице можно просмотреть только успешно обученные модели, оценку F1 для каждой модели и дату окончания срока действия модели. Вы можете выбрать имя модели для получения дополнительных сведений о его производительности.
Примечание.
Классы, которые не помечены и не прогнозируются в наборе для тестирования, не будут включены в отображаемые результаты.
- Обзор
- Производительность типа класса
- Сведения о наборе тестов
- Распределение наборов данных
- Матрица неточностей
На этой вкладке можно просмотреть такие сведения о модели, как показатель F1, точность, полнота, дата и время для задания обучения, общее время обучения и количество документов для обучения и тестирования, включенных в это задание обучения.
Вы также увидите рекомендации по улучшению модели. Если щелкнуть просмотр сведений, откроется боковая панель с дополнительными рекомендациями по улучшению модели. В этом примере в наборе для обучения для этих классов недостаточно данных. Кроме того, существует неясное различие между типами классов в наборе для обучения, где два класса путаются друг с другом. Если нажать на спорные классы, откроется страница маркировки данных, на которой можно выполнить разметку дополнительных данных с правильным классом.
Подробнее о рекомендациях по модели и матрице неточностей можно узнать в концепциях производительности модели.
Загрузка или экспорт данных модели
Чтобы загрузить данные модели, выполните приведенные далее действия.
Выберите любую модель на странице оценки модели.
Нажмите кнопку "Загрузить данные модели".
Убедитесь, что у вас нет несохраненных изменений, которые необходимо записать в появившемся окне, и выберите " Загрузить данные".
Дождитесь завершения загрузки данных модели в проект. По завершении вы будете перенаправлены обратно на страницу конструктора схемы.
Экспорт данных модели:
Выберите любую модель на странице оценки модели.
Нажмите кнопку "Экспорт данных модели". Дождитесь локального скачивания моментального снимка JSON модели.
Удаление модели
Чтобы удалить модель в Language Studio, выполните следующие действия:
В меню слева выберите Производительность модели.
Выберите имя модели, которую вы хотите удалить, и выберите "Удалить" в верхнем меню.
В появившемся окне нажмите кнопку "ОК ", чтобы удалить модель.
Следующие шаги
После проверки работы модели ознакомьтесь с используемыми метриками оценки. Определив возможности для совершенствования модели, вы можете приступить к улучшению модели.