Поделиться через

Шаг 4. Оценка качества POC

  • Статья

рабочий процесс с выделенным шагом оценки

См. репозиторий GitHub для примера кода в этом разделе.

Ожидаемое время: 5 – 60 минут. Время зависит от количества вопросов в наборе оценки. Для 100 вопросов оценка занимает около 5 минут.

Обзор и ожидаемый результат

На этом шаге используется только что проверенный набор оценки для оценки приложения POC и установления базового качества, стоимости и задержки. Результаты оценки используются следующим шагом, чтобы определить первопричину любых проблем с качеством.

Оценка выполняется с помощью оценки агента ИИ Мозаики и выглядит комплексно во всех аспектах качества, стоимости и задержки, описанных в разделе метрик этой книги.

Агрегированные метрики и оценка каждого вопроса в наборе вычислений регистрируются в MLflow. Дополнительные сведения см. в разделе "Выходные данные оценки".

Требования

  • Доступен оценочный набор.
  • Все требования из предыдущих шагов.

Instructions

  1. Откройте записную книжку в выбранном каталоге 05_evaluate_poc_quality POC и нажмите кнопку "Выполнить все".
  2. Проверьте результаты оценки в записной книжке или с помощью MLflow. Если результаты соответствуют вашим требованиям к качеству, вы можете перейти непосредственно в [развертывание и мониторинг]. Так как приложение POC построено на Databricks, оно готово к развертыванию в масштабируемом и готовом к работе REST API.

Следующий шаг

Используя эту базовую оценку качества POC, определите первопричины любых проблем качества и итеративно исправьте эти проблемы для улучшения приложения. См . шаг 5. Определите первопричину проблем с качеством.