Поделиться через

Шаг 6. Создание и оценка исправлений качества в агенте ИИ

  • Статья

В этой статье описаны шаги по итерации и оценке исправлений качества в агенте создания ИИ на основе анализа первопричин.

Схема рабочего процесса POC, шаг итерации

Дополнительные сведения об оценке агента ИИ см. в разделе "Что такое оценка агента ИИ Мозаики?".

Требования

  1. На основе анализа первопричин вы определили потенциальные исправления для извлечения или создания для реализации и оценки.
  2. Приложение POC (или другая базовая цепочка) записывается в запуск MLflow с помощью оценки агента, хранящейся в том же запуске.

См. репозиторий GitHub для примера кода в этом разделе.

Ожидаемый результат в оценке агента

Анимированный GIF-файл, показывающий выходные данные оценки агента в Databricks MLflow.

На предыдущем рисунке показаны выходные данные оценки агента в MLflow.

Устранение, оценка и итерацию агента ИИ

Для всех типов используйте записную книжку B_quality_iteration/02_evaluate_fixes для оценки результирующей цепочки и базовой конфигурации, POC и выбора победителя. Эта записная книжка помогает выбрать выигрышный эксперимент и развернуть его в приложении проверки или в рабочей среде REST API.

  1. В Azure Databricks откройте записную книжку B_quality_iteration/02_evaluate_fixes .
  2. В зависимости от типа реализуемого исправления:
    • Для исправлений конвейера данных:
      • Выполните шаг 6 (конвейеры). Реализуйте исправления конвейера данных для создания нового конвейера данных и получения имени результирующего запуска MLflow.
      • Добавьте имя запуска в DATA_PIPELINE_FIXES_RUN_NAMES переменную.
    • Для исправлений конфигурации цепочки:
      • Следуйте инструкциям в Chain configuration разделе записной книжки 02_evaluate_fixes , чтобы добавить исправления конфигурации цепочки в CHAIN_CONFIG_FIXES переменную.
    • Для исправлений кода цепочки:
      • Создайте измененный файл кода цепочки и сохраните его в папке B_quality_iteration/chain_code_fixes . Кроме того, выберите один из указанных исправлений кода цепочки из этой папки.
      • Следуйте инструкциям в Chain code разделе записной книжки 02_evaluate_fixes.
  3. При запуске записной книжки из Run evaluation ячейки происходит следующее:
    • Оцените каждое исправление.
    • Определите исправление с помощью наилучших метрик качества, затрат и задержки.
    • Разверните лучшее приложение для проверки и готовый к работе REST API для получения отзывов заинтересованных лиц.

Следующий шаг

Перейдите к шагу 6 (конвейеры). Реализуйте исправления конвейера данных.

< Предыдущий: шаг 5.2. Качество создания отладки

Далее: шаг 6.1. Исправление конвейера данных >