Поделиться через

Рабочий процесс разработки на основе оценки

  • Статья

В этом разделе описывается рекомендуемый рабочий процесс разработки Databricks для создания, тестирования и развертывания высококачественного приложения RAG: разработка на основе оценки. Этот рабочий процесс основан на рекомендуемых рекомендациях команды по изучению Мозаики для создания и оценки высококачественных приложений RAG. Databricks рекомендует следующий рабочий процесс на основе оценки:

  1. Определите требования.
  2. Соберите отзывы заинтересованных лиц о быстрой проверке концепции (POC).
  3. Оцените качество POC.
  4. Итеративно диагностировать и устранять проблемы с качеством.
  5. Развертывание в рабочей среде.
  6. Мониторинг в рабочей среде.

Рабочий процесс разработки на основе оценки

В разработке на основе оценки существует два основных понятия:

  • Метрики: определение высокого качества.

    Аналогично тому, как вы устанавливаете бизнес-цели каждый год, необходимо определить, какое качество означает для вашего варианта использования. Оценка агента ИИ Мозаики предоставляет рекомендуемый набор метрик для использования, наиболее важным из которых является точность ответа или правильность ответа — это приложение RAG, предоставляющее правильный ответ?

  • Оценочный набор: объективно измерять метрики.

    Для объективной оценки качества требуется оценочный набор, содержащий вопросы с известными хорошими ответами, проверенными людьми. В этом руководстве описывается процесс разработки и итеративного уточнения этого набора оценки.

Привязка к метрикам и набору вычислений обеспечивает следующие преимущества:

  • Вы можете итеративно и уверенно уточнить качество вашего приложения во время разработки - больше не догадываться, если изменение привело к улучшению.
  • Согласование с заинтересованными лицами бизнеса о готовности приложения к производству становится более простым, когда вы можете уверенно утверждать, "мы знаем, что наше приложение отвечает на наиболее важные вопросы для нашего бизнеса правильно и не галлюцинирует".

Пошаговые инструкции, иллюстрирующие рабочий процесс на основе оценки, начинаются с предварительных требований: Сбор требований.