Рабочий процесс разработки на основе оценки
В этом разделе описывается рекомендуемый рабочий процесс разработки Databricks для создания, тестирования и развертывания высококачественного приложения RAG: разработка на основе оценки. Этот рабочий процесс основан на рекомендуемых рекомендациях команды по изучению Мозаики для создания и оценки высококачественных приложений RAG. Databricks рекомендует следующий рабочий процесс на основе оценки:
- Определите требования.
- Соберите отзывы заинтересованных лиц о быстрой проверке концепции (POC).
- Оцените качество POC.
- Итеративно диагностировать и устранять проблемы с качеством.
- Развертывание в рабочей среде.
- Мониторинг в рабочей среде.
В разработке на основе оценки существует два основных понятия:
Метрики: определение высокого качества.
Аналогично тому, как вы устанавливаете бизнес-цели каждый год, необходимо определить, какое качество означает для вашего варианта использования. Оценка агента Mosaic AI предлагает рекомендованный набор метрик для использования, среди которых наиважнейшими являются точность и корректность ответа: правильно ли приложение RAG предоставляет ответы?
набор оценки: объективно измерять метрики.
Для объективной оценки качества требуется оценочный набор, содержащий вопросы с известными хорошими ответами, проверенными людьми. В этом руководстве описывается процесс разработки и итеративного уточнения этого набора оценки.
Привязка к метрикам и набору вычислений обеспечивает следующие преимущества:
- Вы можете итеративно и уверенно уточнить качество вашего приложения во время разработки - больше не догадываться, если изменение привело к улучшению.
- Согласование с заинтересованными лицами бизнеса о готовности приложения к производству становится более простым, когда вы можете уверенно утверждать, "мы знаем, что наше приложение отвечает на наиболее важные вопросы для нашего бизнеса правильно и не галлюцинирует".
Пошаговые инструкции, иллюстрирующие рабочий процесс на основе оценки, начинаются с предварительных требований: Сбор требований.