Основы получения дополненного поколения (RAG)
В этом разделе приводятся основные компоненты и принципы разработки приложений RAG по неструктурированным данным.
В частности:
- Конвейер данных: преобразование неструктурированных документов, таких как коллекции PDF-файлов, в формат, подходящий для получения с помощью конвейера данных приложения RAG.
-
Получение, расширение и поколение (цепочка RAG): вызывается ряд шагов (или цепочка).
- Понять вопрос пользователя.
- Получение вспомогательных данных.
- Вызовите LLM, чтобы создать ответ на основе вопроса пользователя и вспомогательных данных.
- Оценка: оценка приложения RAG для определения его качества, стоимости и задержки, чтобы обеспечить соответствие бизнес-требованиям.
- Управление и LLMOps: отслеживание жизненного цикла каждого компонента и управление ими, включая управление происхождением данных и управлением (средства управления доступом).