检索增强生成 (RAG) 基础知识

本节介绍在非结构化数据上开发 RAG 应用程序背后的关键组件和原理。

RAG 应用程序组件示意图。

具体而言:

  • 数据管道:将非结构化文档(例如 PDF 集合)转换为适合使用 RAG 应用程序的数据管道检索的格式
  • 检索、增强和生成(RAG 链):调用一系列(或一连串)步骤来执行以下操作
    • 了解用户的问题。
    • 检索支持数据。
    • 调用 LLM 以根据用户的问题和支持数据生成响应。
  • 评估:评估 RAG 应用程序以确定其质量、成本和延迟,确保其满足业务需求
  • 治理和 LLMOps:跟踪和管理每个组件的生命周期,包括数据世系和治理(访问控制)