你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

有据性检测

有据性检测 API 检测大型语言模型 (LLM) 的文本响应是否以用户提供的源材料为依据。 无据性是指 LLM 生成的信息与源材料中的信息不符或不准确。

关键术语

  • 检索增强生成 (RAG):RAG 是一种利用其他数据增强 LLM 知识的技术。 LLM 可以推理广泛的主题,但其知识仅限于在训练时可用的公共数据。 如果想要构建能够推理专用数据或模型截止日期后引入的数据的 AI 应用程序,需要向模型提供该特定信息。 引入相应的信息并将其插入模型提示的过程称为“检索增强生成 (RAG)”。 有关详细信息,请参阅检索增强生成 (RAG)
  • LLM 中的有据性和无据性:是指模型的输出基于所提供的信息或准确反映可靠来源的程度。 有据响应与给定的信息密切相关,避免猜测或捏造。 在有据性度量中,源信息至关重要,并充当有据源。

有据性检测选项

以下选项可用于 Azure AI 内容安全中的有据性检测:

  • 域选择:用户可以选择一个已建立的域,以确保进行更量身定制的检测,满足其领域的特定需求。 当前可用的域为 MEDICALGENERIC
  • 任务规范:此功能允许你选择正在执行的任务,例如 QnA(问题解答)和摘要,还可以根据任务类型调整设置。
  • 速度与可解释性:有两种模式可以在速度与结果可解释性之间进行权衡。
    • 非推理模式:提供快速检测功能;易于嵌入到联机应用程序。
    • 推理模式:提供已检测到的无据段的详细说明;更适用于理解和缓解措施。

用例

有据性检测支持基于文本的摘要和 QnA 任务,以确保生成的摘要或答案准确可靠。 以下是每种用例的一些示例:

摘要任务:

  • 医疗摘要:在医疗新闻文章中,可以使用有据性检测来确保摘要中不包含捏造或误导性信息,保证读者获得准确可靠的医疗信息。
  • 学术论文摘要:当模型生成学术论文或研究文章的摘要时,此功能可以帮助确保摘要内容准确地代表重要发现和贡献,而不会引入虚假声明。

QnA 任务:

  • 客户支持聊天机器人:在客户支持中,此功能可用于验证 AI 聊天机器人提供的答案,确保客户在询问有关产品或服务的问题时获得准确且可信的信息。
  • 医疗 QnA:对于医疗 QnA,此功能有助于验证 AI 系统向医护人员和患者提供的医疗答案和建议的准确性,从而降低医疗错误的风险。
  • 教育 QnA:在教育环境中,此功能可以应用于 QnA 任务,以确认学术问题或备考查询的答案准确,在学习过程中提供支持。

有据性校正

有据性检测 API 包含一个纠正功能,可以根据提供的基础源自动纠正文本中检测到的任何上下文不关联性。 启用纠正功能时,响应会包含一个 corrected Text 字段,该字段显示与基础源一致的已纠正文本。

用例

下面,请查看几个常见场景,它们描述了如何以及何时应用这些功能来实现最佳结果。

医学语境中的汇总

你正在汇总医学文档,摘要中患者姓名准确且与提供的基础源一致至关重要。

示例 API 请求:

{
  "domain": "Medical",
  "task": "Summarization",
  "text": "The patient name is Kevin.",
  "groundingSources": [
    "The patient name is Jane."
  ],
}

预期结果:

纠正功能检测到 Kevin 上下文不关联,因为它与基础源 Jane 冲突。 API 返回纠正后的文本:"The patient name is Jane."

使用客户支持数据的问答 (QnA) 任务

你正在为客户支持聊天机器人实现 QnA 系统。 AI 提供的答案与最新、准确的可用信息保持一致,这一点至关重要。

示例 API 请求:

{
  "domain": "Generic",
  "task": "QnA",
  "qna": {
    "query": "What is the current interest rate?"
  },
  "text": "The interest rate is 5%.",
  "groundingSources": [
    "As of July 2024, the interest rate is 4.5%."
  ],
}

预期结果:

API 检测到 5% 没有依据,因为它与提供的基础源 4.5% 不匹配。 答复包含纠正文本:"The interest rate is 4.5%."

使用历史数据创建内容

你正在创建涉及历史数据或事件的内容,为了保持可信度和避免信息错误,准确性至关重要。

示例 API 请求:

{
  "domain": "Generic",
  "task": "Summarization",
  "text": "The Battle of Hastings occurred in 1065.",
  "groundingSources": [
    "The Battle of Hastings occurred in 1066."
  ],
}

预期结果:

API 会检测无依据日期 1065,并根据依据源将其更正为 1066。 答复包含纠正后的文本:"The Battle of Hastings occurred in 1066."

内部文档汇总

你正在汇总内部文档,其中产品名称、版本号或其他特定数据点必须保持一致。

示例 API 请求:

{
  "domain": "Generic",
  "task": "Summarization",
  "text": "Our latest product is SuperWidget v2.1.",
  "groundingSources": [
    "Our latest product is SuperWidget v2.2."
  ],
}

预期结果:

更正功能将 SuperWidget v2.1 标识为“无依据”,并在响应中将其更新为 SuperWidget v2.2。 答复返回纠正后的文本:"Our latest product is SuperWidget v2.2."

最佳做法

设置 RAG 系统以充分利用有据性检测 API 时,请遵循以下最佳做法:

  • 处理产品名称或版本号时,请直接使用来自内部发行说明或官方产品文档的基础源来确保准确性。
  • 对于历史内容,请将基础源与可信的学术或历史数据库交叉参考,以确保最高的准确性。
  • 在金融等动态环境中,请始终使用最新可靠的基础源来确保 AI 系统提供准确、及时的信息。
  • 始终确保基础源准确、最新,尤其是在医疗保健等敏感领域。 这可最大程度地减少在汇总过程中出错的风险。

限制

语言可用性

目前,有据性检测 API 支持英语内容。 虽然 API 不限制非英语内容的提交,但我们不能保证其他语言内容的分析具有同等水平的质量和准确性。 我们建议用户主要以英语提交内容,以确保 API 中的结果最可靠且最准确。

文本长度限制

有关最大文本长度限制,请参阅输入要求

上市区域

若要使用此 API,必须在受支持的区域中创建 Azure AI 内容安全资源。 请参阅区域可用性

分级限制

请参阅查询速率

如果需要更高的速率,请联系我们以提交请求。

后续步骤

按照快速入门开始使用 Azure AI 内容安全来检测有据性。