你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
Azure 工作负荷中负责任的 AI
负责任的 AI 在工作负载设计中的目标是帮助确保 AI 算法的使用 公平、透明以及 包容性。 Microsoft Azure Well-Architected Framework 安全原则是相互关联的，侧重于 保密 和 完整性。 必须采取安全措施来维护用户隐私、保护数据以及保护设计的完整性。 不应出于意外目的滥用设计。
在 AI 工作负载中，模型通常使用不透明逻辑做出决策。 用户应信任系统的功能，并确信模型会负责任地做出这些决策。 必须防止不可接受的行为，如操纵、内容毒性、IP 侵权和捏造的反应。
例如，一个媒体娱乐公司希望通过使用 AI 模型来提供推荐。 如果公司未实施负责任的 AI 和适当的安全协议，则不良参与者可能会控制模型。 该模型可能会建议造成伤害的内容。 对于组织来说，此行为可能会导致品牌损坏、不安全环境和法律问题。 因此，在整个系统的生命周期内保持适当的警惕至关重要，不可谈判。
在做出设计决策时，应优先考虑安全性和工作负荷管理，并牢记人工结果。 熟悉 Microsoft 负责任 AI 框架，并确保在设计中衡量和实施该框架的原则。 下图显示了框架的核心概念。
重要
预测的准确性和负责任的 AI 的指标通常相互关联。 通过提高模型的准确性，可以增强其公平性和与现实的一致性。 负责任的 AI 通常与准确性保持一致，但仅准确性不包括所有安全注意事项。 负责任地验证这些原则至关重要。
本文提供有关负责任的决策、验证用户输入以及帮助确保安全用户体验的建议。 它还提供有关数据安全性的指导，以帮助保护用户数据。
建议
下表总结了本文中的建议。
| 建议 | 说明 |
|---|---|
| 制定在生命周期的每个阶段实施道德实践的政策。 | 包括明确说明安全要求的清单项，并根据工作负荷环境进行定制。 示例包括用户数据透明度、同意配置以及如何处理被遗忘的权利的过程（RTBF）。 ▪ 为负责任的 AI 制定策略 ▪ 加强对负责任的 AI 策略的管理 |
| 保护用户数据，目的是最大化隐私。 | 仅收集必要的内容，并经适当的用户同意。 应用技术控制来保护用户档案、他们的数据以及对这些数据的访问权限。 ▪ 适当地处理用户数据 ▪ 检查传入和传出数据 |
| 保持 AI 决策清晰且易于理解。 | 清楚地说明建议算法的工作原理。 为用户提供数据使用情况和算法决策的见解，帮助他们了解和信任该过程。 ▪ 确保用户体验安全 |
制定负责任的 AI 策略
记录你在使用 AI 时负责任的方法。 显式声明在生命周期的每个阶段应用的策略，以便工作负荷团队了解其职责。 Microsoft 关于负责任 AI 的标准提供了指南，但您必须为自己的上下文具体定义这些准则的含义。
例如，策略应包括支持用户数据透明度和同意配置的机制的清单项。 理想情况下，这些机制应允许用户选择不包含数据。 数据管道、分析、模型训练和其他阶段都必须遵守该选择。 另一个示例是处理 RTBF 的过程。 咨询组织的伦理部门和法律团队以做出明智的决策。
为数据使用和算法决策创建透明策略，以帮助用户了解和信任该过程。 记录这些决定，以保持明确的历史，以寻找潜在的未来诉讼。
负责任的 AI 实施包括三个关键角色：研究团队、策略团队和工程团队。 这些团队之间的协作应可操作化。 如果组织有现有团队，请使用其工作。 否则，请自行建立这些做法。
每个团队都应该有自己的责任。 例如：
研究小组通过咨询组织准则、行业标准、法律、法规以及已知的红队策略， 来识别风险。
策略团队开发特定于工作负荷的策略。 它们结合了来自母组织和政府法规的指导方针。
工程团队将策略 实施到其流程和可交付结果中。 团队验证并测试是否遵守。
每个团队正式化其准则，但 工作负荷团队必须负责自己的记录做法。 团队应清楚地记录任何额外的步骤或有意偏差，以确保没有关于允许事项的歧义。 团队还应坦诚地披露解决方案中的任何潜在缺点或意外结果。
加强对负责任的 AI 策略的管理
设计工作负载以 符合组织和监管监管。 例如，如果透明度是组织要求，请确定它如何应用于工作负荷。 确定设计、生命周期、代码或其他组件中应引入透明度功能以满足该标准的区域。
了解所需的治理、问责、审查委员会和报告授权。 确保管理委员会批准并签署工作负载设计，以避免重新设计并减少安全或隐私问题。 可能需要经过多层审批。 下图概述了组织中的典型治理结构。
有关组织策略和审批者的详细信息，请参阅 定义负责任的 AI 策略。
确保用户体验安全
用户体验应基于行业准则。 使用 Microsoft Human-AI 体验设计库，其中包括原则并提供实施准则。 它还提供了来自Microsoft产品和其他行业来源的示例。
在用户交互的整个生命周期中，始终存在工作负荷责任。 他们从用户打算使用系统的意图开始，并贯穿整个会话，即使在因系统错误造成的中断期间也持续。 请考虑以下做法：
建立透明度。 让用户了解系统如何生成对其查询的响应。
包括模型查阅的预测数据源的链接。 这种做法通过显示信息的来源来增强用户信心。 数据设计应将这些源包含在元数据中。 例如，当检索增强型应用程序中的业务流程协调程序执行搜索时，它将检索 20 个文档区块，并将前 10 个区块作为上下文发送到模型。 前 10 个区块属于三个不同的文档。 然后，UI 可以在显示模型的响应时引用这三个源文档。 这种透明度会增加用户信任。
使用代理（充当前端接口和后端系统之间的中介）时，透明度变得更加重要。 例如，在票证系统中，业务流程代码解释用户意向，并发出对代理的应用程序编程接口（API）调用以检索必要的信息。 公开这些交互有助于让用户了解系统的操作。
对于包含多个代理的自动化工作流，请创建记录每个步骤的日志文件。 日志文件可帮助你识别和更正错误。 他们还为用户提供了决策的解释，这些决策使透明度可操作化。
注意
在实施透明度建议时，请避免向用户提供过多信息。 采用渐进式方法，使用干扰最小的 UI 方法。
例如，显示模型置信度分数的工具提示。 可以合并链接，例如指向源文档的链接，用户可以选择这些链接以获取更多详细信息。 此用户发起的方法使 UI 保持非中断性，并且仅当用户选择时，才允许用户查找更多信息。
收集反馈。 实现反馈机制。
避免在每次回复后使用大量问卷的用户。 请改用快速而简单的反馈机制，例如竖起大拇指或放下大拇指，或使用评分系统，对答案特定方面进行1到5的评分。 这些方法有助于随时间推移改进系统，并允许进行精细的反馈，而不会造成干扰。 请注意反馈中潜在的公平性问题，因为用户响应可能有次要原因。
实现反馈机制会影响体系结构，因为需要数据存储。 根据需要处理反馈（如用户数据）并应用隐私控制级别。
除了响应反馈，还收集有关用户体验效能的反馈。 通过系统的监视堆栈收集参与指标。
操作内容安全措施
使用自定义解决方案代码、适当的工具和有效的安全做法，将内容安全集成到 AI 生命周期的每个阶段。 请考虑以下策略：
匿名数据。 随着数据从引入到训练或评估，请一路上实施检查，以尽量减少个人信息泄露的风险，并避免原始用户数据泄露。
审查内容。 使用实时评估请求和响应的内容安全 API。 确保可以访问这些 API。
识别和缓解威胁。 将已知的安全做法应用于 AI 方案。 例如，进行威胁建模，然后记录威胁及其缓解方式。 典型的安全做法（如红团队练习）适用于 AI 工作负载。 红色团队可以测试模型是否可以纵以生成有害内容。 这些活动应集成到 AI 操作中。
有关信息，请参阅为大型语言模型及其应用规划红队测试。
使用正确的指标。 使用有效度量模型行为的指标。 指标因 AI 模型类型而异。 在某些情况下，生成模型的度量可能不适用于回归模型。 例如，模型预测预期寿命，结果会影响保险费率。 此模型中的公平性问题可能导致与公平相关的伤害。 此问题源于核心指标测试中的偏差，因为公平性和准确性指标通常相互关联。 提高准确性，帮助减少与公平相关的伤害。
添加适当的工具。 AI 模型结果必须可解释。 你需要证明并追踪推论是如何做出的，包括训练数据、计算特征和基础数据。 在歧视 AI 中，可以逐步证明决策的合理性。 但是，对于生成模型，解释结果可能比较复杂。 记录决策过程 ，以解决潜在的法律影响并提供透明度。
应该在整个 AI 生命周期内实现此可解释性方面。 数据清理、世系、选择条件和处理是应跟踪决策的关键阶段。
工具
集成用于内容安全和数据可跟踪性的工具，例如 Microsoft Purview。 可以从测试中调用 Azure AI 内容安全 API，以促进内容安全测试。
Azure AI Foundry 提供可评估模型行为的指标。 有关详细信息，请参阅 生成 AI 的评估和监视指标。
有关训练模型，请参阅 Azure 机器学习提供的 指标。
检查传入和传出数据
提示注入攻击（如越狱）是 AI 工作负载的常见问题。 在这种情况下，某些用户可能会尝试出于意外目的滥用模型。 为了帮助确保安全，检查数据以防止攻击并筛选出不适当的内容。 将此分析应用于用户的输入和系统的响应，以帮助确保传入流和传出流的彻底内容审查。
在某些情况下，需要通过 Azure OpenAI 服务进行多个模型调用，以便提供单个客户端请求。 在这些方案中，对每次调用应用内容安全检查可能成本高昂且不必要。 考虑 将这一工作集中到体系结构中，同时将安全性作为服务器端责任。 假设体系结构在模型推理终结点前面有一个网关，用于卸载特定的后端功能。 可以设计网关来处理后端可能不提供本机支持的请求和响应的内容安全检查。 尽管网关是常见的解决方案，但业务流程层可以在更简单的体系结构中有效处理这些任务。 在这两种情况下，可以根据需要选择性地应用这些检查，从而优化性能和成本。
检查应采用多种模式并涵盖各种格式。 使用多模式输入（如图像）时，请务必分析它们，了解可能有害或暴力的隐藏消息。 这些消息可能不会立即可见，因此需要仔细检查。 为此，请使用内容安全 API 等工具。
为了帮助实施隐私和数据安全策略，请检查用户数据和地面数据是否符合隐私法规。 确保数据在流经系统时经过清理或筛选。 例如，来自先前客户支持对话的数据可以用作基础数据。 在重复使用之前，应清理此数据。
适当地处理用户数据
负责任的做法涉及仔细处理用户数据管理。 此管理包括了解何时使用数据以及何时避免依赖用户数据。
练习推理而不共享用户数据。 若要与其他组织安全地共享用户数据以获取见解， 请使用清算机构模型。 在此方案中，组织向受信任的合作伙伴提供数据，该合作伙伴使用聚合数据训练模型。 然后，所有机构都可以使用此模型并共享见解，而无需公开单个数据集。 目标是在不共享详细训练数据的情况下使用模型的推理功能。
促进多样性和包容性。 在必须使用用户数据时，应使用多样化的数据，包括代表性不足的流派和创作者，以减轻与公平性相关的危害。 实现鼓励用户浏览新内容和不同内容的功能。 持续监视使用情况并调整建议，以避免过度呈现任何单个内容类型。
尊重 RTBF。 尽可能避免使用用户数据。 通过准备必要的措施以确保用户数据被认真删除，帮助确保遵循RTBF规定。
为了帮助确保合规性，可能会要求从系统中删除用户数据。 对于较小的模型，可以通过使用排除个人信息的数据重新训练模型来删除用户数据。 对于大型模型，它可以由几个较小的独立训练模型组成，该过程更为复杂，成本与工作量非常重要。 寻求有关如何处置这些情况的法律和伦理指导，并确保在你们的 负责任 AI策略中纳入这些指导。
负责任地保留数据。 如果无法删除数据， 请获取对数据收集 的显式用户同意并提供明确的隐私策略。 仅当绝对必要时收集和保留数据。 准备好操作以在不再需要数据时主动删除数据。 例如，尽快清除聊天历史记录，并在保留前匿名化敏感数据。 对静态数据使用高级加密方法。
支持可解释性。 跟踪系统中的决策以支持可解释性要求。 制定有关建议算法工作原理的明确说明。 为用户提供有关推荐特定内容的原因的见解。 目标是通过详细说明 AI 工作负载及其结果的制定方式、使用的数据以及模型训练方式，确保 AI 工作负载及其结果透明且合理。
加密用户数据。 在用户输入数据的那一刻起，必须在数据处理管道的每个阶段加密输入数据。 这些阶段包括数据从一个点移动到另一个点的过程、存储的数据以及必要时推断的数据。 平衡安全性和功能性，力求在整个生命周期内保持数据的私密性。
提供可靠的访问控制。 多种类型的标识可能会访问用户数据。 为控制平面和数据平面实现基于角色的访问控制，使其涵盖用户和系统到系统通信。
维护适当的用户分段以保护隐私。 例如，Microsoft 365 Copilot 可以根据用户的特定文档和电子邮件搜索并提供答案，同时确保仅访问与该用户相关的内容。
减少表面积。 Well-Architected 框架安全支柱的基本策略是尽量减少攻击面和强化资源。 应通过严格控制 API 终结点、仅公开基本数据以及避免响应中的无关信息，将此策略应用于标准终结点安全做法。 平衡灵活性与控制之间的设计选择。
请确保没有任何匿名终结点。 一般情况下，请避免为用户提供比必要的更多的控制。 在大多数情况下，用户无需调整超参数，但在实验环境中除外。 对于典型的用例（例如与虚拟代理交互），用户应仅控制基本方面，以通过限制不必要的控制来帮助确保安全性。
有关详细信息，请参阅 在 Azure 上 AI 工作负载的应用程序设计。