你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
Azure 工作负荷中负责任的 AI
负责任的 AI 在工作负载设计中的目标是确保 AI 算法的使用公平 、透明和包容。 构建良好的安全原则与关注 机密性和完整性相关。 必须采取安全措施来维护用户隐私、保护数据，并保护设计的完整性，不应出于意外目的滥用设计。
在 AI 工作负载中，决策由通常使用不透明逻辑的模型做出。 用户应信任系统的功能，并确信决策是负责任的。 必须避免不道德的行为，如操纵、内容毒性、IP 侵权和捏造的反应。
请考虑使用 AI 模型提供建议的媒体娱乐公司的用例。 未能实现负责任的 AI 和适当的安全性可能会导致不良参与者控制模型。 该模型可能会推荐可能导致有害结果的媒体内容。 对于组织来说，此行为可能导致品牌损坏、不安全环境和法律问题。 因此，在整个系统的生命周期内保持道德警惕至关重要，不可谈判。
道德决策应优先考虑安全和工作负载管理，并考虑到人为结果。 熟悉 Microsoft负责任的 AI 框架 ，并确保在设计中反映和衡量原则。 此图显示了框架的核心概念。
重要
预测准确性和负责任的 AI 指标通常相互关联。 提高模型的准确性可以增强其公平性和与现实的一致性。 但是，虽然道德 AI 经常与准确性保持一致，但仅准确性不包括所有道德注意事项。 必须负责任地验证这些道德原则。
本文提供有关道德决策、验证用户输入并确保安全用户体验的建议。 它还提供有关数据安全性的指导，以确保用户数据受到保护。
建议
下面是本文中提供的建议摘要。
| 建议 | 说明 |
|---|---|
| 制定在生命周期的每个阶段实施道德做法的策略。 | 包括明确声明道德要求的清单项，这些清单项是针对工作负荷上下文定制的。 示例包括：用户数据透明度、同意配置和处理“被遗忘的权利”的过程。 ▪ 开发负责任的 AI 策略 ▪ 对负责任的 AI 策略强制实施治理 |
| 使用最大化隐私的目标保护用户数据。 | 仅收集必要的内容，并经适当的用户同意。 应用技术控制来保护用户配置文件、其数据和对该数据的访问权限。 ▪ 以道德方式处理用户数据 ▪ 检查传入和传出数据 |
| 保持 AI 决策清晰且易于理解。 | 保持对建议算法的工作原理的明确解释，并提供用户对数据使用情况和算法决策的见解，以确保他们理解并信任该过程。 ▪ 确保用户体验安全 |
开发负责任的 AI 策略
记录道德和负责任的 AI 使用情况方法。 在生命周期的每个阶段显式应用状态策略，以便工作负荷团队了解其职责。 虽然Microsoft的负责任的 AI 标准提供了指南，但你必须定义这些含义，具体适用于你的上下文。
例如，策略应包括有关用户数据透明度和同意配置机制的清单项，理想情况下允许用户选择退出数据包含。 数据管道、分析、模型训练和其他阶段都必须遵守该选择。 另一个示例是处理“被遗忘的权利”的过程。咨询组织的道德部门和法律团队做出明智的决策。
围绕数据使用情况和算法决策创建透明策略，确保用户了解并信任该过程。 记录这些决定，以保持明确的历史，以寻找潜在的未来诉讼。
实施道德 AI 涉及三个关键角色：研究团队、策略团队和工程团队。 这些团队之间的协作应可操作化。 如果组织有现有团队，请利用其工作;否则，请自行建立这些做法。
对职责分离负责：
研究团队通过咨询组织准则、行业标准、法律、法规和已知的红队策略进行风险发现 。
策略团队制定特定于工作负荷的策略，并结合父组织和政府法规的准则。
工程团队将策略 实施到其流程和可交付结果中，确保它们验证并测试符合性。
每个团队正式化其准则，但 工作负荷团队必须负责自己的记录做法。 团队应清楚地记录任何其他步骤或有意的偏差，确保允许哪些步骤没有歧义。 此外，对于解决方案中的任何潜在缺点或意外结果，请透明。
对负责任的 AI 策略强制实施治理
设计工作负载以 符合组织和监管监管。 例如，如果透明度是组织要求，请确定它如何应用于工作负荷。 确定设计、生命周期、代码或其他组件中应引入透明度功能以满足该标准的区域。
了解所需的治理、问责、审查委员会和报告授权。 确保 治理委员会批准并签署 工作负载设计，以避免重新设计并缓解道德或隐私问题。 可能需要经过多层审批。 下面是一个典型的治理结构。
有关组织策略和审批者的信息，请参阅云采用框架：定义负责任的 AI 策略。
确保用户体验安全
用户体验应基于行业准则。 利用 Microsoft Human-AI 体验设计库，该库 包含原则并提供实现功能，以及来自Microsoft产品和其他行业来源的示例。
用户交互的整个生命周期内都有工作负荷责任，从用户意图开始，在会话期间使用系统，以及由于系统错误而中断。 下面是需要考虑的一些做法：
生成透明度。 让用户了解系统如何生成对其查询的响应。
包括模型咨询的数据源的链接，以便通过显示信息的来源来增强用户信心。 数据设计应确保这些源包含在元数据中。 当检索扩充应用程序中的业务流程协调程序执行搜索时，它会检索 20 个文档区块，并将属于三个不同的文档的前 10 个区块发送到模型作为上下文。 然后，UI 可以在显示模型的响应、增强透明度和用户信任时引用这三个源文档。
使用代理时，透明度变得更加重要，代理充当前端接口和后端系统之间的中介。 例如，在票证系统中，业务流程代码解释用户意向，并向代理发出 API 调用以检索必要的信息。 公开这些交互可以使用户了解系统的操作。
对于涉及多个代理的自动化工作流，请创建记录每个步骤的日志文件。 此功能有助于识别和更正错误。 此外，它还可以为用户提供决策的解释，这些决策可使透明度可操作。
注意
实现透明度建议时，请避免过多信息压倒用户。 使用渐进式方法，从最小中断的 UI 方法开始。
例如，显示具有模型置信度分数的工具提示。 可以合并用户可以单击的链接来获取更多详细信息，例如指向源文档的链接。 此用户发起的方法使 UI 保持非中断性，并且仅当用户选择时，才允许用户查找其他信息。
收集反馈。 实现反馈机制。
避免在每次回复后使用大量问卷的用户。 请改用简单的快速反馈机制，例如向上/向下大拇指或分级系统，以 1 到 5 为答案的特定方面。 此方法允许在不侵入的情况下进行精细反馈，从而随时间推移帮助改进系统。 请注意反馈中的潜在偏见，因为用户响应可能存在次要原因。
由于需要数据存储，实现反馈机制会影响体系结构。 请将其视为用户数据，并根据需要应用隐私控制级别。
除了响应反馈，还收集有关用户体验效能的反馈。 可以通过系统监视堆栈收集参与指标来完成此操作。
操作内容安全措施
使用自定义解决方案代码、适当的工具和有效的安全做法，将内容安全集成到 AI 生命周期的每个阶段。 下面是一些策略。
数据匿名化。 随着数据从引入到训练或评估，一路上进行检查，以最大程度地降低泄露个人信息的风险，并避免暴露原始用户数据。
Con帐篷模式ration. 使用内容安全 API 实时评估请求和响应，并确保这些 API 可访问。
识别和缓解威胁。 将已知的安全做法应用于 AI 方案。 例如，进行威胁建模和记录威胁及其缓解措施。 常见安全做法（如 Red Team 练习）适用于 AI 工作负载。 红色团队可以测试模型是否可以纵以生成有害内容。 这些活动应集成到 AI 操作中。
有关执行红队测试的信息，请参阅 规划大型语言模型（LLM）及其应用程序的红色组合。
使用正确的指标。 使用在衡量模型道德行为方面有效的适当指标。 指标因 AI 模型类型而异。 对生成模型进行度量可能不适用于回归模型。 考虑预测预期寿命和结果影响保险费率的模型。 此模型中的偏差可能导致道德问题，但该问题源于核心指标测试中的偏差。 提高准确性可以减少道德问题，因为道德和准确性指标通常相互关联。
添加道德检测。 AI 模型结果必须可解释。 你需要证明和跟踪推理的生成方式，包括用于训练的数据、计算的特征和地面数据。 在歧视 AI 中，可以逐步证明决策的合理性。 但是，对于生成模型，解释结果可能比较复杂。 记录决策过程 ，以解决潜在的法律影响并提供透明度。
此可解释性方面应在整个 AI 生命周期内实现。 数据清理、世系、选择条件和处理是应跟踪决策的关键阶段。
工具
应集成内容安全和数据可跟踪性工具，如 Microsoft Purview。 可以从测试中调用 Azure AI 内容安全 API，以促进内容安全测试。
Azure AI Studio 提供评估模型行为的指标。 有关详细信息，请参阅 生成 AI 的评估和监视指标。
对于训练模型，我们建议查看Azure 机器学习提供的指标。
检查传入和传出数据
提示注入攻击（如越狱）是 AI 工作负载的常见问题。 在这种情况下，某些用户可能会尝试出于意外目的滥用模型。 为了确保安全， 请检查数据以防止攻击并筛选出不适当的内容。 此分析应同时应用于用户的输入和系统的响应，以确保传入和传出流中存在彻底的缺点帐篷模式。
在进行多个模型调用（例如通过 Azure OpenAI）提供单个客户端请求的情况下，对每个调用应用内容安全检查可能成本高昂且不必要。 考虑 将这一工作集中到体系结构中，同时将安全性作为服务器端责任。 假设体系结构在模型推理终结点前面有一个网关，用于卸载某些后端功能。 该网关旨在处理后端可能本机不支持的请求和响应的内容安全检查。 虽然网关是常见的解决方案，但业务流程层可以在更简单的体系结构中有效地处理这些任务。 在这两种情况下，可以根据需要选择性地应用这些检查，从而优化性能和成本。
检查应该是多模式的，涵盖各种格式。 使用多模式输入（如图像）时，必须分析它们，了解可能有害或暴力的隐藏消息。 这些消息可能不会立即可见，类似于不可见墨迹，需要仔细检查。 为此，请使用内容安全 API 等工具。
若要强制实施隐私和数据安全策略，请检查用户数据和地面数据是否符合隐私法规。 确保数据在流经系统时进行清理或筛选。 例如，来自先前客户支持对话的数据可以用作基础数据。 在重复使用之前，应对其进行清理。
以道德方式处理用户数据
道德做法涉及仔细处理用户数据管理。 这包括了解何时使用数据以及何时避免依赖用户数据。
在不共享用户数据的情况下进行推理。 若要与其他组织安全地共享用户数据以获取见解， 请使用清算机构模型。 在此方案中，组织向受信任的第三方提供数据，该第三方使用聚合数据训练模型。 然后，所有机构都可以使用此模型，从而允许共享见解而不公开单个数据集。 目标是在不共享详细训练数据的情况下使用模型的推理功能。
促进多样性和包容性。 如果需要用户数据，请使用各种数据，包括未代表的流派和创建者，以尽量减少偏见。 实现鼓励用户浏览新内容和不同内容的功能。 持续监视使用情况并调整建议，以避免过度表示任何单个内容类型。
尊重“被遗忘的权利”。 尽可能避免使用用户数据。 通过采取必要的措施确保用户数据被认真删除，确保遵守“被遗忘的权利”。
为了确保符合性，可能会要求从系统中删除用户数据。 对于较小的模型，可以通过重新训练不包括个人信息的数据来实现此目的。 对于大型模型，它可以由几个较小的独立训练模型组成，该过程更为复杂，成本与工作量非常重要。 寻求有关处理这些情况的法律和道德指导，并确保这包含在负责任的 AI 策略中，如开发负责任的 AI 策略中所述。
负责任地保留。 如果无法删除数据， 请获取对数据收集 的显式用户同意并提供明确的隐私策略。 仅当绝对必要时收集和保留数据。 准备好操作以在不再需要数据时主动删除数据。 例如，尽快清除聊天历史记录，并在保留前匿名化敏感数据。 请确保将高级加密方法用于静态数据。
支持可解释性。 跟踪系统中的决策以支持可解释性要求。 制定有关建议算法工作原理的明确说明，为用户提供关于推荐特定内容的原因的见解。 目标是确保 AI 工作负载及其结果透明且合理，详细说明决策方式、使用的数据以及模型训练方式。
加密用户数据。 输入数据必须在数据处理管道的每个阶段加密，从用户输入数据的那一刻起。 这包括数据，因为它从一个点移动到另一个点，其中存储，并在推理期间，如有必要。 平衡安全性和功能，但旨在 在整个生命周期内保持数据私密性。
有关加密技术的信息，请参阅 应用程序设计。
提供可靠的访问控制。 多种类型的标识可能会访问用户数据。 为控制平面和数据平面实现基于角色的访问控制（RBAC），涵盖用户和系统到系统通信。
还要维护适当的用户分段以保护隐私。 例如，copilot for Microsoft 365 可以根据用户的特定文档和电子邮件搜索并提供答案，确保仅访问与该用户相关的内容。
有关强制实施访问控制的信息，请参阅 应用程序设计。
减少外围应用。 精心构建的框架安全支柱的基本策略是最大程度地减少攻击面和强化资源。 应通过严格控制 API 终结点、仅公开基本数据以及避免响应中的无关信息，将此策略应用于标准终结点安全做法。 设计选择应在灵活性和控制之间平衡。
请确保没有任何匿名终结点。 一般情况下，请避免给客户端更多的控制权，而不是必要的。 在大多数情况下，客户端不需要调整超参数，但实验环境中除外。 对于典型的用例（例如与虚拟代理交互），客户端应仅控制基本方面，通过限制不必要的控制来确保安全性。
有关信息，请参阅 应用程序设计。