适用于智能 Microsoft 365 Copilot 副驾驶®的 AI 安全性

• 适用于:

  ✅ Microsoft 365 Copilot

AI 彻底改变了许多行业，提供了前所未有的功能和效率。 例如，智能 Microsoft 365 Copilot 副驾驶®，我们的 AI 支持生产力工具 (LLM) 、Microsoft Graph 中的内容以及 Microsoft 365 生产力应用程序（如 Word、Excel、PowerPoint、Outlook、Teams、SharePoint 等）协调大型语言模型。 此集成提供实时智能协助，使用户能够增强其创造力、生产力和技能。

客户热衷于探索这些机会，他们正在深思熟虑地考虑其附带的重要安全性方面。 根据与处于 AI 转型旅程中的客户的互动，我们了解数据安全、隐私、模型可靠性和网络攻击等主题是首要考虑的问题。

Microsoft了解这些注意事项有多重要，这就是为什么我们采用可靠的深层防御策略来帮助保护生产力工具（如智能 Microsoft 365 Copilot 副驾驶®）免受安全风险的影响。 这种多层方法涉及高级威胁情报、严格的安全做法和主动安全措施的组合。 例如，除了我们自己的红组合练习来测试智能 Microsoft 365 Copilot 副驾驶®外，我们还与 Casaba Security 合作，测试 Microsoft 365 产品套件中的 9 个 Copilot 实现。 我们及时解决并解决了 他们的测试结果，该发现侧重于确定开放全球应用程序安全项目的 (OWASP) LLM 的前 10 名，以及在支持应用程序基础结构方面的传统安全漏洞。

Microsoft采取大量措施，确保智能 Microsoft 365 Copilot 副驾驶®符合我们现有的对客户的隐私、安全性和合规性承诺。 随着 AI 技术和用例的不断发展，我们的工作从未完成：Microsoft致力于不断推进 Copilot 的保护，从我们自己的系统监视和测试中学习，以及与客户、合作伙伴和更广泛的安全行业合作。

本文概述了 Microsoft AI 的总体安全态势，以及不同Microsoft安全解决方案如何协同工作来帮助保护智能 Microsoft 365 Copilot 副驾驶®和其他 AI 应用程序中的数据和交互。 我们将更新本文，其中包含有关解决方案中新出现的风险和创新的新信息。

保护智能 Microsoft 365 Copilot 副驾驶®

在Microsoft，安全性不仅仅是一个优先事项;这是我们所做的一切的基础。 这一承诺延伸到 AI：不仅Microsoft负责任 AI 办公室在 AI 旅程中指导安全与保障，而且我们最近扩展的安全 未来计划 进一步反映了我们为每个人创造更安全的数字环境所做的奉献。

我们的 AI 综合安全态势具有以下支柱：

• 负责任的 AI 开发：Microsoft支持 负责任的 AI 原则。 这些原则强调公平性、可靠性和安全性、隐私和安全性、包容性、透明度和整个 AI 生命周期的问责制。
• 安全最佳做法：我们为使用Microsoft AI 产品的开发人员、工程师和安全专业人员提供量身定制的资源和最佳做法。 这些资源可帮助组织在部署期间了解和实施安全措施。
• 安全开发生命周期 (SDL) ：我们严格的 SDL 在整个 AI 开发过程中整合了安全注意事项。 这种主动方法可确保从一开始就识别和缓解漏洞。
• 威胁研究、检测和缓解：我们积极投资用于检测和缓解 AI 模型威胁的策略。 这包括持续的漏洞监视和制定应对潜在攻击的对策。 Microsoft威胁情报，我们的全球研究人员网络，还监视可能利用 AI 应用程序的威胁参与者和网络攻击的威胁 环境 。

Microsoft保护智能 Microsoft 365 Copilot 副驾驶® AI 功能的隐私、安全性和可靠性，从用户输入阶段到系统输出阶段。 智能 Microsoft 365 Copilot 副驾驶®符合我们现有的隐私、安全性和合规性承诺，包括 GDPR (一般数据保护条例) 和欧盟 (欧盟) 数据边界。 为了履行这些承诺，Microsoft处理使用 Copilot 输入的任何提示中的信息，并且检索到的数据和生成的响应将作为客户数据受到保护，并受我们的合同数据处理要求的约束。

以下部分介绍了Microsoft如何解决隐私、安全性和合规性的各个方面，这些方面是客户采用智能 Microsoft 365 Copilot 副驾驶®的重要注意事项。

访问控制和权限管理

智能 Microsoft 365 Copilot 副驾驶®代表用户访问资源，因此只能访问用户已有权访问的资源。 例如，如果用户无权访问文档，则代表用户工作的智能 Microsoft 365 Copilot 副驾驶®也无权访问。

用于生成响应的数据由Microsoft根据合同数据处理要求进行处理，包括在传输过程中加密，帮助保护隐私和防止数据泄露。 此外，Microsoft 365 个数据（包括来自 Microsoft Graph 和 SharePoint 的数据）遵循访问控制和审核机制。

智能 Microsoft 365 Copilot 副驾驶®遵循 Microsoft 365、Microsoft Entra 和 Microsoft Purview 策略，这些策略进一步限制用户访问和权限，例如信息屏障、条件访问和敏感度标签。

智能 Microsoft 365 Copilot 副驾驶®继承数据丢失防护 (DLP) 策略，以防止 Copilot 生成的响应的数据外泄。 此外，它还通过将敏感度标签应用于这些响应来增强数据安全性。

在模型训练期间保护数据

智能 Microsoft 365 Copilot 副驾驶®使用由 Microsoft 托管的预训练 LLM 模型;它不使用客户数据来训练这些模型。 此外，提示和地面数据不用于训练 AI 模型，并且永远不会与 OpenAI 或其他第三方共享。

遵守数据驻留要求

Microsoft遵守Microsoft产品条款和数据保护附录中所述的数据驻留承诺。 Microsoft 高级数据驻留 (ADR) 和多地理位置功能产品/服务包括截至 2024 年 3 月 1 日适用于 Microsoft 365 的 Copilot 客户的数据驻留承诺。 对于欧盟 (欧盟) 用户，Microsoft有额外的安全措施来遵守 欧盟数据边界。 欧盟流量保留在欧盟数据范围内，而全球流量可以发送到欧盟和其他国家或地区进行 LLM 处理。

发送用于 AI 处理的所有数据在传输中和静态都是加密的。 为确保数据在整个处理生命周期内保持安全，Microsoft 365 使用符合 FIPS 140-2 标准的服务端技术来加密静态和传输中的客户内容，包括 BitLocker、按文件加密、传输层安全性 (TLS) 1.2 以及 Internet 协议安全性 (IPsec) 。

针对提示注入进行强化

Microsoft结合使用高级机器学习进行多层内容筛选、严格的安全协议和持续监视。 间接或交叉提示注入分类器检测并阻止多个层的提示注入。 同时，防御措施（如以下）也有助于将跨提示注入攻击 (XPIA) 的安全影响降至最低：

• XPIA 分类器用于检测和减少 XPIA 的实例

• 对用户启动或批准的操作 (用户启动或批准的操作的要求，) 特权操作和可能更改或传出内容的操作，例如发送电子邮件

• 删除不必要的数据出口机制以防止数据外泄

此外，在提示注入攻击的上下文中，攻击者只能访问用户有权访问的数据。 这意味着攻击者仅限于用户在系统中拥有的权限和数据。 此限制有助于控制提示注入攻击对用户权限范围的潜在损害。

坚持负责任的 AI 原则

Microsoft负责任 AI 原则指导开发和使用智能 Microsoft 365 Copilot 副驾驶®。 例如，智能 Microsoft 365 Copilot 副驾驶®实现分类器（如Azure AI 内容安全中可用的分类器）和元提示以帮助降低有害、冒犯性或暴力内容的风险。 智能 Microsoft 365 Copilot 副驾驶®使用基于 AI 的分类器和内容筛选器在用户提示或生成的响应中标记不同类型的潜在有害内容。 同时，元分析会指导模型行为，包括确保系统的行为符合Microsoft的 AI 原则和用户期望。

Microsoft还应用即时检查技术和内容筛选器，以防止将智能 Microsoft 365 Copilot 副驾驶®用于勒索软件和其他基于恶意软件的攻击。 此外，安全开发生命周期 (SDL) 可帮助保护智能 Microsoft 365 Copilot 副驾驶®免受远程代码执行。 我们执行此操作的一种方法包括防止 Copilot 运行不受约束和未装箱的代码。

为了帮助防止非背景内容，智能 Microsoft 365 Copilot 副驾驶®使用专用语义数据库实现检索增强生成 (RAG) ，该数据库可提供Microsoft 365 租户客户的内容的信息。 Microsoft持续仔细地审查响应的底层变化。 对于对智能 Microsoft 365 Copilot 副驾驶® (（包括提示、模型或业务流程) ）所做的任何更改，我们捕获可能会对用户产生不利影响的回归。

Azure AI 中有一些新工具可帮助 AI 应用开发人员构建更安全的 AI 应用程序，从而进一步增强这些安全措施。

保护版权和知识产权

Microsoft具有针对受保护内容的生成的内置保护，其中包括业内第一个 客户版权承诺 计划，用于在发生版权侵权诉讼时保护客户并补偿任何不利判决。

满足法规要求

智能 Microsoft 365 Copilot 副驾驶®通过多种机制满足电子数据展示、审核日志记录和保留的法规要求：

• 保留策略：来自智能 Microsoft 365 Copilot 副驾驶®的消息自动包含在名为 Teams 聊天和 Copilot 交互的保留策略位置中。 这意味着出于合规性原因，可以保留和删除用户提示和 Copilot 响应。 来自 Copilot 邮件的数据存储在运行 Copilot 的用户邮箱中的隐藏文件夹中，合规性管理员可以使用电子数据展示工具进行搜索。

• 审核日志记录：对于审核 (Standard) 客户，智能 Microsoft 365 Copilot 副驾驶®生成的审核日志最多可以保留 180 天，对于审核 (Premium) 许可证持有者，最多可以保留 10 年。

• 符合 Microsoft Purview：Microsoft Purview 为生成 AI 应用（如 Copilot）提供数据安全性和合规性保护。 Microsoft Purview Data Security Posture Management for AI（目前为预览版）提供易于使用的图形工具和报表，以快速深入了解组织内的 AI 使用情况。 一键式策略有助于 保护数据并符合法规要求。

• 管理员控制：管理员可以使用 Microsoft Purview 来查看和管理存储的数据、设置保留策略以及执行电子数据展示搜索。 管理员和用户启动的删除选项都可通过 Purview 使用。

常见问题解答

智能 Microsoft 365 Copilot 副驾驶®的结果是否可靠？

虽然Microsoft安全措施提供强大的威胁缓解，防止错误信息和入侵，与任何 AI 应用程序一样，智能 Microsoft 365 Copilot 副驾驶®的响应可能并不总是准确的。 你仍应应用人为判断来检查这些响应。

Microsoft如何处理我的提示和响应？

Microsoft处理提示和响应，就像我们处理电子邮件、文档和聊天等其他更传统形式的内容一样，我们的合同承诺是相同的。

智能 Microsoft 365 Copilot 副驾驶®是否使用我的数据来训练 AI 模型？

通过 Microsoft Graph 访问的提示、响应和客户数据不用于训练基础 LLM，包括智能 Microsoft 365 Copilot 副驾驶®使用的 LLM。 产品改进是通过客户报告事件和合成提示生成等技术推动的。

如果我看到意外或冒犯性内容，该怎么办？

通过选择提示响应旁边的倒票 () 按钮，立即报告任何令人不安或可疑的内容。

如何访问智能 Microsoft 365 Copilot 副驾驶®漏洞评估报告？

可以从服务信任门户下载智能 Microsoft 365 Copilot 副驾驶®的第三方漏洞评估。

Microsoft可以帮助我发现 AI 应用程序中的风险吗？

Microsoft发布了适用于生成 AI 的 Python 风险识别工具包 (PyRIT) ，这是一个开放访问自动化框架，旨在使安全专业人员和机器学习工程师能够在自己的生成 AI 系统中主动 发现风险 。

智能 Microsoft 365 Copilot 副驾驶®是否有权访问我在对内容进行地面处理时没有的数据？

智能 Microsoft 365 Copilot 副驾驶®代表用户访问资源，因此它只能访问你已有权访问的资源。

地面在标识的上下文中进行，并且语义索引和图形查询会根据你对基础内容的权限进行“安全修整”。 此过程可确保在地面过程中仅包含授权内容。

如何限制智能 Microsoft 365 Copilot 副驾驶®可以使用的数据？

以下步骤可帮助管理员控制用户访问，从而限制智能 Microsoft 365 Copilot 副驾驶®可以使用的数据：

• 将 SharePoint 网站访问 和 OneDrive 内容访问权限 限制为特定组，即使在内容已过度共享之后也是如此。
• 使用受限 SharePoint 搜索来限制允许智能 Microsoft 365 Copilot 副驾驶®引用内容的网站。
• 使用 Microsoft SharePoint 高级版 - SharePoint 高级管理，它提供报表和工具来分析和管理过于宽松的访问控制列表，以及跨环境共享链接。
• 查看 Copilot 的信息保护注意事项。 智能 Microsoft 365 Copilot 副驾驶®接受 EXTRACT 权限，并自动将敏感度标签从引用的内容继承到 Copilot 生成的响应和文件。
• 将敏感度标签应用于 Microsoft 365 文件和电子邮件。 对于Microsoft Purview 客户，管理员可以创建和配置他们想要提供给应用和其他服务的 敏感度标签 。
• 使用 Microsoft适用于 AI (的 Purview 数据安全态势管理 （目前以预览版) ）发现与 Copilot 共享的敏感数据，查看 Copilot 响应中引用的文件，并发现 Copilot 引用的未标记文件和相关 SharePoint 网站，从而识别和保护存在过度曝光风险的文件。
• 使用 Microsoft Purview 数据生命周期管理 设置策略，以删除旧数据和未使用的数据，并限制由于数据过度共享而导致的数据蔓延。

如何使用Microsoft安全解决方案来保护数据和 AI 应用程序交互？

Microsoft始终建议为企业构建强大的安全基础。 零信任安全策略为此类基础提供了指导，因为它将每个连接和资源请求视为源自不受控制的网络和威胁参与者。 无论请求来自何处或访问什么资源，都使用零信任原则。

我们全面的安全解决方案（包括 Microsoft Defender、Entra、Purview 和 Intune）协同工作，帮助保护智能 Microsoft 365 Copilot 副驾驶®和其他 AI 应用程序中的数据和交互。 这些产品的功能使你和你的团队能够：

• 识别与 AI 使用相关的潜在风险， 例如敏感数据泄露和对高风险应用程序的未经授权的访问

• 保护 AI 应用程序 及其处理或生成的敏感数据，包括提示和响应

• 通过保留和记录交互、检测策略违规和调查事件，负责任地管理 AI 使用

例如，我们最近引入了新的 Microsoft Defender 和 Purview 功能，这些功能为生成 AI 应用程序及其数据提供可靠的安全性和治理的专用工具。 此外，跨产品无缝集成Microsoft Security Copilot简化了安全分析师的整体流程和体验。 通过优先考虑安全性并提供这些高级功能，Microsoft使组织能够自信地应用 AI 应用程序提供的优势和机会。

应在何处报告智能 Microsoft 365 Copilot 副驾驶®和其他 AI 应用程序中的漏洞？

如果你在任何 AI 平台中发现新的漏洞，我们建议你遵循平台所有者的负责任的披露做法。 本页介绍了 copilot) Microsoft 自己的过程 (： Microsoft AI 赏金计划。