通过

在 Windows 应用中开始使用由 AI 驱动的功能和 APIs

  • 项目

Windows Copilot Runtime 提供了各种 AI 支持的功能和 APIs，让你无需查找、运行或优化自己的机器学习（ML）模型即可利用 AI 功能。 在 Copilot+ PC 上为 Windows Copilot Runtime 提供支持的模型始终在本地和后台运行。

使用 AI 功能时，建议查看：在 Windows上开发负责任的生成 AI 应用程序和功能。

适用于 Windows 应用的 Windows Copilot Runtime 功能和 APIs 功能

Windows Copilot Runtime 包括由在 Windows 设备上本地运行的模型提供支持的以下功能和 AI 支持的 APIs（Windows 应用 SDK）。

  • Phi Silica：尚不可用。 Phi Silica APIs 将在 Windows 应用 SDK中交付。 与为 ChatGPT 提供支持的 OpenAI 的 GPT 大语言模型 (LLM) 类似，Phi 是由 Microsoft Research 开发的小型语言模型 (SLM)，用于在本地设备上执行语言处理任务。 Phi 硅专为具有神经处理单元（NPU）的 Windows 设备设计，允许文本生成和聊天功能直接在设备上以高性能、硬件加速的方式运行。

  • Text RecognitionOCR：尚不可用。Text RecognitionAPIs（也称为光学字符识别或 OCR）将在 Windows 应用 SDK中提供。 这些 APIs 允许识别图像中的文本，以及将不同类型的文档（如扫描的纸张文档、PDF 文件或数字相机捕获的图像）转换为本地设备上的可编辑和可搜索的数据。

  • 图像处理 APIs：尚不可用。 AI 增强的图像处理 APIs 将在 Windows 应用 SDK中提供。 这些 APIs 执行各种操作，例如智能缩放图像和识别图像中的对象。

  • Studio Effects：在 Copilot+ 电脑上的 Windows 11 版本 22H2 或更高版本（内部版本 22623.885+）中提供。 具有兼容神经处理单元（NPU）的 Windows 设备将 Studio Effects 集成到内置设备相机和麦克风设置中。 应用利用 AI 的特殊效果，包括：背景模糊、眼神交流校正、自动取景、人像光效校正、创意滤镜或语音聚焦，以筛选出背景噪音。

  • Recall：通过 Copilot+ 电脑上的 Windows 预览体验计划提供预览版。Recall 使用户能够快速查找其过去活动的内容，例如文档、图像、网站等。 开发人员可以使用 用户活动 API将上下文信息添加到基础向量数据库，从而丰富用户的 Recall 体验。 此集成将帮助用户在应用中继续上次中断的位置，从而改善与应用的互动以及用户在 Windows 和应用之间的无缝流。

  • 实时字幕翻译 帮助 Windows 上的每个人，包括聋哑或听力困难的人，通过查看口述内容的字幕来更好地了解音频（即使音频内容的语言与系统的首选语言不同）。

适用于 Windows 应用的基于云的 AI 驱动的 APIs

你可能还对使用 APIs 感兴趣，该工具能够在云中运行模型，为你的 Windows 应用中的 AI 功能提供支持。 Microsoft或 OpenAI 提供的基于云的 AI 支持的 APIs 一些示例包括：

  • 将 OpenAI 聊天补全功能添加到 WinUI 3/Windows 应用 SDK 桌面应用：有关如何将基于云的 OpenAI ChatGPT 补全功能集成到 WinUI 3/Windows 应用 SDK 桌面应用中的教程。

  • 将 DALL-E 添加到 WinUI 3/Windows 应用 SDK 桌面应用：有关如何将基于云的 OpenAI DALL-E 图像生成功能集成到 WinUI 3/Windows 应用 SDK 桌面应用中的教程。

  • 使用 .NET MAUI 和 ChatGPT 创建建议应用：有关如何创建将基于云的 OpenAI ChatGPT 补全功能集成到 .NET MAUI 应用中的示例建议应用的教程。

  • 将 DALL-E 添加到 .NET MAUI Windows 桌面应用：有关如何将基于云的 OpenAI DALL-E 图像生成功能集成到 .NET MAUI 应用中的教程。

  • Azure OpenAI 服务：如果希望 Windows 应用访问 OpenAI 模型，例如 GPT-4、GPT-4 Turbo with Vision、GPT-3.5-Turbo、DALLE-3 或 Embeddings 模型系列，以及 Azure 的附加安全和企业功能，可以在此 Azure OpenAI 文档中找到相关的指导。

  • Azure AI 服务：Azure 通过 REST APIs 和客户端库 SDK 提供一套完整的 AI 服务，这些 SDK 采用常用的开发语言。 有关详细信息，请参阅各服务的相关文档。 这些基于云的服务可帮助开发人员和组织快速创建智能、前沿、市场就绪和负责任的应用程序，并采用现成的预生成和可 APIs 自定义和模型。 应用程序示例包括对话、搜索、监视、翻译、语音、视觉和决策的自然语言处理。

在 Windows 应用中使用本地与基于云的 AI 支持的 APIs 注意事项

在决定在 Windows 应用中使用依赖于本地运行 ML 模型的 API 还是云端 API 时，需要考虑以下优点和缺点。

  • 资源可用性

    • 本地设备：模型的运行取决于所使用设备上的可用资源，包括 CPU、GPU、NPU、内存和存储容量。 如果设备没有较高的计算能力或足够的存储空间，可能会受到限制。 小型语言模型 (SLM)，例如 Phi，更适合在设备上本地使用。
    • 云：诸如 Azure 等云平台提供可扩展的资源。 可以根据需要使用尽可能多的计算能力或存储，并按使用量付费。 大型语言模型 (LLM)，例如 OpenAI 语言模型，需要更多的资源，但功能也更强大。

  • 数据隐私和安全性

    • 本地设备：由于数据保留在设备上，因此本地运行模型的方式更安全且更私密。 由用户负责数据安全。
    • 云：云提供商提供可靠的安全措施，但需要将数据传输到云端，在某些情况下可能会引发数据隐私问题。

  • 辅助功能和协作

    • 本地设备：除非手动共享。除非手动共享，否则只能在设备上访问模型和数据。 这有可能使模型数据的协作变得更具挑战性。
    • 云：可以从任何有互联网连接的地方访问模型和数据。 这可能更适合于协作方案。

  • 成本

    • 本地设备：除了设备的初始投资之外，没有支付额外的费用。
    • 云：虽然云平台采用即用即付模式运行，但费用会根据所使用的资源和使用时间的长短而累积。

  • 维护和更新

    • 本地设备：用户负责维护系统和安装更新。
    • 云：由云服务提供商负责维护、系统更新和新的功能更新，从而减少用户的维护开销。

请参阅在本地运行小型语言模型与在云端运行大型语言模型，详细了解在本地运行小型语言模型 (SLM) 与在云端运行大型语言模型 (LLM) 之间的差异。