在 Windows 应用中开始使用 AI 支持APIs

Windows Copilot Runtime提供了各种 AI 支持APIs,使你无需查找、运行或优化自己的机器学习 (ML) 模型即可利用 AI 功能。 支持 Windows Copilot RuntimeAPIs 的模型是现成的,并且始终在设备上被动运行,以在 Copilot+ PC 上启用 AI 功能。

使用 Windows Copilot RuntimeAPIs

Windows Copilot RuntimeAPIs 包括由本地运行的模型支持的 AI 支持 APIs ,直接在 Windows 设备上运行。 Windows Copilot RuntimeAPIs目标是在计划于 2025 年 1 月发布的 Windows 应用 SDK 1.7 实验 2 版本中提供可用性。 详细了解Windows 应用 SDK

  • Phi Silica:Phi Silica API 作为 Windows 应用 SDK 的一部分提供。 与为 ChatGPT 提供支持的 OpenAI 的 GPT 大语言模型 (LLM) 类似,Phi 是由 Microsoft Research 开发的小型语言模型 (SLM),用于在本地设备上执行语言处理任务。 Phi Silica 专为具有神经处理单元 (NPU) 的 Windows 设备而设计,允许直接在设备上以高性能硬件加速方式运行文本生成和对话功能。

  • 包含 OCR 的 Text Recognition:Text Recognition API(也称为光学字符识别或 OCR)作为 Windows 应用 SDK 的一部分提供。 该 API 能够识别图像中的文本,并将不同类型的文档(例如扫描的纸质文档、PDF 文件或数码相机捕获的图像)转换为本地设备上的可编辑和可搜索的数据。

  • Studio Effects:具有兼容神经处理单元 (NPU) 的 Windows 设备将 Studio Effects 集成到内置设备摄像头和麦克风设置中。 应用利用 AI 的特殊效果,包括:背景模糊、眼神交流校正、自动取景、人像光效校正、创意滤镜或语音聚焦,以筛选出背景噪音。

  • Recall:Recall 使用户能够快速地从其过去的活动中查找内容,例如文档、图像、网站等。 开发人员可以通过用户活动 API 将上下文信息添加到基础矢量数据库来丰富用户的 Recall 体验。 此集成将帮助用户在应用中继续上次中断的位置,从而改善与应用的互动以及用户在 Windows 和应用之间的无缝流。

未来还会提供更多功能,包括实时字幕翻译、语义搜索、检索增强生成 (RAG)、文本摘要和图像超分辨率。

在 Windows 应用中使用基于云的 AI 支持APIs

你可能还有兴趣在云中使用该 APIs 运行模型,为可添加到 Windows 应用的 AI 功能提供支持。 Microsoft或 OpenAI 提供的基于云的 AI 支持的 APIs 一些示例包括:

  • 将 OpenAI 聊天补全功能添加到 WinUI 3/Windows 应用 SDK 桌面应用:有关如何将基于云的 OpenAI ChatGPT 补全功能集成到 WinUI 3/Windows 应用 SDK 桌面应用中的教程。

  • 将 DALL-E 添加到 WinUI 3/Windows 应用 SDK 桌面应用:有关如何将基于云的 OpenAI DALL-E 图像生成功能集成到 WinUI 3/Windows 应用 SDK 桌面应用中的教程。

  • 使用 .NET MAUI 和 ChatGPT 创建建议应用:有关如何创建将基于云的 OpenAI ChatGPT 补全功能集成到 .NET MAUI 应用中的示例建议应用的教程。

  • 将 DALL-E 添加到 .NET MAUI Windows 桌面应用:有关如何将基于云的 OpenAI DALL-E 图像生成功能集成到 .NET MAUI 应用中的教程。

  • Azure OpenAI 服务:如果希望 Windows 应用访问 OpenAI 模型,例如 GPT-4、GPT-4 Turbo with Vision、GPT-3.5-Turbo、DALLE-3 或 Embeddings 模型系列,以及 Azure 的附加安全和企业功能,可以在此 Azure OpenAI 文档中找到相关的指导。

  • Azure AI 服务:Azure 通过 REST APIs 和客户端库 SDK 提供一套完整的 AI 服务,这些 SDK 采用常用的开发语言。 有关详细信息,请参阅各服务的相关文档。 这些基于云的服务可帮助开发人员和组织快速创建智能、前沿、市场就绪和负责任的应用程序,并采用现成的预生成和可 APIs 自定义和模型。 应用程序示例包括对话、搜索、监视、翻译、语音、视觉和决策的自然语言处理。

在 Windows 应用中使用本地与基于云的 AI 支持的 APIs 注意事项

在决定在 Windows 应用中使用依赖于本地运行 ML 模型的 API 还是云端 API 时,需要考虑以下优点和缺点。

  • 资源可用性

    • 本地设备:模型的运行取决于所使用设备上的可用资源,包括 CPU、GPU、NPU、内存和存储容量。 如果设备没有较高的计算能力或足够的存储空间,可能会受到限制。 小型语言模型 (SLM),例如 Phi,更适合在设备上本地使用。
    • 云:诸如 Azure 等云平台提供可扩展的资源。 可以根据需要使用尽可能多的计算能力或存储,并按使用量付费。 大型语言模型 (LLM),例如 OpenAI 语言模型,需要更多的资源,但功能也更强大。
  • 数据隐私和安全性

    • 本地设备:由于数据保留在设备上,因此本地运行模型的方式更安全且更私密。 由用户负责数据安全。
    • 云:云提供商提供可靠的安全措施,但需要将数据传输到云端,在某些情况下可能会引发数据隐私问题。
  • 辅助功能和协作

    • 本地设备:除非手动共享。除非手动共享,否则只能在设备上访问模型和数据。 这有可能使模型数据的协作变得更具挑战性。
    • 云:可以从任何有互联网连接的地方访问模型和数据。 这可能更适合于协作方案。
  • 成本

    • 本地设备:除了设备的初始投资之外,没有支付额外的费用。
    • 云:虽然云平台采用即用即付模式运行,但费用会根据所使用的资源和使用时间的长短而累积。
  • 维护和更新

    • 本地设备:用户负责维护系统和安装更新。
    • 云:由云服务提供商负责维护、系统更新和新的功能更新,从而减少用户的维护开销。

请参阅在本地运行小型语言模型与在云端运行大型语言模型,详细了解在本地运行小型语言模型 (SLM) 与在云端运行大型语言模型 (LLM) 之间的差异。