通过

Windows Copilot Runtime 概述

  • 项目

Windows Copilot Runtime 提供了各种 AI 支持的功能和 APIs，让你无需查找、运行或优化自己的机器学习（ML）模型即可利用 AI 功能。 为 Copilot+ PC 供电 Windows Copilot Runtime 的模型随时在本地和后台运行。

适用于 Windows 应用的Windows Copilot Runtime功能和APIs

Windows Copilot Runtime 包括由在 Windows 设备上本地运行的模型提供支持的以下功能和 AI 支持的 APIs（Windows 应用 SDK）。

  • Phi Silica：尚不可用。Phi SilicaAPIs 将在 Windows 应用 SDK 中发布。 与 OpenAI 的 GPT 大型语言模型（LLM）类似，Phi 是一种小型语言模型（SLM），由 Microsoft Research 开发，用于在本地设备上执行语言处理任务。 Phi 硅专为具有神经处理单元（NPU）的 Windows 设备设计，允许文本生成和聊天功能直接在设备上以高性能、硬件加速的方式运行。

  • Text RecognitionOCR：尚不可用。Text RecognitionAPIs（也称为光学字符识别或 OCR）将在 Windows 应用 SDK中提供。 这些 APIs 允许识别图像中的文本，以及将不同类型的文档（如扫描的纸张文档、PDF 文件或数字相机捕获的图像）转换为本地设备上的可编辑和可搜索的数据。

  • 成像APIs：尚不可用。AI 增强的成像APIs将在 Windows 应用 SDK 中提供。 这些 APIs 执行各种操作，例如智能缩放图像和识别图像中的对象。

  • Studio Effects：在 Copilot+ 电脑上的 Windows 11 版本 22H2 或更高版本（内部版本 22623.885+）中提供。 具有兼容神经处理单元（NPU）的 Windows 设备将 Studio Effects 集成到内置设备相机和麦克风设置中。 应用利用 AI 的特殊效果，包括：背景模糊、眼神接触矫正、自动构图、人像光效矫正、创意滤镜或语音聚焦，以过滤背景噪音。

  • Recall：可通过 Windows 预览体验计划在 Copilot+ 电脑上提供预览。Recall 使用户能够快速查找先前活动中的内容，例如文档、图像、网站等。 开发人员可以使用 用户活动 API将上下文信息添加到基础向量数据库，从而丰富用户的 Recall 体验。 此集成将帮助用户在应用中继续之前的操作，提高应用的用户黏性，并增强用户在 Windows 和您的应用之间的无缝体验。

  • 实时字幕翻译 帮助 Windows 上的每个人，包括聋哑或听力困难的人，通过查看口述内容的字幕来更好地了解音频（即使音频内容的语言与系统的首选语言不同）。

集成自己的 ML 模型

除了由 AI 支持的Windows Copilot RuntimeAPIs模型外，我们还提供了有关如何使用 机器学习 （ML） 模型增强应用的工具和指南。

AI Toolkit在 Visual Studio Code 中，可以使用诸如 PyTorch 或 WebNN 等ONNX Runtime框架集成自己的 ML 模型，并通过 DirectML 访问硬件加速以提高性能和缩放能力。

了解详细信息：

负责任的 AI 实践

使用 AI 负责任地开发应用程序，使用Windows Copilot Runtime设备上的生成​ AI 模型来帮助执行本地内容安全功能，例如针对有害内容的设备分类引擎和默认黑名单。 Microsoft优先支持开发人员使用 Windows 上的本地模型构建安全、可信的 AI 体验。 在创建在 Windows 设备上 运行的应用程序和 AI 辅助功能时，请详细了解负责任的开发实践，这些应用在 Windows 上的“开发负责任的生成 AI 应用程序和功能”指南中运行。

另请参阅