Windows 上的 AI 示例库

一组示例,这些示例演示了使用本地 API 和 机器学习 (ML) 模型、使用 DirectML 的本地硬件加速以及使用基于云的 API 增强 Windows 应用的各种方法。

利用 AI,通过本地 API 和 ML 模型增强 Windows 应用

这些示例将帮助你通过本地 API 和机器学习模型利用 AI 增强 Windows 应用。

AI 支持的音频编辑器

音频编辑器示例应用的屏幕截图,其中显示了 AI 音频修剪器插件测试。

GitHub 存储库AI 音频编辑器示例

说明:AI 支持的音频编辑器演示如何构建 WinUI 3 音频编辑应用,该应用利用 AI 将音频的片段与相关查询匹配。 例如,用例可以是一名播客创作者,该创作者希望为自己的内容创作简短音频剪辑,以便在社交媒体上推广。 此示例利用本地 ML 模型推理来处理转录和语义搜索。

功能:本地模型推理和 ONNX 运行时、Whisper 模型、嵌入模型

应用类型C#WinUI 3

AI 支持的笔记应用

AI 辅助的笔记示例应用的屏幕截图,其中显示了 AI 创建的摘要。

GitHub 存储库AI 支持的笔记示例应用

说明:由 AI 支持的此笔记应用程序将演示如何使用 API,包括 OCR 文本识别、通过本地 ML 模型执行音频转录、通过本地嵌入模型执行语义搜索、将本地语言模型与 Phi3 配合使用以进行汇总、自动完成和文本推理,以及用于使语言模型以实际数据为基础的检索增强生成 (RAG)。

功能:使用本地模型执行语义搜索、使用本地模型执行音频转录、将本地检索增强生成 (RAG) 与 Phi3 配合使用、使用 Phi3 执行本地文本汇总和推理、使用 OCR API 从图像中提取文本

应用类型C#WinUI 3

使用 PDF 和 Phi3 的检索增强生成 (RAG)

WPF 应用中 RAG PDF 分析器示例的屏幕截图。

GitHub 存储库RAG PDF 分析器 WPF 示例应用

说明:此 WPF 示例应用将演示如何使用本地语言模型(例如 Phi3)打造体验,以回答有关 PDF 文档中的内容的问题。 此示例在生成响应之前引用模型自身的训练数据以外的知识库,以寻找答案。 此模式称为“检索增强生成”(RAG),是一个有关如何使语言模型以实际权威数据为基础的示例。

功能:检索增强生成 (RAG)、ONNX 运行时生成式 AI、DirectML

应用类型C#WPF

Phi3 生成式 AI 聊天

WinUI 3 应用中使用 Phi3 的 GenAI 聊天示例的屏幕截图。

GitHub 存储库Phi3 聊天 WinUI 3 示例

说明:此 WinUI 3 应用示例将演示如何使用 ONNX 运行时生成式 AI 库,以通过本地语言模型(特别是 Phi3 小型语言模型 (SLM))打造聊天体验。

功能Phi3ONNX 运行时生成式 AIDirectML

应用类型C#WinUI 3

Windows 录音室效果示例

GitHub 存储库Windows 录音室效果示例应用

说明:了解如何在此代码示例中控制来自 Windows 应用程序的 Camera 录音室效果。 检查系统上是否提供了受支持的相机(需要具有 NPU 和内置相机的设备),然后获取并设置与 Windows 录音室效果相关联的扩展相机控件,例如背景模糊、眼睛注视更正和自动框架。

功能Windows 录音室效果

应用类型C#WPF

通过 DirectML 实现的本地硬件加速

硬件加速的 Stable Diffusion(网页版)

Stable Diffusion Web 应用示例的屏幕截图。

GitHub 存储库WebNN Stable Diffusion Turbo

说明:此示例演示如何将 WebNN 与 ONNX 运行时 Web 配合使用,以便在具有 DirectML 的 GPU 本地运行 Stable Diffusion。 SD-Turbo 是一个快速生成式文本转图像模型,可以从单个网络评估的文本提示中合成照片级图像。 在此演示中,可以利用 WebNN API 在 AI PC 设备上生成图像,此 API 是一个用于进行神经网络推理硬件加速的专用低级别 API。

功能:本地图像生成、WebNNDirectML

应用类型JavaScript、Web 应用

硬件加速的 Segment Anything(网页版)

GitHub 存储库WebNN Segment Anything

说明:此示例将展示如何将 WebNN 与 ONNX 运行时 Web 配合使用,以便在具有 DirectML 的 GPU 本地运行 Segment Anything。 Segment Anything 是 Meta AI 提供的一个新 AI 模型,可以“切断”任何对象。 在此演示中,可以对上传的图像中的任何对象进行分段。

功能:本地图像分段、WebNNDirectML

应用类型JavaScript、Web 应用

硬件加速的 Whisper(网页版)

GitHub 存储库WebNN Whisper Base

说明:此示例将展示如何将 WebNN 与 ONNX 运行时 Web 配合使用,以便在具有 DirectML 的 GPU 或 NPU 本地运行 Whisper 模型的语音转文本功能。 Whisper Base 是一个经过预先训练的模型,用于自动语音识别 (ASR) 和语音翻译。 在此演示中,可以利用由 WebNN API 和 DirectML 提供支持的设备端推理(尤其是 NPU 加速)体验语音转文本功能。

功能:本地语音转文本、WebNNDirectML

应用类型JavaScript、Web 应用

利用 DirectML 的硬件加速和预优化的 ONNX 运行时语言模型(Phi3、Llama3 等)

DirectML LLM 聊天 UI ONNX 模型示例的屏幕截图。

GitHub 存储库Olive 存储库中的 DirectML 示例

说明:此示例将展示如何使用 DirectML 在 GPU 本地运行预优化的 ONNX 运行时 (ORT) 语言模型。 此示例包含有关如何设置环境、使用 ORT Generate API 下载最新的预训练语言模型以及在 Gradio 应用中运行模型的说明。

功能:硬件加速、GenAI、ONNXONNX 运行时DirectML

应用类型Python、Gradio

具有 DirectML 的硬件加速 PyTorch 模型(Phi3、Llama3 等)

DirectML PyTorch 示例的屏幕截图。

GitHub 存储库DirectML PyTorch 示例

说明:此示例将展示如何使用 DirectML 在 GPU 本地运行 PyTorch 语言模型。 此示例包含有关如何设置环境、下载最新的预训练语言模型以及在 Gradio 应用中运行模型的说明。 此示例支持各种开源语言模型,例如 Llama 模型、Phi3-mini、Phi2 和 Mistral-7B。

功能:硬件加速、PyTorchDirectML

应用类型Python、Gradio

利用 AI 通过云 API 增强 Windows 应用

可以在 Azure AI 服务文档中找到更多基于云的 API 示例。

将 OpenAI 聊天完成添加到 WinUI 3/Windows 应用 SDK 桌面应用

教程将 OpenAI 聊天完成添加到 WinUI 3/Windows 应用 SDK 桌面应用

说明:将 OpenAI 聊天完成功能集成到 WinUI 3/Windows 应用 SDK 桌面应用中。

功能:OpenAI 聊天完成

应用类型C#WinUI 3

将 DALL-E 添加到 WinUI 3 / Windows 应用 SDK 桌面应用中

教程将 DALL-E 添加到 WinUI 3/Windows 应用 SDK 桌面应用中

说明:将 OpenAI DALL-E 图像生成功能集成到 WinUI 3/Windows 应用 SDK 桌面应用中。

功能:图像生成

应用类型C#WinUI 3

使用 .NET MAUI 和 ChatGPT 创建建议应用

教程使用 .NET MAUI 和 ChatGPT 创建建议应用

说明:将 OpenAI 聊天完成功能集成到 .NET MAUI 桌面应用中。

功能:图像生成

应用类型C#.NET MAUI

将 DALL-E 添加到 .NET MAUI Windows 桌面应用

教程将 DALL-E 添加到 .NET MAUI Windows 桌面应用

说明:将 OpenAI DALL-E 图像生成功能集成到 .NET MAUI 桌面应用中。

功能:图像生成

应用类型C#.NET MAUI

旧的 WinML 示例

GitHub 存储库GitHub 上的 WinML 示例

说明:WinML 继续受支持,但这些示例尚未更新以反映现代 AI 的用法。