Partilhar via

AI na Galeria de Exemplos do Windows

  • Artigo

Uma coleção de exemplos que demonstram várias maneiras de aprimorar seus aplicativos do Windows usando APIs locais e modelos de Machine Learning (ML), aceleração de hardware local usando DirectML e usando APIs baseadas em nuvem.

Ao utilizar recursos de IA, recomendamos que você revise: Desenvolvendo aplicativos e recursos de IA generativa responsável no Windows.

Aprimore seus aplicativos do Windows com IA usando APIs locais e modelos de ML

Esses exemplos ajudarão você a aprimorar seus aplicativos do Windows com IA usando APIs locais e modelos de Machine Learning.

Editor de áudio alimentado por IA

Captura de ecrã da Aplicação de Exemplo de Editor de Áudio mostrando um teste do Plugin de Recorte de Áudio com IA.

GitHub Repo: AI Audio Editor Sample

Descrição: O editor de áudio alimentado por IA demonstra a construção de um aplicativo de edição de áudio WinUI 3 que utiliza IA para combinar trechos de áudio para uma consulta relevante. Um exemplo de caso de uso pode ser um criador de podcast que queira criar pequenos clipes de áudio de seu conteúdo para promover nas mídias sociais. O exemplo usa inferência de modelo de ML local para lidar com transcrição e pesquisa semântica.

Recursos: Inferência de modelo local com tempo de execução ONNX, modelo Whisper, modelo de incorporação

Tipo de aplicativo: C#, WinUI 3

Aplicativo de notas alimentado por IA

Captura de tela do aplicativo de exemplo de notas assistida por IA mostrando um resumo criado por IA.

GitHub Repo: aplicativo de exemplo de notas alimentado por IA

Descrição: Este aplicativo de anotações alimentado por IA demonstra o uso de APIs, incluindo de reconhecimento de texto OCR, transcrição de áudio por meio de modelo de ML local, pesquisa semântica por meio de um modelo de incorporação local, uso de modelo de idioma local com Phi3 para sumarização, preenchimento automático e raciocínio de texto, e geração aumentada de recuperação (RAG) para fundamentar modelos de linguagem em dados reais.

Características: Pesquisa semântica com modelo local, Transcrição de áudio com modelo local, Geração aumentada de Retreval Local (RAG) comPhi3 , Sumarização e raciocínio de texto local com Phi3, Extração de texto de imagens com API OCR

Tipo de aplicativo: C#, WinUI 3

Geração aumentada de recuperação (RAG) com PDFs e Phi3

Captura de tela do exemplo do RAG PDF Analyzer em um aplicativo WPF.

GitHub Repo: RAG PDF Analyzer WPF Sample App

Descrição: Este aplicativo de exemplo WPF demonstra como criar uma experiência com um modelo de idioma local (como Phi3) para responder a perguntas sobre o conteúdo em um documento PDF. O exemplo encontra respostas fazendo referência a uma base de conhecimento fora dos dados de treinamento do próprio modelo antes de gerar uma resposta. Esse padrão, chamado de Geração Aumentada de Recuperação (RAG), é um exemplo de como fundamentar um modelo de linguagem em dados confiáveis do mundo real.

funcionalidades: Retrieval Augmented Generation (RAG), ONNX Runtime Generative AI, DirectML

Tipo de aplicativo: C#, WPF

Bate-papo de IA generativa Phi3

Captura de tela do exemplo de bate-papo GenAI usando Phi3 em um aplicativo WinUI 3.

Repositório GitHub: Exemplo Phi3 Chat WinUI 3

Descrição: Este exemplo de aplicativo WinUI 3 demonstra como usar a biblioteca ONNX Runtime Generative AI para criar uma experiência de bate-papo com um modelo de idioma local, especificamente o Phi3 Small Language Model (SLM).

recursos: Phi3, ONNX Runtime Generative AI, DirectML

Tipo de aplicativo: C#, WinUI 3

Exemplo de efeitos do Windows Studio

Repositório GitHub: Aplicação de exemplo do Windows Studio Effects

Descrição: Saiba como controlar os efeitos do Camera Studio a partir da sua aplicação Windows neste exemplo de código. Verifique se uma câmara suportada está disponível no sistema (requer um dispositivo com uma NPU e uma câmara incorporada) e, em seguida, obtém e define controlos de câmara alargados associados aos Efeitos do Windows Studio, tais como Desfoque de Fundo, Correção do Olhar dos Olhos e Enquadramento Automático.

Recursos: Windows Studio Effects

Tipo de aplicativo: C#, WPF

Aceleração de hardware local através do DirectML

Difusão estável acelerada por hardware na Web

Captura de tela de um exemplo de aplicativo Web de Difusão Estável.

GitHub Repo: WebNN Stable Diffusion Turbo

Descrição: Este exemplo ilustra como usar WebNN com ONNX Runtime web para executar a difusão estável localmente na GPU com DirectML. SD-Turbo é um modelo generativo de texto para imagem rápido que pode sintetizar imagens fotorrealistas a partir de um prompt de texto numa única avaliação de rede. Na demonstração, você pode gerar uma imagem em 2s em dispositivos AI PC aproveitando a API WebNN, uma API dedicada de baixo nível para aceleração de hardware de inferência de rede neural.

Recursos: Geração de imagem local, WebNN, DirectML

App Tipo: JavaScript, Web apps

Hardware acelerado para segmentar tudo na web

GitHub Repo: WebNN Segment Anything

Descrição: Este exemplo ilustra como usar WebNN com ONNX Runtime web para executar o modelo Segment Anything localmente na GPU com DirectML. Segment Anything é um novo modelo de IA desenvolvido pela Meta AI que consegue "recortar" qualquer objeto. Na demonstração, você pode segmentar qualquer objeto das imagens carregadas.

Características: Segmentação de Imagem Local, WebNNDirectML

App Tipo: JavaScript, Web apps

Sussurro acelerado por hardware na Web

GitHub Repo: WebNN Whisper Base

Descrição: Este exemplo ilustra como usar WebNN com ONNX Runtime web para executar os recursos de fala para texto do modelo Whisper localmente na GPU ou NPU com DirectML. Whisper Base é um modelo pré-treinado para reconhecimento automático de fala (ASR) e tradução de fala. Na demonstração, pode experimentar o recurso de discurso para texto, utilizando a inferência no dispositivo potenciada pela API WebNN e DirectML, especialmente a aceleração NPU (Unidade de Processamento Neural).

Recursos: Conversão local de fala em texto, WebNNDirectML

App Tipo: JavaScript, Web apps

Modelos de linguagem ONNX Runtime acelerados e pré-otimizados por hardware (Phi3, Llama3, etc) com DirectML

Captura de tela do exemplo de modelo ONNX da interface do usuário do DirectML LLM Chat.

GitHub Repo: exemplos DirectML no repositório Olive

Descrição: Este exemplo ilustra como executar um modelo de linguagem ONNX Runtime (ORT) pré-otimizado localmente na GPU com DirectML. O exemplo inclui instruções sobre como configurar seu ambiente, baixar os modelos de linguagem pré-treinados mais recentes usando a API ORT Generate e executar o modelo em um aplicativo Gradio.

Recursos: Aceleração de hardware, GenAI, ONNX, ONNX Runtime, DirectML

Tipo de aplicativo: Python, Gradio

Modelos PyTorch com aceleração por hardware com DirectML (Phi3, Llama3, etc)

Screenshot do exemplo DirectML PyTorch.

GitHub Repo: amostras do DirectML PyTorch

Descrição: Este exemplo ilustra como executar um modelo de linguagem PyTorch localmente na GPU com DirectML. O exemplo inclui instruções sobre como configurar seu ambiente, baixar os modelos de linguagem pré-treinados mais recentes e executar o modelo em um aplicativo Gradio. Este exemplo suporta vários modelos de linguagem de código aberto, como modelos Llama, Phi3-mini, Phi2 e Mistral-7B.

Características: Aceleração de Hardware, PyTorchDirectML

Tipo de aplicativo: Python, Gradio

Aprimore seus aplicativos do Windows com IA usando APIs na nuvem

Mais exemplos de API baseados em nuvem podem ser encontrados no documentação de serviços de IA do Azure.

Adicionar finalizações de bate-papo OpenAI ao seu aplicativo WinUI 3 / Windows App SDK

Tutorial: Adicionar finalizações de bate-papo OpenAI ao seu aplicativo WinUI 3 / Windows App SDK

Descrição: Integre os recursos de conclusão de bate-papo do OpenAI em um aplicativo de desktop WinUI 3 / Windows App SDK.

Funcionalidades: Compleção de conversas OpenAI

Tipo de aplicativo: C#, WinUI 3

Adicionar DALL-E ao seu aplicativo de área de trabalho WinUI 3 / Windows App SDK

Tutorial: Adicionar DALL-E ao seu aplicativo de área de trabalho WinUI 3 / Windows App SDK

Descrição: Integre os recursos de geração de imagens do OpenAI DALL-E em um aplicativo de desktop WinUI 3 / Windows App SDK.

Características: Geração de imagens

Tipo de aplicativo: C#, WinUI 3

Criar um aplicativo de recomendação com .NET MAUI e ChatGPT

Tutorial: Criar um aplicativo de recomendação com o .NET MAUI e o ChatGPT

Descrição: Integre os recursos de conclusão de bate-papo do OpenAI em um aplicativo de desktop .NET MAUI.

Características: Geração de imagens

Tipo de aplicativo: C#, .NET MAUI

Adicione DALL-E ao seu aplicativo de área de trabalho .NET MAUI para Windows

Tutorial: Adicionar DALL-E à sua aplicação .NET MAUI para ambiente de trabalho do Windows

Descrição: Integre os recursos de geração de imagens OpenAI DALL-E em um aplicativo de desktop .NET MAUI.

Características: Geração de imagens

Tipo de aplicativo: C#, .NET MAUI

Exemplos legados de WinML

GitHub Repo: exemplos de WinML no GitHub

Descrição: WinML continua a ser suportado, mas esses exemplos não foram atualizados para refletir o uso moderno de IA.