Compartilhar via

Galeria de exemplos de IA no Windows

  • Artigo

Uma coleção de amostras que demonstram várias maneiras de aprimorar seus aplicativos do Windows usando APIs locais e modelos de aprendizado de máquina (ML), aceleração de hardware local usando DirectML e APIs baseadas em nuvem.

Aprimore seus aplicativos do Windows com IA por meio de APIs locais e modelos de ML

Essas amostras ajudarão você a aprimorar seus aplicativos do Windows com IA usando APIs locais e modelos de machine learning.

Editor de áudio alimentado por IA

Captura de tela do aplicativo de exemplo do editor de áudio mostrando um teste de plug-in AI Audio Trimmer.

Repositório do GitHub: AI Audio Editor Sample

Descrição: O Editor de áudio alimentado por IA demonstra a criação de um aplicativo de edição de áudio WinUI 3 que utiliza IA para corresponder trechos de áudio a uma consulta relevante. Um exemplo de caso de uso pode ser um criador de podcast que deseja criar pequenos clipes de áudio de seu conteúdo para promover nas redes sociais. O exemplo usa inferência de modelo de ML local para lidar com transcrição e pesquisa semântica.

Recursos: Inferência de modelo local com runtime ONNX, modelo Whisper, modelo de incorporações

Tipo de aplicativo: C#, WinUI 3

Aplicativo de notas da plataforma AI

Captura de tela do aplicativo de exemplo de anotações assistido por IA mostrando um resumo criado por IA.

Repositório do GitHub: I-powered Notes Sample App

Descrição: Este aplicativo de anotações alimentado por IA demonstra o uso de APIs, incluindo Reconhecimento de Texto por OCR, Transcrição de Áudio por meio de modelo de ML local, Pesquisa Semântica por meio de um modelo de incorporação local, uso de modelo de linguagem local com Phi3 para resumo, preenchimento automático e dissertação de texto e Retrieval Augmented Generation (RAG) para fundamentação de modelos de linguagem para dados reais.

Recursos: Pesquisa semântica com modelo local, transcrição de áudio com modelo local, Retrieval Augmented Generation (RAG) local com Phi3, resumo e dissertação de texto local com Phi3, extração de texto a partir de imagens com API de OCR

Tipo de aplicativo: C#, WinUI 3

Geração aumentada de recuperação (RAG) com PDFs e Phi3

Captura de tela do RAG PDF Analyzer Sample em um aplicativo WPF.

GitHub Repo: RAG PDF Analyzer WPF Sample App

Descrição: Esse aplicativo de exemplo WPF demonstra como criar uma experiência com um modelo de linguagem local (como Phi3) para responder a perguntas sobre conteúdo em um documento PDF. O exemplo encontra respostas fazendo referência a uma base de conhecimento fora dos próprios dados de treinamento do modelo antes de gerar uma resposta. Esse padrão, chamado Retrieval Augmented Generation (RAG), é um exemplo de como fundamentar um modelo de linguagem em dados confiáveis do mundo real.

Recursos: Retrieval Augmented Generation (RAG), IA generativa com runtime ONNX, DirectML

Tipo de aplicativo: C#, WPF

Conversa de IA generativa do Phi3

Captura de tela do GenAI Chat Sample usando Phi3 em um aplicativo WinUI 3.

GitHub Repo: Exemplo de WinUI 3 do Phi3 Chat

Descrição: Este exemplo de aplicativo WinUI 3 demonstra como usar a biblioteca ONNX Runtime Generative AI para criar uma experiência de chat com um modelo de linguagem local, especificamente o Phi3 Small Language Model (SLM).

Recursos: Phi3, ONNX Runtime Generative AI, DirectML

Tipo de aplicativo: C#, WinUI 3

Exemplo do Windows Studio Effects

Repositório do GitHub: Windows Studio Effects sample app

Descrição: Saiba como controlar os efeitos do Camera Studio a partir do seu aplicativo do Windows neste exemplo de código. Verifique se uma câmera com suporte está disponível no sistema (requer um dispositivo com NPU e câmera interna) e, em seguida, obtém e define controles de câmera estendidos associados ao Windows Studio Effects, como Desfoque de fundo, Correção de olhos vermelhos e Enquadramento automático.

Recursos: Windows Studio Effects

Tipo de aplicativo: C#, WPF

Aceleração de hardware local por meio do DirectML

Difusão estável acelerada por hardware na web

Captura de tela de um exemplo de aplicativo Web Difusão estável.

GitHub Repo: WebNN Stable Diffusion Turbo

Descrição: Este exemplo ilustra como usar o WebNN com o runtime ONNX na Web para executar o Stable Diffusion localmente na GPU com DirectML. SD-Turbo é um modelo generativo rápido de texto-para-imagem que pode sintetizar imagens fotorrealistas a partir de uma solicitação de texto em uma única avaliação de rede. Na demonstração, você pode gerar uma imagem em 2s em dispositivos AI PC aproveitando a API WebNN, uma API de baixo nível dedicada para aceleração de hardware por inferência de rede neural.

Recursos: Geração de imagem no local, WebNN, DirectML

Tipo de aplicativo: JavaScript, aplicativos Web

Segment Anything acelerado por hardware na Web

Repositório do GitHub: WebNN Segment Anything

Descrição: Este exemplo ilustra como usar o WebNN com o runtime ONNX na Web para executar o Segment Anything localmente na GPU com DirectML. Segment Anything é um novo modelo de IA da Meta AI que pode "recortar" qualquer objeto. Na demonstração, você pode segmentar qualquer objeto a partir de suas imagens carregadas.

Recursos: Segmentação de imagem local, WebNN, DirectML

Tipo de aplicativo: JavaScript, aplicativos Web

Whisper com aceleração de hardware na Web

Repositório do GitHub: WebNN Whisper Base

Descrição: Este exemplo ilustra como usar o WebNN com o runtime ONNX na Web para executar os recursos de reconhecimento de fala do modelo Whisper localmente na GPU ou NPU com DirectML. Whisper Base é um modelo pré-treinado para reconhecimento automático de fala (ASR) e tradução de fala. Na demonstração, você pode experimentar o recurso de reconhecimento de fala usando a inferência no dispositivo alimentada pela API WebNN e DirectML, especialmente a aceleração NPU.

Recursos: Reconhecimento de fala local, WebNN, DirectML

Tipo de aplicativo: JavaScript, aplicativos Web

Modelos de linguagem do ONNX Runtime acelerados e pré-otimizados por hardware (Phi3, Llama3 etc.) com DirectML

Captura de tela exibindo a amostra do modelo do ONNX na interface do usuário para conversas de LLM do DirectML.

Repositório do GitHub: exemplos de DirectML no repositório do Olive

Descrição: essa amostra ilustra como executar um modelo de linguagem do ONNX Runtime (ORT) pré-otimizado localmente na GPU com DirectML. A amostra inclui instruções sobre como configurar seu ambiente, baixar os modelos de linguagem pré-treinados mais recentes usando a API ORT Generate e executar o modelo em um aplicativo do Gradio.

Características: aceleração de hardware, GenAI, ONNX, ONNX Runtime, DirectML

Tipo de aplicativo: Python, Gradio

Modelos de PyTorch com aceleração de hardware (Phi3, Llama3 etc) com DirectML

Captura de tela da amostra de PyTorch do DirectML.

Repositório do GitHub: amostra de PyTorch do DirectML

Descrição: essa amostra ilustra como executar um modelo de linguagem de PyTorch localmente na GPU com o DirectML. A amostra inclui instruções sobre como configurar seu ambiente, baixar os modelos de linguagem pré-treinados mais recentes e executar o modelo em um aplicativo do Gradio. Essa amostra é compatível com vários modelos de linguagem de código aberto, como modelos Llama, Phi3-mini, Phi2 e Mistral-7B.

Características: aceleração de hardware, PyTorch, DirectML

Tipo de aplicativo: Python, Gradio

Aprimorar seus aplicativos do Windows com IA usando APIs na nuvem

Mais exemplos de API baseados em nuvem podem ser encontrados na documentação de serviços de IA do Azure.

Adicionar preenchimento de chat do OpenAI ao aplicativo WinUI 3/SDK do Aplicativo Windows

Tutorial: Adicionar preenchimento de chat do OpenAI ao aplicativo WinUI 3 / SDK do Aplicativo Windows

Descrição: Integre os recursos de preenchimento de chat do OpenAI a um aplicativo para desktop WinUI 3 / SDK do Aplicativo Windows.

Recursos: Preenchimento de chat do OpenAI

Tipo de aplicativo: C#, WinUI 3

Adicionar DALL-E ao seu aplicativo de área de trabalho WinUI 3 / Windows App SDK

Tutorial: Adicionar DALL-E ao seu aplicativo para desktop WinUI 3 / SDK do Aplicativo Windows

Descrição: Integre os recursos de geração de imagem OpenAI do DALL-E a um aplicativo para desktop WinUI 3 / SDK do Aplicativo Windows.

Recursos Geração de imagens

Tipo de aplicativo: C#, WinUI 3

Criar um aplicativo de recomendação com o .NET MAUI e o ChatGPT

Tutorial: Criar um aplicativo de recomendação com o .NET MAUI e o ChatGPT

Descrição: Integre os recursos de preenchimento de chat do OpenAI a um aplicativo para desktop .NET MAUI.

Recursos Geração de imagens

Tipo de aplicativo: C#, .NET MAUI

Adicionar DALL-E ao seu aplicativo da área de trabalho .NET MAUI para Windows

Tutorial: Adicionar DALL-E ao seu aplicativo para desktop .NET MAUI para Windows

Descrição: Integre os recursos de geração de imagem OpenAI do DALL-E a um aplicativo para desktop .NET MAUI.

Recursos Geração de imagens

Tipo de aplicativo: C#, .NET MAUI

Exemplos de WinML herdados

Repositório do GitHub: WinML samples on GitHub

Descrição: o WinML continua a ter suporte, mas esses exemplos não foram atualizados para refletir o uso moderno da IA.