Galeria de exemplos de IA no Windows
Uma coleção de exemplos que demonstram várias maneiras de aprimorar seus aplicativos do Windows usando APIs locais e modelos de ML (Machine Learning), aceleração de hardware local usando DirectML e usando APIs baseadas em nuvem.
Ao utilizar recursos de IA, recomendamos que você examine: Desenvolvendo aplicativos e recursos de IA generativos responsáveis no Windows.
Aprimorar seus aplicativos do Windows com IA usando APIs locais e modelos de ML
Esses exemplos ajudarão você a aprimorar seus aplicativos do Windows com IA usando APIs locais e modelos do Machine Learning.
Editor de Áudio alimentado por IA
Repositório do GitHub: Exemplo de Editor de Áudio de IA
Descrição: o Editor de Áudio alimentado por IA demonstra a criação de um aplicativo de edição de áudio WinUI 3 que utiliza a IA para corresponder trechos de áudio a uma consulta relevante. Um exemplo de caso de uso pode ser um criador de podcast que deseja criar clipes de áudio curtos de seu conteúdo para promover nas mídias sociais. O exemplo usa inferência de modelo de ML local para lidar com a transcrição e a pesquisa semântica.
Recursos: Inferência de modelo local com o ONNX Runtime, o modelo Whisper, o Modelo Embeddings
tipo de aplicativo: C# , WinUI 3
Aplicativo de Anotações alimentado por IA
Repositório GitHub: Aplicativo de Anotações com IA
Descrição: Este aplicativo de anotação, alimentado por IA, demonstra o uso de APIs, incluindo Reconhecimento de Texto OCR, Transcrição de Áudio por meio de um modelo local de aprendizado de máquina, Pesquisa Semântica por meio de um modelo de embeddings local, uso de modelo de linguagem local com Phi3 para resumo, preenchimento automático e raciocínio de texto, e Geração de Recuperação Aumentada (RAG) para fundamentar os modelos de linguagem em dados reais.
Recursos: pesquisa semântica com modelo local, transcrição de áudio com modelo local, RAG (geração aumentada de retreval local) com Phi3, resumo de texto local e raciocínio com Phi3, extração de texto de imagens com API OCR
Tipo de Aplicativo: C#, WinUI 3
GAR (Geração Aumentada de Recuperação) com PDFs e Phi3
Repositório GitHub: Aplicativo de Exemplo WPF Analisador de PDF RAG
Descrição: este aplicativo de exemplo do WPF demonstra como criar uma experiência com um modelo de linguagem local (como o Phi3) para responder perguntas sobre conteúdo em um documento PDF. O exemplo encontra respostas fazendo referência a uma base de dados de conhecimento fora dos próprios dados de treinamento do modelo antes de gerar uma resposta. Esse padrão, chamado Geração Aumentada com Recuperação (RAG), é um exemplo de como basear um modelo de linguagem em dados autoritativos do mundo real.
Recursos: RAG (Geração Aumentada de Recuperação), IA generativa do runtime ONNX, DirectML
Phi3 Chat de IA Generativa
Repositório GitHub: Exemplo de Chat Phi3 WinUI 3
Descrição: este exemplo de aplicativo WinUI 3 demonstra como usar a biblioteca de IA generativa do runtime ONNX para criar uma experiência de chat com um modelo de linguagem local, especificamente o SLM (Modelo de Linguagem Pequena) do Phi3.
Features: Phi3, IA Generativa do ONNX Runtime, DirectML
Exemplo de Efeitos do Windows Studio
Repositório GitHub: aplicativo de exemplo dos Efeitos do Windows Studio
Descrição: Saiba como controlar os efeitos do Camera Studio a partir do seu aplicativo Windows neste exemplo de código. Verifique se uma câmera com suporte está disponível no sistema (requer um dispositivo com uma NPU e uma câmera interna) e, em seguida, obtém e define controles de câmera estendidos associados aos Efeitos do Windows Studio, como Desfoque de Tela de Fundo, Correção de Foco Ocular e Enquadramento Automático.
Recursos: Efeitos do Windows Studio
Aceleração de hardware local por meio do DirectML
Difusão estável acelerada por hardware na Web
Repositório GitHub: WebNN Stable Diffusion Turbo
Descrição: este exemplo ilustra como usar WebNN com o ONNX Runtime Web para executar a Difusão Estável localmente na GPU com DirectML. SD-Turbo é um modelo rápido de geração de texto para imagem que pode sintetizar imagens fotorealistas a partir de um prompt de texto em uma única avaliação da rede. Na demonstração, você pode gerar uma imagem em 2s em PCs de IA aproveitando a API WebNN, uma API dedicada de baixo nível para aceleração de hardware em inferências de redes neurais.
Recursos: Geração de Imagem Local, WebNN, DirectML
Tipo de Aplicativo: JavaScript, Aplicativos Web
Segmentação acelerada de hardware qualquer coisa na Web
de repositório github: segmento WebNN qualquer coisa
Descrição: este exemplo ilustra como usar WebNN com o ONNX Runtime Web para executar Segment Anything localmente na GPU com DirectML. Segment Anything é um novo modelo de IA da Meta AI que pode "recortar" qualquer objeto. Na demonstração, você pode segmentar qualquer objeto de suas imagens carregadas.
Recursos: Segmentação de Imagem Local, WebNN, DirectML
Tipo de Aplicativo: JavaScript,aplicativos Web
Sussurro acelerado de hardware na Web
Repositório do GitHub: Base de Sussurros do WebNN
Descrição: este exemplo ilustra como usar WebNN com o ONNX Runtime web para executar os recursos de conversão de fala em texto do modelo Whisper localmente na GPU ou NPU com DirectML. Whisper Base é um modelo pré-treinado para reconhecimento automático de fala (ASR) e tradução de fala. Na demonstração, você pode experimentar o recurso de conversão de fala em texto usando a inferência no dispositivo impulsionada pela API WebNN e DirectML, especialmente a aceleração da NPU.
Features: conversão de fala em texto local, WebNN, DirectML
Tipo de Aplicativo: JavaScript, aplicativos web
Modelos de linguagem do ONNX Runtime acelerados por hardware e pré-otimizados (Phi3, Llama3, etc.) com DirectML
Repositório GitHub: exemplos do DirectML no repositório Olive
Descrição: este exemplo ilustra como executar um modelo de linguagem ORT (ONNX Runtime) pré-otimizado localmente na GPU com DirectML. O exemplo inclui instruções sobre como configurar seu ambiente, baixar os modelos de linguagem pré-treinados mais recentes usando a API ort generate e executar o modelo em um aplicativo Gradio.
pt-BR: Recursos: Aceleração de Hardware, GenAI, ONNX, ONNX Runtime, DirectML
tipo de aplicativo: Python, Gradio
Modelos PyTorch acelerados por hardware (Phi3, Llama3 etc) com DirectML
Repositório GitHub: Exemplos do DirectML PyTorch
Descrição: este exemplo ilustra como executar um modelo de linguagem PyTorch localmente na GPU com DirectML. O exemplo inclui instruções sobre como configurar seu ambiente, baixar os modelos de idioma pré-treinados mais recentes e executar o modelo em um aplicativo Gradio. Este exemplo dá suporte a vários modelos de linguagem de software livre, como modelos llama, Phi3-mini, Phi2 e Mistral-7B.
Recursos: Aceleração de Hardware, PyTorch, DirectML
tipo de aplicativo: Python, Gradio
Aprimorar seus aplicativos do Windows com IA usando APIs de nuvem
Mais exemplos de API baseados em nuvem podem ser encontrados na documentação dos serviços de IA do do Azure.
Adicionar completamentos de chat do OpenAI ao seu aplicativo WinUI 3/Windows App SDK
Tutorial: Adicionar completamentos de chat do OpenAI ao aplicativo WinUI 3/SDK do Windows
Descrição: Integre os recursos de conclusão de chat do OpenAI em um aplicativo de área de trabalho WinUI 3/Windows App SDK.
Recursos: Finalização de chat do OpenAI
Tipo de Aplicativo: C#, WinUI 3
Adicionar DALL-E ao aplicativo de desktop WinUI 3/Windows App SDK
Tutorial: Adicionar DALL-E ao seu aplicativo da área de trabalho do SDK do Aplicativo Do Windows 3/Windows
Descrição: integre os recursos de geração de imagem do OpenAI DALL-E em um aplicativo de desktop WinUI 3/SDK de Aplicativo do Windows.
Recursos: Geração de imagem
tipo de aplicativo: C# , WinUI 3
Criar um aplicativo de recomendação com o .NET MAUI e o ChatGPT
Tutorial: Criar um aplicativo de recomendação com o .NET MAUI e o ChatGPT
Descrição: integre os recursos de conclusão de chat do OpenAI em um aplicativo de área de trabalho do .NET MAUI.
Recursos: Geração de imagem
tipo de aplicativo: C# , .NET MAUI
Adicionar DALL-E ao aplicativo de desktop do Windows em .NET MAUI
Tutorial: Adicionar DALL-E ao aplicativo da área de trabalho do Windows .NET MAUI
Descrição: Integre as capacidades de geração de imagem do OpenAI DALL-E em um aplicativo de área de trabalho .NET MAUI.
Recursos: Geração de imagem
tipo de aplicativo: C#, .NET MAUI
Exemplos herdados de WinML
Repositório GitHub: Exemplos do WinML no GitHub
Descrição: o WinML continua a ter suporte, mas esses exemplos não foram atualizados para refletir o uso moderno de IA.