Partilhar via

Comece a usar funções baseadas em IA e APIs na sua aplicação do Windows

  • Artigo

Windows Copilot Runtime oferece uma variedade de recursos e APIs apoiados por IA que permitem que você aproveite a funcionalidade de IA sem a necessidade de encontrar, executar ou otimizar seu próprio modelo de Machine Learning (ML). Os modelos que alimentam Windows Copilot Runtime em PCs Copilot+ são executados localmente e em segundo plano o tempo todo.

Ao utilizar recursos de IA, recomendamos que você revise: Desenvolvendo aplicativos e recursos de IA generativa responsável no Windows.

Windows Copilot Runtime recursos, APIs para aplicações do Windows

Windows Copilot Runtime inclui os seguintes recursos e APIs com suporte de IA (no SDK de Aplicações para Windows ), alimentados por modelos executados localmente no dispositivo Windows.

  • Phi Silica: Ainda não disponível. O Phi Silica APIs será fornecido no Windows App SDK. Semelhante ao GPT Large Language Model (LLM) da OpenAI que alimenta o ChatGPT, o Phi é um Small Language Model (SLM) desenvolvido pela Microsoft Research para executar tarefas de processamento de linguagem em um dispositivo local. O Phi Silica foi projetado especificamente para dispositivos Windows com uma Unidade de Processamento Neural (NPU), permitindo que os recursos de geração de texto e conversação sejam executados de forma acelerada por hardware de alto desempenho diretamente no dispositivo.

  • Text Recognition com OCR: Ainda não disponível. O Text RecognitionAPIs (também conhecido como Reconhecimento Ótico de Caracteres ou OCR) será fornecido no SDK de Aplicativo Windows. Esses APIs permitem o reconhecimento de texto em uma imagem e a conversão de diferentes tipos de documentos (como documentos em papel digitalizados, arquivos PDF ou imagens capturadas por uma câmera digital) em dados editáveis e pesquisáveis em um dispositivo local.

  • Imagiologia : Ainda não disponível. O de criação de imagens aprimorado por IA será fornecido noSDK de aplicativos Windows. Esses APIs executam uma variedade de ações, como dimensionar imagens de forma inteligente e identificar objetos dentro delas.

  • Studio Effects: Disponível no Windows 11, versão 22H2 ou mais recente (Build 22623.885+), em PCs Copilot+. dispositivos Windows com Unidades de Processamento Neural (NPUs) compatíveis integram Studio Effects nas configurações de câmera e microfone do dispositivo integrado. Aplique efeitos especiais que utilizam IA, incluindo: Desfoque de fundo, correção de contato visual, enquadramento automático, correção de luz de retrato, filtros criativos ou foco de voz para filtrar o ruído de fundo.

  • Recall: Disponível para visualização através do Programa Windows Insiders em PCs Copilot+.Recall permite que os usuários encontrem rapidamente coisas de suas atividades anteriores, como documentos, imagens, sites e muito mais. Os desenvolvedores podem enriquecer a experiência Recall do usuário com seu aplicativo adicionando informações contextuais ao banco de dados vetorial subjacente com a API de atividade do usuário . Essa integração ajudará os usuários a continuar de onde pararam em seu aplicativo, melhorando o envolvimento com o aplicativo e o fluxo contínuo do usuário entre o Windows e seu aplicativo.

  • Live Caption Translations ajudam todos no Windows, incluindo aqueles que são surdos ou com dificuldades auditivas, a entender melhor o áudio visualizando legendas de conteúdo falado (mesmo quando o áudio está numa língua diferente da língua preferida do sistema).

APIs baseadas na nuvem e apoiadas por IA para aplicações Windows

Você também pode estar interessado em usar APIs que executam modelos na nuvem para potencializar recursos de IA que podem ser adicionados ao seu aplicativo do Windows. Alguns exemplos de APIs baseados em IA baseados em nuvem oferecidos pela Microsoft ou OpenAI incluem:

  • Adicionar finalizações de bate-papo OpenAI ao seu aplicativo de desktop WinUI 3 / Windows App SDK: Um tutorial sobre como integrar os recursos de conclusão do OpenAI ChatGPT baseados em nuvem em um aplicativo de desktop WinUI 3 / Windows App SDK.

  • Adicione DALL-E ao seu aplicativo de desktop WinUI 3 / Windows App SDK: Um tutorial sobre como integrar os recursos de geração de imagens OpenAI DALL-E baseados em nuvem em um aplicativo de desktop WinUI 3 / Windows App SDK.

  • Criar um aplicativo de recomendação com o .NET MAUI e o ChatGPT: Um tutorial sobre como criar um aplicativo de recomendação de exemplo que integra os recursos de conclusão do OpenAI ChatGPT baseados em nuvem em um aplicativo .NET MAUI.

  • Adicionar DALL-E ao seu aplicativo de área de trabalho do Windows .NET MAUI: Um tutorial sobre como integrar os recursos de geração de imagens OpenAI DALL-E baseados em nuvem em um aplicativo .NET MAUI.

  • do Serviço OpenAI do Azure: Se você quiser que seu aplicativo do Windows acesse modelos OpenAI, como GPT-4, GPT-4 Turbo com Visão, GPT-3.5-Turbo, DALLE-3 ou a série de modelos Embeddings, com os recursos corporativos e de segurança adicionais do Azure, você pode encontrar orientação nesta documentação do Azure OpenAI.

  • Serviços de IA do Azure: o Azure oferece um conjunto completo de serviços de IA disponíveis por meio de APIs REST e SDKs de biblioteca de cliente em linguagens de desenvolvimento populares. Para obter mais informações, consulte a documentação de cada serviço. Esses serviços baseados em nuvem ajudam desenvolvedores e organizações a criar rapidamente aplicações inteligentes, responsáveis, de ponta e prontas para o mercado, com APIs e modelos prontos para uso, pré-construídos e personalizáveis. Exemplos de aplicações incluem processamento de linguagem natural para conversas, pesquisa, monitoramento, tradução, fala, visão e tomada de decisões.

Considerações sobre o uso de APIs com suporte de IA local versus baseado em nuvem em seu aplicativo do Windows

Ao decidir entre usar uma API em seu aplicativo do Windows que depende da execução de um modelo de ML localmente versus na nuvem, há várias vantagens e desvantagens a serem consideradas.

  • Disponibilidade de Recursos

    • dispositivo local: A execução de um modelo depende dos recursos disponíveis no dispositivo que está sendo usado, incluindo a CPU, GPU, NPU, memória e capacidade de armazenamento. Isso pode ser limitante se o dispositivo não tiver alto poder computacional ou armazenamento suficiente. Os Small Language Models (SLMs), como Phi, são mais ideais para uso local em um dispositivo.
    • Cloud: plataformas de cloud, como o Azure, oferecem recursos escaláveis. Você pode usar tanto poder computacional ou armazenamento quanto precisar e pagar apenas pelo que usar. Os modelos de linguagem grande (LLMs), como os modelos de linguagem OpenAI , exigem mais recursos, mas também são mais poderosos.

  • Privacidade e Segurança de Dados

    • Dispositivo local: Como os dados permanecem no dispositivo, executar um modelo localmente pode ser mais seguro e privado. A responsabilidade pela segurança dos dados recai sobre o utilizador.
    • Cloud: provedores de nuvem oferecem medidas de segurança robustas, mas os dados precisam ser transferidos para a nuvem, o que pode levantar preocupações de privacidade de dados em alguns casos.

  • Acessibilidade e Colaboração

    • Dispositivo local: O modelo e os dados são acessíveis apenas no dispositivo, a menos que sejam compartilhados manualmente. Isso tem o potencial de tornar a colaboração em dados de modelo mais desafiadora.
    • Cloud: O modelo e os dados podem ser acessados de qualquer lugar com conectividade à internet. Isso pode ser melhor para cenários de colaboração.

  • Custo

    • Dispositivo local: Não há custo adicional além do investimento inicial no dispositivo.
    • Cloud: Embora as plataformas de nuvem operem em um modelo de pagamento conforme o uso, os custos podem se acumular com base nos recursos usados e na duração do uso.

  • Manutenção e Atualizações

    • Dispositivo Local: O usuário é responsável pela manutenção do sistema e instalação de atualizações.
    • Cloud: Manutenção, atualizações do sistema e novas atualizações de recursos são tratadas pelo provedor de serviços de nuvem, reduzindo a sobrecarga de manutenção para o usuário.

Consulte Executando um Modelo de Linguagem Pequena localmente versus um Modelo de Linguagem Grande na nuvem para saber mais sobre as diferenças entre executar um Modelo de Linguagem Pequena (SLM) localmente versus executar um Modelo de Linguagem Grande (LLM) na nuvem.