Visão geral Windows Copilot Runtime
Windows Copilot Runtime oferece uma variedade de recursos e APIs apoiados por IA que permitem que você aproveite a funcionalidade de IA sem a necessidade de encontrar, executar ou otimizar seu próprio modelo de Machine Learning (ML). Os modelos que alimentam Windows Copilot Runtime em PCs Copilot+ são executados localmente e em segundo plano o tempo todo.
recursos Windows Copilot Runtime e APIs para aplicações do Windows
Windows Copilot Runtime inclui os seguintes recursos e APIs apoiados por IA (no SDK de aplicativos Windows) alimentados por modelos executados localmente no dispositivo Windows.
Phi Silica: Ainda não disponível. O Phi Silica APIs será fornecido no Windows App SDK. Semelhante ao GPT Large Language Model (LLM) da OpenAI que alimenta o ChatGPT, o Phi é um Small Language Model (SLM) desenvolvido pela Microsoft Research para executar tarefas de processamento de linguagem em um dispositivo local. O Phi Silica foi projetado especificamente para dispositivos Windows com uma Unidade de Processamento Neural (NPU), permitindo que os recursos de geração de texto e conversação sejam executados de forma acelerada por hardware de alto desempenho diretamente no dispositivo.
Text Recognition com OCR: Ainda não disponível. O Text RecognitionAPIs (também conhecido como Reconhecimento Ótico de Caracteres ou OCR) será fornecido no SDK de Aplicativo Windows. Esses APIs permitem o reconhecimento de texto em uma imagem e a conversão de diferentes tipos de documentos (como documentos em papel digitalizados, arquivos PDF ou imagens capturadas por uma câmera digital) em dados editáveis e pesquisáveis em um dispositivo local.
Imagiologia APIs: Ainda não disponível. A Imagiologia aprimorada por IA APIs será fornecida no SDK de Aplicativos Windows. Esses APIs executam uma variedade de ações, como dimensionar imagens de forma inteligente e identificar objetos dentro delas.
Studio Effects: Disponível no Windows 11, versão 22H2 ou mais recente (Build 22623.885+), em PCs Copilot+. dispositivos Windows com Unidades de Processamento Neural (NPUs) compatíveis integram Studio Effects nas configurações de câmera e microfone do dispositivo integrado. Aplique efeitos especiais que utilizam IA, incluindo: Desfoque de fundo, correção de contato visual, enquadramento automático, correção de luz de retrato, filtros criativos ou foco de voz para filtrar o ruído de fundo.
Recall: Disponível para visualização através do Programa Windows Insiders em PCs Copilot+.Recall permite que os usuários encontrem rapidamente coisas de suas atividades anteriores, como documentos, imagens, sites e muito mais. Os desenvolvedores podem enriquecer a experiência Recall do usuário com seu aplicativo adicionando informações contextuais ao banco de dados vetorial subjacente com a API de atividade do usuário . Essa integração ajudará os usuários a continuar de onde pararam em seu aplicativo, melhorando o envolvimento com o aplicativo e o fluxo contínuo do usuário entre o Windows e seu aplicativo.
Live Caption Translations ajudam todos no Windows, incluindo aqueles que são surdos ou têm dificuldades auditivas, a compreender melhor o áudio ao visualizar legendas de conteúdo falado (mesmo quando o conteúdo de áudio está numa língua diferente da língua preferida do sistema).
Integre seus próprios modelos de ML
Além do Windows Copilot RuntimeAPIsapoiado por IA, temos ferramentas e orientações sobre como aprimorar seu aplicativo usando modelos de Machine Learning (ML).
AI Toolkit no Visual Studio Code permite que você integre seus próprios modelos de ML usando estruturas como ONNX Runtime, PyTorch ou WebNN e acesse a aceleração de hardware para melhor desempenho e escalabilidade por meio DirectML.
Saiba mais:
- Como os aplicativos do Windows podem aproveitar os modelos de ML?
- Onde posso encontrar modelos de ML de código aberto na Web?
- Como otimizo um modelo de ML para usar no meu aplicativo do Windows?
- Como posso ajustar um modelo de ML com meus próprios dados personalizados?
- Como posso aproveitar a aceleração de hardware para um melhor desempenho com recursos de IA?
Práticas responsáveis de IA
Desenvolver apps de forma responsável com utilizando Windows Copilot Runtime modelos de IA generativa no dispositivo para ajudar a aplicar recursos de segurança de conteúdo local, como motores de classificação no dispositivo para conteúdo nocivo e uma lista de bloqueio padrão. A Microsoft prioriza o suporte a desenvolvedores para criar experiências de IA seguras e confiáveis com modelos locais no Windows. Saiba mais sobre as práticas de desenvolvimento responsável a serem aplicadas ao criar aplicativos e recursos assistidos por IA executados em dispositivos Windows no Developing Responsible Generative AI Applications and Features on Windows guidance.
Ver também
Phi Silica, pequena mas poderosa SLM em dispositivos (Blogs do Windows)
AI na Galeria de Exemplos do Windows: Exemplos que demonstram formas de integrar a IA em aplicações do Windows.
Perguntas frequentes sobre o uso da IA com o Windows: Perguntas frequentes sobre terminologia e conceitos relacionados ao uso da IA em um contexto do Windows, abrangendo perguntas como "O que é DirectML?", "O que é ONNX?", "O que é ORT?", "O que é uma NPU?", "O que é um SLM?", "O que é inferência?", "O que é ajuste fino?", etc.
Introdução aos modelos ONNX na sua aplicação WinUI com o ONNX Runtime