Windows Copilot Runtime Vue d'ensemble
Windows Copilot Runtime introduit de nouvelles façons d’interagir avec le système d’exploitation qui utilise l’IA, comme Phi Silica, le petit modèle de langage (SLM) créé par Microsoft Research qui est en mesure d’offrir une grande partie des mêmes fonctionnalités trouvées dans les modèles de langage volumineux (LLMs), mais de façon plus compacte et plus efficace afin qu’il puisse fonctionner localement sur Windows.
En tant que développeur, vous pouvez intégrer vos applications à des expériences Windows basées sur l’IA telles que Recall et Studio Effects, tirer parti de nouvelles API avec des modèles sur appareil via la Windows Copilot Library, découvrir des modèles d’apprentissage automatique (ML) pour affiner vos propres données personnalisées à l’aide du AI Toolkit dans Visual Studio Code, intégrer vos propres modèles ML à l’aide d’infrastructures telles que ONNX Runtime, PyTorch ou WebNN, et accéder à l’accélération matérielle pour améliorer les performances et la mise à l’échelle via DirectML.
Remarque
Toutes les fonctionnalités ne sont pas disponibles pour le moment. Veuillez suivre les réseaux sociaux des développeurs Microsoft et les événements communautaires pour obtenir les dernières informations sur la disponibilité.
Windows Copilot Runtime et Windows Copilot Library
Il existe de nouvelles innovations qui utilisent l’IA pour améliorer et redéfinir l’expérience Windows, avec certaines innovations d’IA intégrées directement à l’utilisation de Windows et d’autres disponibles pour les développeurs d’applications à intégrer dans leurs fonctionnalités d’application. Ces nouvelles façons d’intégrer l’IA dans un application Windows forment la Windows Copilot Library, une liste de fonctionnalités et d’API prêtes à l’emploi soutenues par l’IA, notamment :
- Studio Effects : améliore les capacités audio et vidéo des appareils Windows grâce à des effets d’arrière-plan basés sur l’IA, à la correction du contact visuel, au cadrage automatique, à la mise au point de la voix, au flou, à l’éclairage et à des filtres créatifs exécutés sur le NPU de l’appareil pour maintenir des performances rapides.
- Recall : permet d’effectuer des recherches sur les activités passées de votre appareil Windows, afin que vous puissiez reprendre là où vous vous étiez arrêté, qu’il s’agisse d’utiliser une application, de modifier un document ou de répondre à un e-mail.
- Phi Silica : permet à votre application de se connecter au modèle Phi sur appareil pour les tâches de traitement du langage naturel (conversation, mathématiques, code, raisonnement) à l’aide du kit de développement logiciel (SDK) d’application Windows.
- Text Recognition : la reconnaissance optique de caractères, ou OCR, permet l’extraction de texte à partir d’images et de documents. Imaginez des tâches telles que la conversion d’un PDF, d’un document papier ou d’une image d’un tableau blanc de salle de classe en texte numérique modifiable.
- Traductions de sous-titres en direct : aide tous les utilisateurs de Windows, y compris les personnes sourdes ou malentendantes, à mieux comprendre le contenu audio en affichant les sous-titres du contenu parlé, même lorsque le contenu audio est dans une langue différente de la langue préférée du système.
Les développeurs pourront accéder à ces API dans le cadre du kit de développement logiciel (SDK) d’application Windows.
En plus des API prêtes à l’emploi soutenues par l’IA dans la Windows Copilot Library, nous avons des conseils sur la façon d’améliorer votre application à l’aide de modèles d’apprentissage automatique (ML). Cela couvre des sujets tels que :
- Comment les applications Windows peuvent-elles tirer parti des modèles ML ?
- Où puis-je trouver des modèles ML open source sur le web ?
- Comment puis-je optimiser un modèle ML à utiliser dans mon application Windows ?
- Comment puis-je ajuster un modèle ML avec mes propres données personnalisées ?
- Comment puis-je tirer parti de l’accélération matérielle pour améliorer les performances avec les fonctionnalités d’IA ?
Responsabilité et exemples
Nous avons également créé des ressources pour aider les développeurs qui cherchent à intégrer l’IA dans leurs applications Windows, en mettant à leur disposition une galerie d’exemples, un guide pour l’utilisation responsable de l’IA et des FAQ de haut niveau qui peuvent les aider à décrypter certains termes et concepts.
Galerie d’exemples AI sur Windows : des exemples illustrant des façons d’intégrer l’IA dans les applications Windows.
Développement d’applications et fonctionnalités d’IA générative responsable sur Windows : des ressources et des conseils pour vous aider à travailler avec l’IA sur Windows et à intégrer l’IA de manière responsable dans vos applications Windows.
FAQ sur l’utilisation de l’IA avec Windows : des questions fréquentes sur la terminologie et les concepts liés à l’utilisation de l’IA dans un contexte Windows, couvrant les questions telles que « Qu’est-ce que DirectML ? », « Qu’est-ce que ONNX ? », « Qu’est-ce qu’un NPU ? », « Qu’est-ce qu’un SLM ? », « Qu’est-ce que l’inférence ? », « Qu’est-ce que l’ajustement ? », etc.