Partager via

Prise en main de l’utilisation d’API sauvegardées par l’IA dans votre application Windows

  • Article

Windows Copilot Runtime propose une variété d’API soutenues par l’IA appelées Windows Copilot Library, qui vous permettent d’exploiter les fonctionnalités de l’IA sans avoir besoin de trouver, d’exécuter ou d’optimiser votre propre modèle de Machine Learning (ML). Les modèles qui alimentent la Windows Copilot Library sont prêts à l’emploi et fonctionnent passivement tout le temps sur l’appareil pour activer les fonctionnalités d’IA sur les PC Copilot+.

Utiliser les API locales soutenues par l’IA disponibles dans la Windows Copilot Library

La Windows Copilot Library inclut ces API soutenues par l’IA alimentées par des modèles exécutés localement, directement sur le périphérique Windows :

  • Phi Silica : l’API Phi Silica est disponible dans le cadre du SDK d’application Windows. Similaire au GPT Large Language Model (LLM) d’OpenAI qui alimente ChatGPT, Phi est un Small Language Model (SLM) développé par Microsoft Research pour effectuer des tâches de traitement du langage sur un périphérique local. Phi Silica est spécialement conçu pour les appareils Windows dotés d’une unité de traitement neuronal (NPU), permettant aux fonctionnalités de génération de texte et de conversation de fonctionner de manière hautement performante et accélérée directement sur l’appareil.

  • Text Recognition avec OCR : l’API Text Recognition (également appelée reconnaissance optique de caractères ou OCR) est disponible dans le cadre du SDK d’application Windows. Cette API permet la reconnaissance de texte dans une image et la conversion de différents types de documents, tels que des documents papier numérisés, des fichiers PDF ou des images capturées par une caméra numérique, en données modifiables et consultables sur un appareil local.

  • Studio Effects : les appareils Windows dotés d’unités de traitement neuronal (NPU) compatibles intègrent Studio Effects dans les paramètres de la caméra et de microphone intégrés. Appliquez des effets spéciaux qui utilisent l’IA, notamment : le flou d’arrière-plan, la correction du contact visuel, le cadrage automatique, la correction de la lumière Portrait, les filtres créatifs ou la mise au point vocale pour filtrer le bruit de fond.

  • Recall : Recall permet aux utilisateurs de trouver rapidement des éléments de leur activité passée, tels que des documents, des images, des sites web et bien plus encore. Les développeurs peuvent enrichir l’expérience de Recall de l’utilisateur avec leur application en ajoutant des informations contextuelles à la base de données vectorielle sous-jacente avec l’API d’activité utilisateur. Cette intégration aidera les utilisateurs à reprendre là où ils se sont arrêtés dans votre application, améliorant l’engagement de l’application et le flux fluide de l’utilisateur entre Windows et votre application.

Avec d’autres à venir, y compris les traductions de légendes en direct, la recherche sémantique, la génération augmentée de récupération (RAG), la synthèse de texte et la super résolution d’image.

Utiliser des API basées sur l’IA dans le cloud dans votre application Windows

Vous pouvez également être intéressé à utiliser des API qui exécutent des modèles dans le cloud pour alimenter les fonctionnalités d’IA qui peuvent être ajoutées à votre application Windows. Voici quelques exemples d’API basées sur l’IA et offertes par Microsoft ou OpenAI :

  • Ajouter des complétions de chat OpenAI à votre application de bureau WinUI 3 / SDK d’application Windows : un tutoriel sur la façon d’intégrer les fonctionnalités de complétion OpenAI ChatGPT basées sur le cloud dans une application de bureau WinUI 3 / SDK d’application Windows.

  • Ajoutez DALL-E à votre application de bureau WinUI 3 / SDK d’application Windows : un tutoriel sur la façon d’intégrer les capacités de génération d’images OpenAI DALL-E basées sur le cloud dans une application de bureau WinUI 3 / SDK d’application Windows.

  • Créez une application de recommandation avec .NET MAUI et ChatGPT : un tutoriel sur la façon de créer un exemple d’application de recommandation qui intègre les capacités de complétion OpenAI ChatGPT basées sur le cloud dans un .NET MAUI app.

  • Ajoutez DALL-E à votre application de bureau .NET MAUI Windows : un tutoriel sur la façon d’intégrer les capacités de génération d’images OpenAI DALL-E basées sur le cloud dans un .NET MAUI app.

  • Service Azure OpenAI : si vous souhaitez que votre application Windows accède aux modèles OpenAI, tels que GPT-4, GPT-4 Turbo avec Vision, GPT-3.5-Turbo, DALLE-3 ou la série de modèles Embeddings, avec les fonctionnalités de sécurité et d’entreprise supplémentaires d’Azure, vous trouverez des conseils dans cette documentation Azure OpenAI.

  • Azure AI Services : Azure propose une suite complète de services d’IA disponibles via des API REST et des SDK de bibliothèque client dans des langages de développement populaires. Pour plus d’informations, consultez la documentation relative à chaque service. Ces services basés sur le cloud aident les développeurs et les organisations à créer rapidement des applications intelligentes, de pointe, prêtes à être commercialisées et responsables avec des API et des modèles prêts à l’emploi, intégrés et personnalisables. Les exemples d’applications incluent le traitement en langage naturel des conversations, la recherche, l’analyse, la traduction, le message, la vision et la prise de décision.

Considérations relatives à l’utilisation d’API locales ou basées sur le cloud dans votre application Windows

Lorsque vous décidez d’utiliser une API dans votre application Windows qui repose sur l’exécution d’un modèle ML localement par rapport au cloud, il y a plusieurs avantages et inconvénients à considérer.

  • Disponibilité des ressources

    • Appareil local : l’exécution d’un modèle dépend des ressources disponibles sur le périphérique utilisé, y compris le CPU, le GPU, le NPU, la mémoire et la capacité de stockage. Cela peut être limitatif si l’appareil n’a pas une puissance de calcul élevée ou un stockage suffisant. Les modèles de petit langage (SLM), comme Phi, sont plus idéaux pour une utilisation locale sur un appareil.
    • Cloud : les plateformes cloud, telles qu’Azure, offrent des ressources évolutives. Vous pouvez utiliser autant de puissance de calcul ou de stockage que nécessaire et ne payer que pour ce que vous utilisez. Les Large Language Models (LLMs), comme les modèles de langage OpenAI, nécessitent plus de ressources, mais sont également plus puissants.

  • Confidentialité des données et sécurité

    • Appareil local : étant donné que les données restent sur l’appareil, l’exécution d’un modèle localement peut être plus sécurisée et privée. La responsabilité de la sécurité des données repose sur l’utilisateur.
    • Cloud : les fournisseurs de cloud offrent des mesures de sécurité robustes, mais les données doivent être transférées vers le cloud, ce qui peut soulever des problèmes de confidentialité des données dans certains cas.

  • Accessibilité et collaboration

    • Appareil local : le modèle et les données sont accessibles uniquement sur l’appareil, sauf s’ils sont partagés manuellement. Cela peut rendre la collaboration sur les données modèles plus difficile.
    • Cloud : le modèle et les données sont accessibles de n’importe où grâce à la connectivité Internet. Cela peut être préférable pour les scénarios de collaboration.

  • Cost

    • Appareil local : il n’y a pas de coût supplémentaire au-delà de l’investissement initial dans l’appareil.
    • Cloud : alors que les plateformes infonuagiques fonctionnent selon un modèle de paiement à l’utilisation, les coûts peuvent s’accumuler en fonction des ressources utilisées et de la durée d’utilisation.

  • Maintenance et mises à jour

    • Appareil local : l’utilisateur est responsable de la maintenance du système et de l’installation des mises à jour.
    • Cloud : la maintenance, les mises à jour du système et les nouvelles fonctionnalités sont gérées par le fournisseur de services cloud, ce qui réduit les frais de maintenance pour l’utilisateur.

Consultez la section Exécuter un petit modèle de langage localement ou un grand modèle de langage dans le cloud pour en savoir plus sur les différences entre l’exécution locale d’un petit modèle de langage (SLM) et l’exécution d’un grand modèle de langage (LLM) dans le cloud.