Partager via

Bien démarrer à l’aide de l’IA sauvegardée APIs dans votre application Windows

  • Article

Windows Copilot Runtimeoffre une variété de fonctionnalités d’INTELLIGENCE APIs artificielle qui vous permettent d’exploiter les fonctionnalités d’IA sans avoir à rechercher, exécuter ou optimiser votre propre modèle Machine Learning (ML). Les modèles qui alimentent la Windows Copilot RuntimeAPIs sont prêts à l’emploi et fonctionnent passivement tout le temps sur l’appareil pour activer les fonctionnalités d’IA sur les PC Copilot+.

Utilisez Windows Copilot RuntimeAPIs.

Windows Copilot RuntimeAPIs incluez l’IA optimisée APIs par les modèles s’exécutant localement, directement sur l’appareil Windows. Windows Copilot RuntimeAPIs sont ciblés pour la disponibilité dans la version du Kit de développement logiciel (SDK) d’application Windows 1.7 Expérimental 2 prévue pour janvier 2025. En savoir plus sur le Kit de développement logiciel (SDK) d’application Windows.

  • Phi Silica : l’API Phi Silica est disponible dans le cadre du SDK d’application Windows. Similaire au GPT Large Language Model (LLM) d’OpenAI qui alimente ChatGPT, Phi est un Small Language Model (SLM) développé par Microsoft Research pour effectuer des tâches de traitement du langage sur un périphérique local. Phi Silica est spécialement conçu pour les appareils Windows dotés d’une unité de traitement neuronal (NPU), permettant aux fonctionnalités de génération de texte et de conversation de fonctionner de manière hautement performante et accélérée directement sur l’appareil.

  • Text Recognition avec OCR : l’API Text Recognition (également appelée reconnaissance optique de caractères ou OCR) est disponible dans le cadre du SDK d’application Windows. Cette API permet la reconnaissance de texte dans une image et la conversion de différents types de documents, tels que des documents papier numérisés, des fichiers PDF ou des images capturées par une caméra numérique, en données modifiables et consultables sur un appareil local.

  • Studio Effects : les appareils Windows dotés d’unités de traitement neuronal (NPU) compatibles intègrent Studio Effects dans les paramètres de la caméra et de microphone intégrés. Appliquez des effets spéciaux qui utilisent l’IA, notamment : le flou d’arrière-plan, la correction du contact visuel, le cadrage automatique, la correction de la lumière Portrait, les filtres créatifs ou la mise au point vocale pour filtrer le bruit de fond.

  • Recall : Recall permet aux utilisateurs de trouver rapidement des éléments de leur activité passée, tels que des documents, des images, des sites web et bien plus encore. Les développeurs peuvent enrichir l’expérience de Recall de l’utilisateur avec leur application en ajoutant des informations contextuelles à la base de données vectorielle sous-jacente avec l’API d’activité utilisateur. Cette intégration aidera les utilisateurs à reprendre là où ils se sont arrêtés dans votre application, améliorant l’engagement de l’application et le flux fluide de l’utilisateur entre Windows et votre application.

Avec d’autres à venir, y compris les traductions de légendes en direct, la recherche sémantique, la génération augmentée de récupération (RAG), la synthèse de texte et la super résolution d’image.

Utiliser l’IA APIs basée sur le cloud dans votre application Windows

Vous pouvez également être intéressé par l’utilisation APIs de modèles exécutés dans le cloud pour alimenter les fonctionnalités IA qui peuvent être ajoutées à votre application Windows. Voici quelques exemples d’IA basée sur le cloud offertes APIs par Microsoft ou OpenAI :

  • Ajouter des complétions de chat OpenAI à votre application de bureau WinUI 3 / SDK d’application Windows : un tutoriel sur la façon d’intégrer les fonctionnalités de complétion OpenAI ChatGPT basées sur le cloud dans une application de bureau WinUI 3 / SDK d’application Windows.

  • Ajoutez DALL-E à votre application de bureau WinUI 3 / SDK d’application Windows : un tutoriel sur la façon d’intégrer les capacités de génération d’images OpenAI DALL-E basées sur le cloud dans une application de bureau WinUI 3 / SDK d’application Windows.

  • Créez une application de recommandation avec .NET MAUI et ChatGPT : un tutoriel sur la façon de créer un exemple d’application de recommandation qui intègre les capacités de complétion OpenAI ChatGPT basées sur le cloud dans un .NET MAUI app.

  • Ajoutez DALL-E à votre application de bureau .NET MAUI Windows : un tutoriel sur la façon d’intégrer les capacités de génération d’images OpenAI DALL-E basées sur le cloud dans un .NET MAUI app.

  • Service Azure OpenAI : si vous souhaitez que votre application Windows accède aux modèles OpenAI, tels que GPT-4, GPT-4 Turbo avec Vision, GPT-3.5-Turbo, DALLE-3 ou la série de modèles Embeddings, avec les fonctionnalités de sécurité et d’entreprise supplémentaires d’Azure, vous trouverez des conseils dans cette documentation Azure OpenAI.

  • Azure AI Services : Azure offre une suite complète de services IA disponibles via des KITS SDK de bibliothèque de client et REST APIs dans des langages de développement populaires. Pour plus d’informations, consultez la documentation relative à chaque service. Ces services cloud aident les développeurs et les organisations à créer rapidement des applications intelligentes, prêtes à l’emploi, prêtes pour le marché et responsables avec des applications prêtes à l’emploi, prédéfinies et personnalisables et personnalisables APIs . Les exemples d’applications incluent le traitement en langage naturel des conversations, la recherche, l’analyse, la traduction, le message, la vision et la prise de décision.

Considérations relatives à l’utilisation de l’IA APIs locale ou basée sur le cloud dans votre application Windows

Lorsque vous décidez d’utiliser une API dans votre application Windows qui repose sur l’exécution d’un modèle ML localement par rapport au cloud, il y a plusieurs avantages et inconvénients à considérer.

  • Disponibilité des ressources

    • Appareil local : l’exécution d’un modèle dépend des ressources disponibles sur le périphérique utilisé, y compris le CPU, le GPU, le NPU, la mémoire et la capacité de stockage. Cela peut être limitatif si l’appareil n’a pas une puissance de calcul élevée ou un stockage suffisant. Les modèles de petit langage (SLM), comme Phi, sont plus idéaux pour une utilisation locale sur un appareil.
    • Cloud : les plateformes cloud, telles qu’Azure, offrent des ressources évolutives. Vous pouvez utiliser autant de puissance de calcul ou de stockage que nécessaire et ne payer que pour ce que vous utilisez. Les Large Language Models (LLMs), comme les modèles de langage OpenAI, nécessitent plus de ressources, mais sont également plus puissants.

  • Confidentialité des données et sécurité

    • Appareil local : étant donné que les données restent sur l’appareil, l’exécution d’un modèle localement peut être plus sécurisée et privée. La responsabilité de la sécurité des données repose sur l’utilisateur.
    • Cloud : les fournisseurs de cloud offrent des mesures de sécurité robustes, mais les données doivent être transférées vers le cloud, ce qui peut soulever des problèmes de confidentialité des données dans certains cas.

  • Accessibilité et collaboration

    • Appareil local : le modèle et les données sont accessibles uniquement sur l’appareil, sauf s’ils sont partagés manuellement. Cela peut rendre la collaboration sur les données modèles plus difficile.
    • Cloud : le modèle et les données sont accessibles de n’importe où grâce à la connectivité Internet. Cela peut être préférable pour les scénarios de collaboration.

  • Cost

    • Appareil local : il n’y a pas de coût supplémentaire au-delà de l’investissement initial dans l’appareil.
    • Cloud : alors que les plateformes infonuagiques fonctionnent selon un modèle de paiement à l’utilisation, les coûts peuvent s’accumuler en fonction des ressources utilisées et de la durée d’utilisation.

  • Maintenance et mises à jour

    • Appareil local : l’utilisateur est responsable de la maintenance du système et de l’installation des mises à jour.
    • Cloud : la maintenance, les mises à jour du système et les nouvelles fonctionnalités sont gérées par le fournisseur de services cloud, ce qui réduit les frais de maintenance pour l’utilisateur.

Consultez la section Exécuter un petit modèle de langage localement ou un grand modèle de langage dans le cloud pour en savoir plus sur les différences entre l’exécution locale d’un petit modèle de langage (SLM) et l’exécution d’un grand modèle de langage (LLM) dans le cloud.