Galerie d’exemples d’IA sur Windows
Collection d’exemples qui illustrent diverses façons d’améliorer vos applications Windows à l’aide des API locales et des modèles Machine Learning (ML), de l’accélération matérielle locale à l’aide de DirectML et d’API basées sur le cloud.
Lorsque vous utilisez des fonctionnalités IA, nous vous recommandons de vous référer à l’article suivant : Développement d’applications et de fonctionnalités d’IA générative responsable sur Windows.
Améliorer vos applications Windows avec l’IA à l’aide d’API locales et de modèles ML
Ces exemples vous aideront à améliorer vos applications Windows avec l’IA à l’aide d’API locales et de modèles Machine Learning.
Éditeur audio alimenté par l’IA
dépôt GitHub: exemple 'éditeur d’audio IA
Description: L'éditeur audio alimenté par l'IA illustre la création d'une application d'édition audio WinUI 3 qui utilise l'IA pour faire correspondre des extraits audio à une requête pertinente. Un exemple de cas d’usage peut être un créateur de podcasts qui souhaite créer de courts clips audio de leur contenu pour promouvoir sur les réseaux sociaux. L’exemple utilise l’inférence de modèle ML local pour gérer la transcription et la recherche sémantique.
Fonctionnalités: inférence de modèle local avec ONNX Runtime, modèle Whisper, modèle Embeddings
type d’application: C#, WinUI 3
Application notes basée sur l’IA
dépôt GitHub: exemple d’application basé sur l’IA
Description: cette application de prise de notes alimentée par l'IA illustre l'utilisation d'API, notamment la reconnaissance de texte OCR, la transcription audio via le modèle ML local, la recherche sémantique via un modèle d'incorporation local, l'utilisation du modèle de langage local avec Phi3 pour le résumé, l'autocomplétion et le raisonnement textuel, et la génération augmentée par récupération (RAG) pour enracinant les modèles de langage dans des données réelles.
Fonctionnalités: recherche sémantique avec modèle local, transcription audio avec modèle local, génération augmentée par récupération locale (RAG) avec Phi3, résumé de texte local et raisonnement avec Phi3, extraction de texte à partir d’images avec API OCR
type d’application: C#, WinUI 3
Retrieval Augmented Generation (RAG) avec des PDFs et Phi3
Dépôt GitHub: Exemple d’application WPF RAG PDF Analyzer
Description: cet exemple d’application WPF montre comment créer une expérience avec un modèle de langage local (tel que Phi3) pour répondre à des questions sur le contenu d’un document PDF. L’exemple trouve des réponses en référençant une base de connaissances en dehors des propres données d’apprentissage du modèle avant de générer une réponse. Ce modèle, appelé Récupération augmentée génération (RAG), est un exemple de la façon de baser un modèle de langage sur des données faisant autorité dans le monde réel.
Fonctionnalités : Génération augmentée par récupération (RAG), ONNX Runtime Generative AI, DirectML
Phi3 Générative AI Chat
dépôt GitHub: exemple Phi3 Chat WinUI 3
Description: cet exemple d’application WinUI 3 montre comment utiliser la bibliothèque IA générative ONNX Runtime pour créer une expérience de conversation avec un modèle de langage local, en particulier le modèle SLM (Phi3 Small Language Model).
Fonctionnalités: Phi3, ONNX Runtime Generative AI, DirectML
type d’application: C#, WinUI 3
Exemple d’effets Windows Studio
dépôt GitHub: exemple d’application Windows Studio Effects
Description: découvrez comment contrôler les effets camera Studio à partir de votre application Windows dans cet exemple de code. Vérifiez si une caméra prise en charge est disponible sur le système (nécessite un appareil doté d’un NPU et d’une caméra intégrée), obtient et définit des contrôles de caméra étendus associés à Windows Studio Effects, tels que le flou d’arrière-plan, la correction du regard oculaire et l’encadrement automatique.
Fonctionnalités: Effets Windows Studio
Accélération matérielle locale via DirectML
Diffusion stable accélérée sur le web
dépôt GitHub: WebNN Stable Diffusion Turbo
Description: cet exemple montre comment utiliser WebNN avec le web ONNX Runtime pour exécuter une diffusion stable localement sur le GPU avec DirectML. SD-Turbo est un modèle rapide de génération d'images à partir de texte qui peut créer des images photoréalistes à partir d'une consigne textuelle lors d'une seule évaluation réseau. Dans la démonstration, vous pouvez générer une image en 2s sur des appareils PC IA en tirant parti de l’API WebNN, une API de bas niveau dédiée pour l’accélération matérielle d’inférence de réseau neuronal.
fonctionnalités : génération d’images locales, webNN, DirectML
type d’application: JavaScript , applications web
Accélération matérielle de Segment Anything sur le web
dépôt GitHub: segmentation WebNN
Description: cet exemple montre comment utiliser WebNN avec le web ONNX Runtime pour exécuter Segment Anything localement sur le GPU avec DirectML. Segment Anything est un nouveau modèle IA de Meta AI qui peut « découper » n’importe quel objet. Dans la démonstration, vous pouvez segmenter n’importe quel objet à partir de vos images chargées.
fonctionnalités : segmentation d’images locales, webNN, DirectML
type d’application: JavaScript , applications web
Chuchotement accéléré sur le web
dépôt GitHub: base de chuchotement WebNN
Description: Cet exemple montre comment utiliser WebNN avec ONNX Runtime Web pour exécuter localement les fonctionnalités de reconnaissance vocale du modèle Whisper sur le GPU ou le NPU avec DirectML. Whisper Base est un modèle préentraîné pour la reconnaissance vocale automatique (ASR) et la traduction vocale. Dans la démonstration, vous pouvez découvrir la fonctionnalité de reconnaissance vocale en texte à l’aide de l’inférence sur appareil alimentée par l’API WebNN et DirectML, en particulier l’accélération du NPU.
Fonctionnalités: reconnaissance vocale locale, WebNN , DirectML
type d’application: JavaScript , applications web
Modèles de langage ONNX Runtime accélérés par le matériel et pré-optimisés, tels que Phi3 et Llama3, utilisant DirectML
dépôt GitHub: exemples DirectML dans le dépôt Olive
Description: cet exemple montre comment exécuter un modèle de langage ONNX Runtime (ORT) pré-optimisé localement sur le GPU avec DirectML. L’exemple inclut des instructions sur la configuration de votre environnement, téléchargez les derniers modèles de langage préentraînés à l’aide de l’API ORT Generate et exécutez le modèle dans une application Gradio.
Caractéristiques: Accélération matérielle, GenAI, ONNX, ONNX Runtime, DirectML
type d’application: Python , Gradio
Modèles PyTorch matériellement accélérés (Phi3, Llama3, etc.) avec DirectML
dépôt GitHub: exemples de DirectML PyTorch
Description: cet exemple montre comment exécuter un modèle de langage PyTorch localement sur le GPU avec DirectML. L’exemple inclut des instructions sur la configuration de votre environnement, le téléchargement des derniers modèles de langage préentraînés et l’exécution du modèle dans une application Gradio. Cet exemple prend en charge différents modèles de langage open source tels que les modèles Llama, Phi3-mini, Phi2 et Mistral-7B.
fonctionnalités : Accélération matérielle, PyTorch , DirectML
type d’application: Python , Gradio
Améliorer vos applications Windows avec l’IA à l’aide d’API cloud
Vous trouverez d’autres exemples d’API cloud dans la documentation services Azure AI.
Ajouter des complétions de chat OpenAI à votre application WinUI 3 / Windows App SDK
Tutoriel: Ajouter des achèvements de conversation OpenAI à votre application WinUI 3 / Windows App SDK
Description: intégrez les fonctionnalités d’achèvement de conversation OpenAI dans une application de bureau WinUI 3 / Windows App SDK.
Fonctionnalités: complétion de chat OpenAI
type d’application: C#, WinUI 3
Ajouter DALL-E à votre application de bureau WinUI 3 / Windows App SDK
tutoriel: ajouter DALL-E à votre application de bureau WinUI 3 / Windows App SDK
Description: intégrez les fonctionnalités de génération d’images openAI DALL-E dans une application de bureau WinUI 3 / Windows App SDK.
Fonctionnalités: génération d’images
type d’application: C#, WinUI 3
Créer une application de recommandation avec .NET MAUI et ChatGPT
Tutoriel: Créer une application de recommandation avec .NET MAUI et ChatGPT
Description: intégrez les fonctionnalités d’achèvement de conversation OpenAI à une application de bureau .NET MAUI.
Fonctionnalités: génération d’images
Type d'application: C#, .NET MAUI
Ajouter DALL-E à votre application de bureau .NET MAUI Windows
Tutoriel: ajouter DALL-E à votre application de bureau Windows .NET MAUI
Description: intégrez les fonctionnalités de génération d’images openAI DALL-E dans une application de bureau .NET MAUI.
Fonctionnalités: génération d’images
Type d'application: C#, .NET MAUI
Exemples WinML anciens
Dépôt GitHub: Échantillons WinML sur GitHub
Description: WinML continue d’être pris en charge, mais ces exemples n’ont pas été mis à jour pour refléter l’utilisation moderne de l’IA.