Delen via

Aan de slag met ai-ondersteunde functies en APIs in uw Windows-app

  • Artikel

Windows Copilot Runtime biedt verschillende ai-functies en APIs waarmee u gebruik kunt maken van AI-functionaliteit zonder dat u uw eigen Machine Learning-model (ML) hoeft te zoeken, uit te voeren of te optimaliseren. De modellen die Windows Copilot Runtime op Copilot+-pc's gebruiken, worden altijd lokaal en op de achtergrond uitgevoerd.

Bij het gebruik van AI-functies raden we u aan het volgende te bekijken: Ontwikkelen van verantwoorde Generatieve AI-toepassingen en -functies in Windows.

Windows Copilot Runtime functies en APIs voor Windows-apps

Windows Copilot Runtime bevat de volgende functies en door AI ondersteunde APIs (in de Windows App SDK) mogelijk gemaakt door modellen die lokaal op het Windows-apparaat worden uitgevoerd.

  • Phi Silicium: Nog niet beschikbaar. De PhiSilium-APIs wordt verzonden in de Windows App SDK-. Net als bij GPT Large Language Model (LLM) van OpenAI waarmee ChatGPT wordt ingeschakeld, is Phi een SLM (Small Language Model) ontwikkeld door Microsoft Research om taalverwerkingstaken uit te voeren op een lokaal apparaat. Phi Silica is speciaal ontworpen voor Windows-apparaten met een NPU (Neural Processing Unit), waardoor tekstgeneratie- en gespreksfuncties met hardwareversnelling en hoge prestaties rechtstreeks op het apparaat kunnen worden uitgevoerd.

  • Text Recognition met OCR-: nog niet beschikbaar. De Text RecognitionAPIs (ook wel optische tekenherkenning of OCR genoemd) wordt verzonden in de Windows App SDK-. Deze APIs de herkenning van tekst in een afbeelding en de conversie van verschillende typen documenten (zoals gescande papieren documenten, PDF-bestanden of afbeeldingen die zijn vastgelegd door een digitale camera) in bewerkbare en doorzoekbare gegevens op een lokaal apparaat mogelijk maken.

  • Imaging APIs: Nog niet beschikbaar. De AI-versterkte Imaging APIs wordt verzonden in de Windows App SDK. Deze APIs verschillende acties uitvoeren, zoals het intelligent schalen van afbeeldingen en het identificeren van objecten in afbeeldingen.

  • Studio Effects: beschikbaar in Windows 11, versie 22H2 of hoger (build 22623.885+), op Copilot+ pc's. Windows-apparaten met compatibele neurale verwerkingseenheden (NPU's) integreren Studio Effects in de ingebouwde camera- en microfooninstellingen van het apparaat. Pas speciale effecten toe die gebruikmaken van AI, waaronder: Achtergrondvervaging; Oogcontactcorrectie; Automatisch kaderen; Portretlichtcorrectie; Creatieve filters; of Stemfocus voor het filteren van achtergrondgeluiden.

  • Recall: Beschikbaar voor preview via het Windows Insiders-programma op Copilot+-pc's.Recall stelt gebruikers in staat om snel dingen te vinden uit hun eerdere activiteiten, zoals documenten, afbeeldingen, websites en meer. Ontwikkelaars kunnen de Recall ervaring van de gebruiker verrijken met hun app door contextuele informatie toe te voegen aan de onderliggende vectordatabase met de Gebruikersactiviteit-API. Deze integratie helpt gebruikers om op te halen waar ze gebleven waren in uw app, waardoor de betrokkenheid van apps en de naadloze stroom van gebruikers tussen Windows en uw app wordt verbeterd.

  • Live Caption Translations iedereen in Windows helpen, inclusief degenen die doof of slechthorend zijn, beter inzicht te krijgen in audio door bijschriften van gesproken inhoud te bekijken (zelfs als de audio-inhoud zich in een andere taal bevindt dan de voorkeurstaal van het systeem).

Cloudgebaseerde, door AI ondersteunde APIs voor Windows-apps

Mogelijk bent u ook geïnteresseerd in het gebruik van APIs die modellen in de cloud uitvoeren om AI-functies te gebruiken die kunnen worden toegevoegd aan uw Windows-app. Enkele voorbeelden van cloudgebaseerde AI-ondersteunde APIs die door Microsoft of OpenAI worden aangeboden, zijn onder andere:

  • OpenAI-chatvoltooiingen toevoegen aan uw WinUI 3-/Windows App SDK-bureaublad-app: een handleiding over het integreren van de cloudgebaseerde OpenAI ChatGPT-voltooiingsmogelijkheden in een WinUI 3-/Windows App SDK-bureaublad-app.

  • DALL-E toevoegen aan uw WinUI 3-/Windows App SDK-bureaublad-app: een zelfstudie over het integreren van de cloudgebaseerde OpenAI DALL-E mogelijkheden voor het genereren van afbeeldingen in een WinUI 3-/Windows App SDK-bureaublad-app.

  • Een aanbevelings-app maken met .NET MAUI en ChatGPT: een zelfstudie over het maken van een voorbeeldapp voor aanbevelingen die de cloudgebaseerde OpenAI ChatGPT-voltooiingsmogelijkheden integreert in een .NET MAUI-app.

  • Voeg DALL-E toe aan uw .NET MAUI Windows-desktop-app: een zelfstudie over het integreren van de cloudgebaseerde OpenAI DALL-E mogelijkheden voor het genereren van afbeeldingen in een .NET MAUI-app.

  • Azure OpenAI Service: als u wilt dat uw Windows-app toegang heeft tot OpenAI-modellen, zoals GPT-4, GPT-4 Turbo with Vision, GPT-3.5-Turbo, DALLE-3 of de reeks Embeddings-modellen, met de extra beveiliging en bedrijfsmogelijkheden van Azure, vindt u richtlijnen in deze Azure OpenAI-documentatie.

  • Azure AI Services: Azure biedt een volledige suite AI-services die beschikbaar zijn via REST APIs en clientbibliotheek-SDK's in populaire ontwikkeltalen. Zie de documentatie van elke service voor meer informatie. Deze cloudservices helpen ontwikkelaars en organisaties snel intelligente, geavanceerde, marktklare en verantwoordelijke toepassingen te maken met kant-en-klare en vooraf gebouwde en aanpasbare APIs en modellen. Voorbeelden van toepassingen zijn verwerking van natuurlijke taal voor gesprekken, zoeken, bewaken, vertalen, spraak, visie en besluitvorming.

Overwegingen voor het gebruik van lokale en cloudgebaseerde AI-APIs in uw Windows-app

Bij het kiezen tussen het gebruik van een API in uw Windows-app die afhankelijk is van het lokaal uitvoeren van een ML-model versus in de cloud, zijn er verschillende voordelen en nadelen waarmee u rekening moet houden.

  • Beschikbaarheid van middelen

    • lokaal apparaat: Het uitvoeren van een model is afhankelijk van de resources die beschikbaar zijn op het apparaat dat wordt gebruikt, waaronder de CPU, GPU, NPU, geheugen en opslagcapaciteit. Dit kan worden beperkt als het apparaat geen hoge rekenkracht of voldoende opslagruimte heeft. Small Language Models (SLM's), zoals Phi, zijn ideaal voor lokaal gebruik op een apparaat.
    • Cloud: Cloud-platforms, zoals Azure, bieden schaalbare resources. U kunt zoveel rekenkracht of opslag gebruiken als u nodig hebt en betaalt alleen voor wat u gebruikt. Grote taalmodellen (LLM's), zoals de OpenAI-taalmodellen, vereisen meer resources, maar zijn ook krachtiger.

  • gegevensprivacy en -beveiliging

    • Lokaal apparaat: Omdat gegevens op het apparaat blijven staan, kan het lokaal uitvoeren van een model veiliger en privé zijn. De verantwoordelijkheid van gegevensbeveiliging rust op de gebruiker.
    • Cloud: Cloudproviders bieden robuuste beveiligingsmaatregelen, maar gegevens moeten worden overgedragen naar de cloud, wat in sommige gevallen problemen met de privacy van gegevens kan veroorzaken.

  • Toegankelijkheid en samenwerking

    • Lokaal apparaat: Het model en de gegevens zijn alleen toegankelijk op het apparaat, tenzij ze handmatig worden gedeeld. Dit biedt de mogelijkheid om samenwerking op modelgegevens moeilijker te maken.
    • Cloud: Het model en de gegevens zijn toegankelijk vanaf elke locatie met internetverbinding. Dit kan beter zijn voor samenwerkingsscenario's.

  • Kosten

    • Lokaal apparaat: Er zijn geen extra kosten meer dan de initiële investering in het apparaat.
    • Cloud: Terwijl cloudplatforms werken op basis van een model voor betalen per gebruik, kunnen de kosten worden verzameld op basis van de gebruikte resources en de duur van het gebruik.

  • onderhoud en updates

    • Lokaal apparaat: De gebruiker is verantwoordelijk voor het onderhouden van het systeem en het installeren van updates.
    • Cloud: Onderhoud, systeemupdates en nieuwe functie-updates worden verwerkt door de cloudserviceprovider, waardoor de overhead voor onderhoud voor de gebruiker wordt verminderd.

Zie Lokaal een klein taalmodel uitvoeren versus een large language model in de cloud voor meer informatie over de verschillen tussen het lokaal uitvoeren van een Small Language Model (SLM) versus het uitvoeren van een Large Language Model (LLM) in de cloud.