Dela via

Kom igång med AI-backade funktioner och APIs i din Windows-app

  • Artikel

Windows Copilot Runtime erbjuder en mängd olika AI-backade funktioner och APIs som gör att du kan utnyttja AI-funktioner utan att behöva hitta, köra eller optimera din egen Maskininlärningsmodell (ML). Modellerna som driver Windows Copilot Runtime på Copilot+-datorer körs lokalt och i bakgrunden hela tiden.

När du använder AI-funktioner rekommenderar vi att du granskar: Utveckla ansvarsfulla generativa AI-program och funktioner i Windows.

Windows Copilot Runtime funktioner och APIs för Windows-appar

Windows Copilot Runtime innehåller följande funktioner och AI-stödda APIs (i Windows App SDK) som drivs av modeller som körs lokalt på Windows-enheten.

  • Phi Silica: Inte tillgänglig ännu. Phi Silica-APIs levereras i Windows App SDK. På samma sätt som OpenAI:s GPT Large Language Model (LLM) som driver ChatGPT är Phi en SLM (Small Language Model) som utvecklats av Microsoft Research för att utföra språkbearbetningsuppgifter på en lokal enhet. Phi Silica är särskilt utformat för Windows-enheter med en neural bearbetningsenhet (NPU), vilket gör att textgenererings- och konversationsfunktioner kan köras på ett högpresterande maskinvaruaccelererat sätt direkt på enheten.

  • Text Recognition med OCR: Inte tillgänglig ännu.Text RecognitionAPIs (kallas även optisk teckenigenkänning eller OCR) levereras i Windows App SDK. Dessa APIs möjliggöra igenkänning av text i en bild och konvertering av olika typer av dokument (till exempel skannade pappersdokument, PDF-filer eller bilder som tagits av en digital kamera) till redigerbara och sökbara data på en lokal enhet.

  • Bildhantering APIs: Inte tillgängligt ännu. Den AI-förbättrade bildhanteringen APIs levereras i Windows App SDK. Dessa APIs utför en mängd olika operationer, till exempel intelligent skalning av bilder och identifiering av objekt i bilder.

  • Studio Effects: Finns i Windows 11, version 22H2 eller senare (build 22623.885+), på Copilot+-datorer. Windows-enheter med kompatibla neurala bearbetningsenheter integrerar Studio Effects i de inbyggda inställningarna för enhetskamera och mikrofon. Använd specialeffekter som använder AI, inklusive: Bakgrundsoskärpa, Ögonkontaktskorrigering, Automatisk inramning, Porträttljuskorrigering, Kreativa filter eller Röstfokus för filtrering av bakgrundsbrus.

  • Recall: Tillgänglig för förhandsversion via Windows Insiders Program på Copilot+-datorer.Recall gör det möjligt för användare att snabbt hitta saker från sin tidigare aktivitet, till exempel dokument, bilder, webbplatser med mera. Utvecklare kan utöka användarens Recall-upplevelse med deras app genom att lägga till kontextuell information i den underliggande vektordatabasen med User Activity API:et . Den här integreringen hjälper användarna att fortsätta där de slutade i din app, vilket förbättrar appengagemanget och användarens sömlösa flöde mellan Windows och din app.

  • Översättningar av livetexter hjälpa alla i Windows, inklusive de som är döva eller hörselskadade, bättre förstå ljud genom att visa bildtexter av talat innehåll (även när ljudinnehållet är på ett annat språk än systemets föredragna språk).

Molnbaserad, AI-baserad APIs för Windows-appar

Du kan också vara intresserad av att använda APIs som kör modeller i molnet för att driva AI-funktioner som kan läggas till i din Windows-app. Några exempel på molnbaserade AI-baserade APIs som erbjuds av Microsoft eller OpenAI är:

  • Lägg till OpenAI-chatkompletteringar i din WinUI 3/Windows App SDK-skrivbordsapp: En handledning om hur du integrerar de molnbaserade OpenAI ChatGPT-kompletteringsfunktionerna i en WinUI 3/Windows App SDK-skrivbordsapp.

  • Lägg till DALL-E i din WinUI 3/Windows App SDK-skrivbordsapp: En självstudiekurs om hur du integrerar molnbaserade OpenAI-DALL-E bildgenereringsfunktioner i en WinUI 3/Windows App SDK-skrivbordsapp.

  • Skapa en rekommendationsapp med .NET MAUI och ChatGPT: En självstudiekurs om hur du skapar en exempelrekommendationsapp som integrerar de molnbaserade funktionerna för OpenAI ChatGPT-slutförande i en .NET MAUI-app.

  • Lägg till DALL-E i din .NET MAUI Windows-skrivbordsapp: En självstudiekurs om hur du integrerar molnbaserade OpenAI DALL-E bildgenereringsfunktioner i en .NET MAUI-app.

  • Azure OpenAI Service: Om du vill att din Windows-app ska få åtkomst till OpenAI-modeller, till exempel GPT-4, GPT-4 Turbo with Vision, GPT-3.5-Turbo, DALLE-3 eller embeddings-modellserien, med de extra säkerhets- och företagsfunktionerna i Azure, kan du hitta vägledning i den här Azure OpenAI-dokumentationen.

  • Azure AI Services: Azure erbjuder en hel uppsättning AI-tjänster som är tillgängliga via REST-APIs- och klientbiblioteks-SDK:er på populära utvecklingsspråk. Mer information finns i dokumentationen för varje tjänst. Dessa molnbaserade tjänster hjälper utvecklare och organisationer att snabbt skapa intelligenta, banbrytande, marknadsklara och ansvarsfulla program med färdiga och fördefinierade och anpassningsbara APIs och modeller. Exempelprogram är bearbetning av naturligt språk för konversationer, sökning, övervakning, översättning, tal, vision och beslutsfattande.

Överväganden för att använda lokala och molnbaserade AI-baserade APIs i din Windows-app

När du bestämmer dig för att använda ett API i din Windows-app som förlitar sig på att köra en ML-modell lokalt jämfört med i molnet finns det flera fördelar och nackdelar att tänka på.

  • resurstillgänglighet

    • lokal enhet: Att köra en modell beror på vilka resurser som är tillgängliga på den enhet som används, inklusive processor-, GPU-, NPU-, minnes- och lagringskapacitet. Detta kan vara en begränsning om enheten inte har hög beräkningskraft eller tillräckligt med lagringsutrymme. SLA (Small Language Models), som Phi, är mer idealiska för användning lokalt på en enhet.
    • Cloud: Molnplattformar, till exempel Azure, erbjuder skalbara resurser. Du kan använda så mycket beräkningskraft eller lagring som du behöver och bara betala för det du använder. Stora språkmodeller (LLM), som OpenAI-språkmodeller, kräver fler resurser, men är också mer kraftfulla.

  • Datasekretess och säkerhet

    • lokal enhet: Eftersom data finns kvar på enheten kan det vara säkrare och privatare att köra en modell lokalt. Ansvaret för datasäkerhet vilar på användaren.
    • Cloud: Molnleverantörer erbjuder robusta säkerhetsåtgärder, men data måste överföras till molnet, vilket kan ge upphov till problem med datasekretess i vissa fall.

  • Tillgänglighet och Samarbete

    • lokal enhet: Modellen och data är endast tillgängliga på enheten om de inte delas manuellt. Detta har potential att göra samarbete kring modelldata mer utmanande.
    • Cloud: Modellen och data kan nås var som helst med internetanslutning. Detta kan vara bättre för samarbetsscenarier.

  • Kostnad

    • lokal enhet: Det finns ingen extra kostnad utöver den initiala investeringen i enheten.
    • Cloud: Även om molnplattformar fungerar enligt en betala per användning-modell kan kostnaderna ackumuleras baserat på de resurser som används och varaktigheten för användningen.

  • underhåll och uppdateringar

    • lokal enhet: Användaren ansvarar för att underhålla systemet och installera uppdateringar.
    • Cloud: Underhåll, systemuppdateringar och nya funktionsuppdateringar hanteras av molntjänstleverantören, vilket minskar underhållskostnaderna för användaren.

Se Köra en liten språkmodell lokalt jämfört med en stor språkmodell i molnet för att lära dig mer om skillnaderna mellan att köra en SLM(Small Language Model) lokalt jämfört med att köra en stor språkmodell (LLM) i molnet.