Dela via

Kom igång med AI i Windows

  • Artikel

Möjligheten att bygga intelligenta AI-upplevelser på och med Windows utvecklas snabbt. Windows Copilot Runtime erbjuder AI-backade funktioner och APIs på Copilot+-datorer. Dessa funktioner är i aktiv utveckling och körs lokalt i bakgrunden hela tiden. Läs mer om Windows Copilot Runtime.

Utöver Windows Copilot Runtimeerbjuder Microsoft en mängd olika AI-tjänster, support och vägledning. För att komma igång och lära dig hur du på ett säkert sätt integrerar AI för dina affärsbehov kan du utforska vägledningen i vår Windows AI-dokumentation, inklusive:

Hur kan du använda AI i din Windows-app?

Några sätt som Windows-appar kan använda Maskininlärningsmodeller (ML) för att förbättra deras funktioner och användarupplevelse med AI är:

  • Appar kan använda generativa AI-modeller för att förstå komplexa ämnen för att sammanfatta, skriva om, rapportera om eller expandera.
  • Appar kan använda modeller som omvandlar innehåll i fritt format till ett strukturerat format som din app kan förstå.
  • Appar kan använda semantiska sökmodeller som gör det möjligt för användare att söka efter innehåll med mening och snabbt hitta relaterat innehåll.
  • Appar kan använda bearbetningsmodeller för naturligt språk för att resonera över komplexa krav på naturligt språk och planera och köra åtgärder för att utföra användarens fråga.
  • Appar kan använda modeller för bildmanipulering för att på ett intelligent sätt ändra bilder, radera eller lägga till ämnen, skala upp eller generera nytt innehåll.
  • Appar kan använda förutsägelsediagnostikmodeller för att identifiera och förutsäga problem och hjälpa till att vägleda användaren eller göra det åt dem.

Välj mellan molnbaserade och lokala AI-tjänster

Integrering av AI i ditt Windows-program kan uppnås genom två primära metoder: en lokal modell eller en molnbaserad modell. Det finns flera aspekter att tänka på när du fastställer rätt alternativ för dina behov.

  • Resurstillgänglighet

    • lokal enhet: Att köra en modell beror på vilka resurser som är tillgängliga på den enhet som används, inklusive processor-, GPU-, NPU-, minnes- och lagringskapacitet. Detta kan vara en begränsning om enheten inte har hög beräkningskraft eller tillräckligt med lagringsutrymme. SLA (Small Language Models), som Phi, är mer idealiska för användning lokalt på en enhet. Copilot+-datorer erbjuda inbyggda modeller som drivs av Windows Copilot Runtime med färdiga AI-funktioner.
    • Cloud: Molnplattformar, till exempel Azure AI Services, erbjuder skalbara resurser. Du kan använda så mycket beräkningskraft eller lagring som du behöver och bara betala för det du använder. Stora språkmodeller (LLM), som OpenAI-språkmodeller, kräver fler resurser, men är också mer kraftfulla.

  • Datasekretess och säkerhet

    • lokal enhet: Eftersom data finns kvar på enheten kan körning av en modell lokalt ge fördelar när det gäller säkerhet och sekretess, med ansvar för datasäkerhet som vilar på användaren.
    • Cloud: Cloud-leverantörer erbjuder robusta säkerhetsåtgärder, men data måste överföras till molnet, vilket i vissa fall kan ge upphov till oro för dataskydd bland företagets eller apptjänstens ansvariga.

  • Tillgänglighet och Samarbete

    • lokal enhet: Modellen och data är endast tillgängliga på enheten om de inte delas manuellt. Detta har potential att göra samarbete kring modelldata mer utmanande.
    • Cloud: Modellen och data kan nås var som helst med internetanslutning. Detta kan vara bättre för samarbetsscenarier.

  • Kostnad

    • lokal enhet: Det finns ingen extra kostnad utöver den initiala investeringen i enhetens maskinvara.
    • Cloud: Även om molnplattformar fungerar enligt en betala per användning-modell kan kostnaderna ackumuleras baserat på de resurser som används och varaktigheten för användningen.

  • underhåll och uppdateringar

    • lokal enhet: Användaren ansvarar för att underhålla systemet och installera uppdateringar.
    • Cloud: Underhåll, systemuppdateringar och nya funktionsuppdateringar hanteras av molntjänstleverantören, vilket minskar underhållskostnaderna för användaren.

Använd Windows Copilot Runtime

När en lokal AI-modell är rätt lösning kan du använda Windows Copilot Runtime funktioner för att integrera AI-tjänster för användare på Copilot+-datorer. Några av dessa färdiga AI-funktioner som du kan utnyttja från din Windows-app är:

  • Phi Silica: en lokal språkmodell som är redo att användas.
  • Recall: ett UserActivity-API som använder AI för att hjälpa dig att söka igenom din tidigare aktivitet, som stöds av Klicka för att göra, en funktion som använder Phi Silica för att ansluta åtgärder till innehållet (text eller bilder) som hittas av Recall.
  • AI Imaging: för att skala och slipa bilder med AI (Image Super Resolution), samt identifiera objekt i en bild (Bildsegmentering).
  • Windows Studio Effects: för att tillämpa AI-effekter på enhetens kamera eller inbyggd mikrofon.

Läs mer om de funktioner som är tillgängliga i Windows Copilot Runtime Oveview.

Använda molnbaserade APIs

Om en molnbaserad lösning fungerar bättre för ditt Windows-appscenario kanske du är intresserad av några av självstudierna nedan.

Många APIs är tillgängliga för åtkomst till molnbaserade modeller för att driva AI-funktioner i din Windows-app, oavsett om dessa modeller är anpassade eller redo att användas. Med hjälp av en molnbaserad modell kan din app förbli strömlinjeformad genom att delegera resursintensiva uppgifter till molnet. Några resurser som hjälper dig att lägga till molnbaserade AI-baserade APIs som erbjuds av Microsoft eller OpenAI är:

  • Lägg till OpenAI-chatkompletteringar i din WinUI 3/Windows App SDK-skrivbordsapp: En handledning om hur du integrerar de molnbaserade OpenAI ChatGPT-kompletteringsfunktionerna i en WinUI 3/Windows App SDK-skrivbordsapp.

  • Lägg till DALL-E i din WinUI 3/Windows App SDK-skrivbordsapp: En självstudiekurs om hur du integrerar molnbaserade OpenAI-DALL-E bildgenereringsfunktioner i en WinUI 3/Windows App SDK-skrivbordsapp.

  • Skapa en rekommendationsapp med .NET MAUI och ChatGPT: En självstudiekurs om hur du skapar en exempelrekommendationsapp som integrerar de molnbaserade funktionerna för OpenAI ChatGPT-slutförande i en .NET MAUI-app.

  • Lägg till DALL-E i din .NET MAUI Windows-skrivbordsapp: En självstudiekurs om hur du integrerar molnbaserade OpenAI DALL-E bildgenereringsfunktioner i en .NET MAUI-app.

  • Azure OpenAI Service: Om du vill att din Windows-app ska få åtkomst till OpenAI-modeller, till exempel GPT-4, GPT-4 Turbo with Vision, GPT-3.5-Turbo, DALLE-3 eller embeddings-modellserien, med de extra säkerhets- och företagsfunktionerna i Azure, kan du hitta vägledning i den här Azure OpenAI-dokumentationen.

  • Azure AI Services: Azure erbjuder en hel uppsättning AI-tjänster som är tillgängliga via REST-APIs- och klientbiblioteks-SDK:er på populära utvecklingsspråk. Mer information finns i dokumentationen för varje tjänst. Dessa molnbaserade tjänster hjälper utvecklare och organisationer att snabbt skapa intelligenta, banbrytande, marknadsklara och ansvarsfulla program med färdiga och fördefinierade och anpassningsbara APIs och modeller. Exempelprogram är bearbetning av naturligt språk för konversationer, sökning, övervakning, översättning, tal, vision och beslutsfattande.

Använda en anpassad modell på din lokala dator

Om du har möjlighet att träna din egen modell med egna privata data med plattformar som TensorFlow eller PyTorch. Du kan integrera den anpassade modellen i ditt Windows-program genom att köra den lokalt på enhetens maskinvara med hjälp av ONNX Runtime och AI Toolkit för Visual Studio Code.

AI Toolkit för Visual Studio Code är ett VS Code-tillägg som gör att du kan ladda ned och köra AI-modeller lokalt, inklusive åtkomst till maskinvaruacceleration för bättre prestanda och skalning via DirectML-. AI Tookit kan också hjälpa dig med:

  • Testa modeller på en intuitiv lekplats eller i ditt program med ett REST-API.
  • Finjustera DIN AI-modell, både lokalt eller i molnet (på en virtuell dator) för att skapa nya färdigheter, förbättra svarstillförlitligheten, ange tonen och formatet för svaret.
  • Finjustering av populära småspråksmodeller (SLA), som Phi-3 och Mistral.
  • Distribuera din AI-funktion antingen till molnet eller med ett program som körs på en enhet.
  • Utnyttja maskinvaruacceleration för bättre prestanda med AI-funktioner med DirectML. DirectML är ett lågnivå-API som gör det möjligt för din Windows-enhetsmaskinvara att påskynda prestandan för ML-modeller med hjälp av enhetens GPU eller NPU. Att para ihop DirectML med ONNX Runtime är vanligtvis det enklaste sättet för utvecklare att få maskinvaruaccelererad AI till sina användare i stor skala. Läs mer: Översikt över DirectML.

Du kanske också vill titta på dessa modellspecifika finjusteringskoncept för att justera en förtränad modell så att den passar dina datamängder bättre.

Hitta modeller med öppen källkod

Du hittar ML-modeller med öppen källkod på webben, några av de mest populära är:

  • Hugging Face: En hubb med över 10 000 förtränade ML-modeller för bearbetning av naturligt språk som drivs av Transformers-biblioteket. Du hittar modeller för textklassificering, frågesvar, sammanfattning, översättning, generering med mera.
  • ONNX Model Zoo: En samling förtränade ML-modeller i ONNX-format som täcker ett brett spektrum av domäner och uppgifter, såsom datorseende, naturlig språkbehandling, tal och mer.
  • Qualcomm AI Hub: En plattform som ger åtkomst till en mängd olika ML-modeller och verktyg som optimerats för Qualcomm Snapdragon-enheter. Du hittar modeller för bild-, video-, ljud- och sensorbearbetning samt ramverk, bibliotek och SDK:er för att skapa och distribuera ML-program på mobila enheter. Qualcomm AI Hub erbjuder även självstudier, guider och communitystöd för utvecklare och forskare.
  • Pytorch Hub: Ett förtränat modellarkiv som är utformat för att underlätta forskningsreproducerbarhet och möjliggöra ny forskning. Det är ett enkelt API och arbetsflöde som tillhandahåller grundläggande byggstenar för att förbättra återgivningen av maskininlärningsforskning. PyTorch Hub består av en förtränad modelllagringsplats som utformats specifikt för att underlätta forskningsåtergivning.
  • TensorFlow Hub: En lagringsplats med förtränade ML-modeller och återanvändbara komponenter för TensorFlow, vilket är ett populärt ramverk för att skapa och träna ML-modeller. Du hittar modeller för bild-, text-, video- och ljudbearbetning samt överföringsinlärning och finjustering.
  • Model Zoo: En plattform som kurerar och rangordnar de bästa ML-modellerna med öppen källkod för olika ramverk och uppgifter. Du kan bläddra bland modeller efter kategori, ramverk, licens och klassificering och se demonstrationer, kod och papper för varje modell.

Vissa modellbibliotek är inte avsedda att anpassas och distribueras via en app, men de är användbara verktyg för praktisk utforskning och upptäckter som en del av utvecklingsprocessen, till exempel:

  • Ollama: Ollama är en marknadsplats för ML-modeller som är redo att användas för olika uppgifter, till exempel ansiktsigenkänning, attitydanalys eller taligenkänning. Du kan bläddra, testa och integrera modellerna i din app med några få klick.
  • LM Studio: Lmstudio är ett verktyg som gör att du kan skapa anpassade ML-modeller från dina egna data med hjälp av ett dra och släpp-gränssnitt. Du kan välja mellan olika ML-algoritmer, förbearbeta och visualisera dina data och träna och utvärdera dina modeller.

Använda ansvarsfulla AI-metoder

När du införlivar AI-funktioner i din Windows-app vi starkt rekommenderar att du följer vägledningen Utveckla ansvarsfull generativa AI-program och funktioner i Windows vägledning.

Den här vägledningen hjälper dig att förstå styrningsprinciper, metoder och processer, identifiera risker, rekommendera testmetoder, använda säkerhetsåtgärder som moderatorer och filter och framhäva specifika överväganden när du väljer en modell som är säker och ansvarsfull att arbeta med.

Windows Copilot Runtime generativa AI-modeller på enheten kan hjälpa dig att framtvinga säkerhetsfunktioner för lokalt innehåll, till exempel klassificeringsmotorer på enheten för skadligt innehåll och en standardblockeringslista. Microsoft prioriterar stöd till utvecklare för att skapa säkra, tillförlitliga AI-upplevelser med lokala modeller i Windows.

Ytterligare resurser