Översikt över Windows Studio Effects (förhandsversion)
Windows Studio Effects använder AI på utvalda Windows-enheter med kompatibla neurala bearbetningsenheter (NPUs) för att tillämpa specialeffekter på enhetskameran (stöder för närvarande framåtriktad kamera) eller inbyggd mikrofon. AI-effekter som stöds av NPU:n omfattar:
- Bakgrundsoskärpa
- Ögonkontakt
- Automatisk inramning
- Röstfokus
- Porträttljus
- Kreativa filter
- Teleprompter för ögonkontakt
Windows Studio Effects lista över AI-förbättringar.
Förutsättningar
- Windows 11, version 22H2 eller senare (build 22623.885+).
- Enheten måste ha en NPU som stöds och maskinvarutillverkaren måste ha valt att installera Windows Studio Effect-drivrutinen på systemet.
Hur fungerar Windows Studio Effects med enhetens maskinvara?
Windows Studio Effects använder AI-modeller som skapats av Microsoft och sammanställts/optimerats för enheter med en neural bearbetningsenhet (NPU) för att leverera högpresterande, batterivänliga AI-effekter som minskar belastningen på enhetens PROCESSOR och GPU och ger en betrodd Microsoft AI-upplevelse som skalar över hela Windows-ekosystemet för alla kompatibla enheter.
Windows Studio Effects standardiserar kontrollgränssnitt för enhetens kamera och mikrofon (Kernel Streaming-egenskaper och API:er). Med det här kontrollgränssnittet kan alla program:
- Identifiera om effekter stöds
- Aktivera eller inaktivera effekter efter behov
- Få åtkomst till alla tillgängliga metadata
Effekter tillämpas på maskinvarunivå för kameran (eller mikrofonen), så när en effekt aktiveras i Windows Studio Effectsär den aktiverad som standard för alla appar som använder kameran, även om appen inte vet om effekten.
Läs mer om hur detta fungerar i Windows Studio Effects Architecture.
Så här styr du Windows Studio Effects i Inställningar
Windows Studio Effects kan öppnas från aktivitetsfältet (som visas i bilden ovan), men kan också styras från menyn Inställningar.
- Öppna Inställningar>Bluetooth-& enheter>Kameroroch välj sedan i listan över Anslutna kameror och öppna inställningarna för kameran.
- Du ser en förhandsgranskning av din främre kameraskärm och Kameraeffekter visas under den.
Appen Kamerainställningar är en ny funktion i Windows 11 som gör det möjligt för kunder att visa alla kameror i systemet och välja önskade standardvärden från en uppsättning kontroller per kamera, per användare och per dator.
Appen Kamerainställningar kan justera grundläggande kontroller, till exempel ljusstyrka och kontrast, men även Windows Studio-effekter som Bakgrundsoskärpa och Ögonkontakt.
Appen Kamerainställningar stöder också utökningsbarhet via tillhörande appar som tillhandahålls av kameratillverkare. Med dessa tillhörande appar kan enhetstillverkare erbjuda ett eget anpassat användargränssnitt för att justera kamerainställningarna och/eller tillhandahålla kontroller för ytterligare anpassade kameraeffekter (till exempel en på/av-växlingsknapp för en "Funny Hat"-effekt som tillhandahålls av kameratillverkaren).
Windows-Studio Effects som stöds för den integrerade framåtriktade kameran är:
-
Bakgrundseffekter: Två modeller som stöds...
- Standard Blur - en enkel gaussisk oskärpa effekt.
- Portrait Blur – en diskret oskärpa i bokeh-stil. Beroende på enhetens kapacitet kan den vara diskret eller djupbaserad oskärpa.
-
Eye Contact: Två modeller som stöds...
- Standard – subtil korrigering för en enhetsanvändare som tittar ned från kameran till skärmen. *Justerar inte ögonens vänster- eller högerrörelse.
- Teleprompter – mer aggressiv korrigering för en kund som skannar ögonen runt skärmen när de läser teleprompterinnehåll.
- Automatisk inramning: Identifierar en person i kamerans synfält och beskär/zoomar för att hålla personen inom ramen.
- Porträttbelysning: Förbättra belysningens kvalitet på personen i videon i en dåligt upplyst miljö, ta bort kraftig skärmljusreflektion.
- Creative filter: Videofilter för att lägga till lite kul och flare.
Not
NPU:er med lägre kapacitet kan ha stöd för "Standardoskärpa", men inte "Porträttoskärpa" på grund av begränsningar i beräkningskraft. När en enhet stöder både standardoskärpa och porträttoskärpa visas användargränssnittet som en på/av-knapp för "Bakgrundseffekter" med en valknappfördelning mellan "Standardoskärpa" och "Porträttoskärpa". När ett system endast stöder standardoskärpa visas användargränssnittet som en på/av-växlingsknapp för "Bakgrundsoskärpa". Dessutom kan NPU:er med lägre kapacitet stödja "Standard"-ögonkontakteffekter men inte "Teleprompter". Om "Teleprompter"-effekten stöds, erbjuder användargränssnittet en växlingsknapp för av/på-funktion tillsammans med ett alternativ i form av en radioknapp.
Windows-Studio Effects som stöds för den integrerade mikrofonen är:
- Voice Focus: En mikrofoneffekt som är utformad för att filtrera bort bakgrundsbrus, vilket säkerställer att din röst kommer igenom tydligt under videosamtal.
Arkitektur för Windows Studio Effects
När en kamera väljs att använda Windows Studio Effectsblir Windows Studio Effects-paketet sammanlänkat till slutet av kameran. Detta sker transparent så att den "riktiga" kameran ersätts med en "sammansatt" kamera som består av funktionerna i kameran plus Windows Studio AI-effekterna. Slutkund ser fortfarande bara den "riktiga" kameran, men Windows Studio Effects är nu tillgängliga för den kamerans räkning.
Den "riktiga" kameran inkluderar Kernel Streaming (KS) egenskaper, som ljusstyrka, kontrast och andra Microsoft-implementerade egenskaper, samt eventuella kundspecifika egenskaper som implementeras av tillverkarens (OEM) drivrutin.
Eftersom Windows Studio Effects alltid är det sista objektet i kedjan kan program vara säkra på att om Windows Studio Effects är aktiverat för en kamera, att egenskaperna Background Blur, Eye Contact och Automatic Framing KS som implementeras av kameran tillhandahålls av Windows Studio Effects.
När kameran inte är anmäld att använda Windows Studio Effects, ser alla appar som kommer åt kameran endast "Real" kamerans KS-egenskaper (ljusstyrka, kontrast osv.).
När kameran har valts för att använda Windows Studio Effectskan alla appar som kommer åt kameran se både KS-egenskaperna för den "Verkliga" kameran samt Windows Studio Effects KS-egenskaper som representerar AI-effekter, såsom bakgrundsoskärpa, ögonkontakt osv.
I händelse av en andra implementering av samma KS-egenskap lägre i kedjan (till exempel en DMFT från OEM- implementerar även Background Blur-effekt) förblir implementeringen AV eftersom standardvärdet för egenskapen Blur KS är AV. När Blur är aktiverat för kameran hanterar Windows Studio den begäran internt och vidarebefordrar den inte upp i kedjan till andra komponenter (DMFT, AVStream-drivrutin osv.).
Med den här metoden kan enhetstillverkare (OEM-tillverkare, till exempel Dell eller Lenovo, och IHV:er, till exempel Intel, AMD eller NVIDIA) implementera sina egna kamerabearbetningsfunktioner i sina DMFT eller direkt i kameran innan Windows Studio lägger till standardupplevelserna för Windows AI ovanpå den.
Appintegrering med Windows Studio Effects
När ett program använder Windows-API:er för att starta kameraströmmen anger Windows det aktuella värdet för egenskapen Kernel Streaming (KS) så att det matchar standardvärdet som anges i Windows Studio Effects Kamerainställningar innan du lämnar över kontrollen till programmet. Genom att matcha standardvärdet som anges i Kamerainställningar kameran alltid starta i ett känt tillstånd.
När du integrerar med Windows Studio Effectskan ett program:
- Acceptera alltid systemets standard – Användaren bestämmer grundläggande inställningar (dvs. Ljusstyrka) i kamerainställningarna och tillämpa det här värdet utan några kontroller i appen.
- Börja med systemets standardinställning, men användaren justerar i realtid – Användaren kan justera kamerainställningarna när appen används (dvs. ett skjutreglage för ljusstyrka i appen) utan att ändra systemets standardvärden. Användaren kan välja att spara kamerainställningen i appen för att upprätta en ny standardinställning.
Om programmet redan har skrivit ett värde till en KS-egenskap som också har ett standardvärde inställt från sidan Inställningar innan strömmen startas hoppar Windows över att tillämpa användarens standardvärde när strömmen startas. Om användarens standardljusstyrka till exempel är inställd på 60, men appen anger det aktuella värdet för ljusstyrka till 65 innan strömmen startas, börjar kameran med ljusstyrka på 65 i stället för 60.
Not
Vissa kontroller är en sådan integrerad del av appupplevelsen att appen kanske alltid vill åsidosätta systemets standard. Microsoft Teams gör till exempel detta med bakgrundseffekter. Oavsett om användaren har aktiverat eller inaktiverat oskärpa globalt på sidan Kamerainställningar visas kontrollen Bakgrundseffekter när du ansluter till ett anrop i Teams och värdet som valts i appens användargränssnitt tillämpas. Under ytan använder Teams på ett intelligent sätt Windows Studios NPU-accelererade bakgrundssegmentering för att tillämpa bakgrundsoskärpa och ersättningseffekter.
Oavsett vilken upplevelse din app erbjuder är det alltid en bra idé att tillhandahålla en knapp/hyperlänk i appen för att starta appen Kamerainställningar. Du kan komma åt kamerainställningarna med den här länken: ms-settings
Kamerainställningar för en specifik kamera kan startas med det här länkformatet: ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>
Se Windows-Camera github-lagringsplats för ett fullständigt kodexempel på en app som interagerar med Windows Studio Effects via kamera-API:er.
Exempelkodfragment för att anropa kamerainställningar för en specifik kamera
// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name
private async void Button_Click(object sender, RoutedEventArgs e)
{
// Hard coded for this example, one can use DeviceInformation and/or
// MediaCapture VideoDeviceController.Id to get the symbolic link
string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" +
Uri.EscapeDataString(symlink) ));
}
Detta är tillgängligt på Windows 11, version 22H2 och senare. Om du anropar den här ms-settings länken i äldre versioner av Windows 11 kommer användaren till sidan Kamerainställningar.
Tillämpa ytterligare kamerainställningar
När kameraströmmen har angetts till ett känt tillstånd kan ett program fråga och tillämpa ytterligare konfigurationer, samt att skriva nya KS-egenskapsvärden till kameran efter behov. Om en kund använder en app som inte känner till specifika kamerakontroller (till exempel Ljusstyrka eller Bakgrundsoskärpa) gäller inställningarna för de kontroller som användaren angav i kamerainställningarna fortfarande för appen. Men om en kund använder en app som är medveten om dessa kontroller kan appen ändra det aktuella värdet för dessa kontroller när kameran används.
Program får inte ändra standardvärdet för kontroller. Den här försiktighetsåtgärden säkerställer att en app inte ändrar beteendet för andra appar som använder kameran. Standardvärden kan bara ändras från appen Kamerainställningar.
I Windows 11 version 22H2 kan kunder som har en enhet som stöder Windows Studio Effects aktivera/inaktivera effekterna direkt från sidan Kamerainställningar, tillsammans med andra vanliga inställningar för kameramaskinvaran.
Vägledning för Windows-maskinvarutillverkare
Oem-tillverkare (Original Equipment Manufacturers) som att utforma maskinvara med de senaste Funktionerna i Windows 11 kan välja att använda Windows Studio Effects.
Felsökning
Din Windows-app kan ha befintliga appfunktioner som överlappar de AI-effekter som tillämpas på kameran av Windows Studio Effects (till exempel bakgrundsblur). Om appen Kamerainställningar inte hanterar tillståndet för de kamerabaserade effekterna kan funktionerna i appen inte synkroniseras, vilket orsakar problem med användarupplevelsen.
Så här undviker du överlappande effekter
Överväg en app som erbjuder en bakgrundsoskärpa-funktion som körs på ett system där kameran också stöder bakgrundsoskärpa KS-egenskap som används av Windows Studio Effects och appen Kamerainställningar.
Om kunden har aktiverat Background Blur ON i appen Inställningar för Windows-kamera tillämpas den kamerabaserade effekten när kameran startas. Sedan skulle oskärpakontrollen i appen antingen visas som OFF trots att en oskärpa tydligt är aktiverad, eller som PÅ med dubbel oskärpa (kamerans oskärpa plus appens oskärpaeffekt), vilket slösar resurser.
När du kör på en enhet som stöds rekommenderar vi att du direkt utnyttjar Windows-Studio Effects för att leverera hög återgivningseffekter med lägre systemresurser och batterilivslängd. På så sätt, när en kund interagerar med dina kontroller i appen, synkroniseras de direkt med Windows Studio Effects-funktionerna i själva kameran. Se avsnittet appintegrering med Windows Studio Effects ovan för steg om hur du konfigurerar den här synkroniseringen och undviker det här överlappningsproblemet.
Om din app körs på en enhet som stöder Windows Studio Effects, men du föredrar att effekter tillämpas av en annan tredjepartstjänst (eller inte tillämpas alls), bör du inaktivera windows-Studio Effectssom står i konflikt.
Så här inaktiverar du Windows Studio Effects:
- Kontrollera om det finns överlappande KS-egenskaper.
- Om det finns överlappande egenskaper ställer du in dem på OFF när kameran startas.
Om du till exempel vill se till att funktionen för oskärpa på kameranivå är av, kontrollerar du om kameran har KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATIONoch i så fall ser du till att den är inställd på KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.
Microsofts engagemang för ansvarsfull AI
För att säkerställa att Windows Studio Effects är tillförlitligt, säkert och byggt på ett ansvarsfullt sätt använder den modeller som utvärderats, vägletts och tränats av rättvisetest under hela utvecklingen.
Dessutom innehåller datauppsättningen som används av Creative-filter 3 000 handritade porträtt av användare i olika åldrar, kön och raser, som var och en dras för att följa en stilguide som skapades baserat på en studie av användarpreferenser. För Teleprompter- och Creative-filter lades stor hänsyn till produktfunktionerna för personer med unika ögonegenskaper.