Overzicht van Windows Studio Effects (voorbeeldweergave)
Windows Studio Effects maakt gebruik van AI op bepaalde Windows-apparaten met compatibele NPU's (Neural Processing Units) om speciale effecten toe te passen op de camera van het apparaat (momenteel ondersteunt camera aan de voorzijde) of ingebouwde microfoon. AI-effecten die worden ondersteund door de NPU zijn onder andere:
- Achtergrond vervagen
- Oogcontact
- Automatisch kaderen
- Spraakfocus
- Portretlicht
- Creatieve filters
- Teleprompter van oogcontact
Windows Studio Effects lijst met AI-verbeteringen.
Voorwaarden
- Windows 11, versie 22H2 of hoger (build 22623.885+).
- Het apparaat moet een ondersteunde NPU hebben en de hardwarefabrikant moet zich hebben aangemeld door het Windows Studio-effectstuurprogramma op het systeem te installeren.
Hoe werkt Windows Studio Effects met uw apparaathardware?
Windows Studio Effects maakt gebruik van AI-modellen die door Microsoft zijn gebouwd en zijn gecompileerd/geoptimaliseerd voor apparaten met een NPU (Neural Processing Unit) om hoogwaardige, batterijvriendelijke AI-effecten te leveren die de belasting van de CPU en GPU van het apparaat verminderen en een vertrouwde Microsoft AI-ervaring bieden die wordt geschaald in het hele Windows-ecosysteem voor alle compatibele apparaten.
Windows Studio Effects standaardiseert besturingsinterfaces voor de camera en microfoon van het apparaat (eigenschappen en API's voor kernelstreaming). Met deze besturingsinterface kan elke toepassing het volgende doen:
- Ontdekken of effecten worden ondersteund
- Effecten indien nodig in- of uitschakelen
- Toegang tot alle beschikbare metagegevens
Effecten worden toegepast op hardwareniveau voor de camera (of microfoon), dus zodra een effect is ingeschakeld in de Windows-Studio Effects, is het standaard ingeschakeld voor elke app die de camera gebruikt, zelfs als de app niet weet wat het effect is.
Meer informatie over hoe dit werkt in Windows Studio Effects Architecture.
Windows-Studio Effects beheren in Instellingen
Windows Studio Effects kan worden geopend vanaf de taakbalk (zoals weergegeven in de bovenstaande afbeelding), maar kan ook worden beheerd via het menu Instellingen.
- Open Instellingen>voor Bluetooth-&-apparaten>en camera's, selecteer vervolgens een camera uit de lijst met Verbonden camera's en open de instellingen voor die camera.
- U ziet een voorbeeld van het camerascherm aan de voorzijde en de Camera-effecten eronder vermeld.
Schermopname van 
De app Camera-instellingen is een nieuwe functie in Windows 11 waarmee klanten alle camera's op hun systeem kunnen bekijken en voorkeurswaarden voor 'standaard' selecteren uit een set besturingselementen per camera, per gebruiker, per machine.
De app Camera-instellingen kan basisbesturingselementen aanpassen, zoals Helderheid en Contrast, maar ook Windows Studio-effecten zoals Achtergrond vervagen en Oogcontact.
De app Camera-instellingen biedt ook ondersteuning voor uitbreidbaarheid via aanvullende apps van camerafabrikanten. Met deze aanvullende apps kunnen fabrikanten van apparaten hun eigen aangepaste gebruikersinterface aanbieden om camera-instellingen aan te passen en/of besturingselementen te bieden voor extra aangepaste camera-effecten (bijvoorbeeld een aan/uit-wisselknop voor een 'Funny Hat'-effect van de fabrikant van de camera).
Ondersteunde Windows Studio Effects voor de geïntegreerde frontcamera, zijn onder andere:
-
achtergrondeffecten: twee ondersteunde modellen...
- Standard Blur - een eenvoudig gaussiisch vervaagd effect.
- Portrait Blur - een subtiel bokeh-stijl blur-effect. Afhankelijk van de mogelijkheid van het apparaat kan dit subtiel zijn of een op diepte gebaseerde vervaaging.
-
Eye Contact: Twee ondersteunde modellen...
- Standaard - subtiele correctie voor een apparaatgebruiker die van de camera naar het scherm omlaag kijkt. *Past de linker- of rechterbeweging van de ogen niet aan.
- Teleprompter - agressievere correctie voor een klant die hun ogen overal op het scherm scant terwijl ze teleprompter-inhoud lezen.
- Automatische kadrering: Detecteert een persoon in het beeldveld van de camera en snijdt bij/inzoomt om deze in te kaderen.
- Portretlicht: Verbeter de kwaliteit van de belichting op de persoon in de video in een slecht verlichte omgeving, verwijder sterke schermlichtspiegeling.
- Creatieve filters: Videofilters om wat leuke effecten en flair toe te voegen.
Notitie
NP's met een lagere capaciteit bieden mogelijk ondersteuning voor Standard Blur, maar niet 'Portrait Blur' vanwege rekenbeperkingen. Wanneer een apparaat zowel Standaard- als Portretvervaging ondersteunt, wordt de gebruikersinterface weergegeven als een aan/uit-wisselknop voor 'Achtergrondeffecten' met een keuzerondje tussen 'Standaardvervaging' en 'Portretvervaging'. Wanneer een systeem alleen standaardvervaging ondersteunt, wordt de gebruikersinterface weergegeven als een aan/uit-wisselknop voor 'Achtergrondvervaging'. Daarnaast kunnen NPU's met een lagere capaciteit wel "Standard", maar niet "Teleprompter" oogcontacteffecten ondersteunen, waarbij de UI een aan/uit-schakelaar met een keuzerondje-selectie biedt, inclusief het "Teleprompter"-effect wanneer dit wordt ondersteund.
Ondersteunde Windows-Studio Effects voor de geïntegreerde microfoon zijn onder andere:
- Voice Focus: een microfooneffect dat is ontworpen om achtergrondgeluiden uit te filteren, zodat uw stem duidelijk doorkomt tijdens videogesprekken.
Windows Studio Effects-architectuur
Wanneer een camera wordt gekozen voor het gebruik van Windows Studio Effects, wordt het Windows Studio Effects-pakket aan het einde van de camera gekoppeld. Dit gebeurt transparant zodat de 'echte' camera wordt vervangen door een 'samengestelde' camera die bestaat uit de functies van de camera plus de AI-effecten van Windows Studio. De eindgebruiker ziet nog steeds alleen de echte camera, maar Windows Studio Effects zijn nu beschikbaar namens die camera.
De "Real" camera bevat Kernel Streaming (KS) eigenschappen, zoals Helderheid, Contrast en andere door Microsoft geïmplementeerde eigenschappen, evenals alle klanteigenschappen die door het stuurprogramma van de apparaatfabrikant (OEM) zijn geïmplementeerd.
Aangezien Windows Studio Effects altijd het laatste item in de keten is, kunnen toepassingen worden verzekerd dat als Windows Studio Effects is ingeschakeld voor een camera, dat de eigenschappen Background Blur, Eye Contact en Automatic Frame KS die door de camera zijn geïmplementeerd, worden geleverd door Windows Studio Effects.
Wanneer de camera niet is aangemeld bij voor het gebruik van Windows Studio Effects, zien alle apps die toegang hebben tot de camera alleen de eigenschappen 'Echte' camera KS (Helderheid, Contrast, enzovoort).
Wanneer de camera is aangemeld bij voor het gebruik van Windows Studio Effects, kunnen alle apps die toegang hebben tot de camera, de beide eigenschappen van de camera zien, naast de eigenschappen van Windows Studio Effects KS die AI-effecten vertegenwoordigen, zoals achtergrondvervaging, oogcontact, enzovoort.
In het geval van een tweede implementatie van dezelfde KS-eigenschap lager in de keten (bijvoorbeeld een DMFT van de OEM- implementeert ook achtergrondvervaging), die implementatie blijft UITGESCHAKELD omdat de standaardwaarde voor de eigenschap Blur KS is UITGESCHAKELD. Wanneer Blur is ingeschakeld voor de camera, verwerkt Windows Studio die aanvraag intern en stuurt deze niet door naar andere onderdelen (DMFTs, AVStream-stuurprogramma, enzovoort).
Met deze aanpak kunnen apparaatfabrikanten (OEM's, zoals Dell of Lenovo en IHD's, zoals Intel, AMD of NVIDIA) hun eigen cameraverwerkingsfuncties binnen hun DMFT's implementeren of rechtstreeks in de camera voordat Windows Studio de standaard Windows AI-ervaringen toevoegt.
App-integratie met Windows Studio Effects
Wanneer een toepassing Gebruikmaakt van Windows-API's om de camerastream te starten, stelt Windows de huidige waarde van de eigenschap Kernel Streaming (KS) in op de standaardwaarde die is opgegeven in de Windows Studio Effects Camera-instellingen voordat controle wordt overgedragen aan de toepassing. Door overeen te komen met de standaardwaarde die is opgegeven in Camera-instellingen, zal de camera altijd beginnen met een bekende status.
Wanneer u integreert met Windows Studio Effects, kan een toepassing het volgende doen:
- Accepteer altijd de standaardinstelling van het systeem : gebruiker bepaalt basisinstellingen (bijvoorbeeld. Helderheid) in de camera-instellingen, deze waarde toepassen zonder in-app-besturingselementen.
- Begin bij de systeemstandaard, maar de gebruiker kan in realtime aanpassingen doen - De gebruiker kan de camera-instellingen aanpassen tijdens het gebruik van de app (bijvoorbeeld met een helderheidsschuifregelaar in de app) zonder de systeemstandaardinstellingen te wijzigen. De gebruiker kan ervoor kiezen om de camera-instelling in de app op te slaan om een nieuwe standaardinstelling tot stand te brengen.
Als de toepassing al een waarde heeft geschreven naar een KS-eigenschap die ook een standaardwaarde heeft ingesteld op de pagina Instellingen voordat de stream wordt gestart, slaat Windows de standaardwaarde van de gebruiker over bij het starten van de stream. Als de standaardhelderheid van de gebruiker bijvoorbeeld is ingesteld op 60, maar de app de huidige waarde van helderheid instelt op 65 voordat de stream wordt gestart, begint de camera met helderheid bij 65 in plaats van 60.
Notitie
Sommige besturingselementen zijn zo'n integraal onderdeel van de app-ervaring, dat de app mogelijk altijd de standaardwaarde van het systeem wil overschrijven. Microsoft Teams doet dit bijvoorbeeld met achtergrondeffecten. Ongeacht of de gebruiker de vervagingseffecten globaal heeft ingeschakeld of uitgeschakeld op de pagina met camera-instellingen, is de optie voor achtergrondeffecten zichtbaar wanneer u bij een gesprek in Teams deelneemt, en de in de gebruikersinterface van die app geselecteerde waarde wordt toegepast. Teams maakt op intelligente wijze gebruik van de NPU-versnelde achtergrondsegmentatie van Windows Studio om de achtergrondvervaging/vervangingseffecten toe te passen.
Ongeacht welke ervaring uw app biedt, is het altijd een goed idee om een knop/hyperlink in de app op te geven om de app Camera-instellingen te starten. De camera-instellingen zijn toegankelijk via deze koppeling: ms-settings
Camera-instellingen voor een specifieke camera kunnen worden gestart met deze link-structuur: ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>
Zie de GitHub-opslagplaats voor Windows-Camera voor een volledig codevoorbeeld van een app die communiceert met Windows Studio Effects via camera-API's.
Voorbeeldcodefragment voor het aanroepen van camera-instellingen voor een specifieke camera
// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name
private async void Button_Click(object sender, RoutedEventArgs e)
{
// Hard coded for this example, one can use DeviceInformation and/or
// MediaCapture VideoDeviceController.Id to get the symbolic link
string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" +
Uri.EscapeDataString(symlink) ));
}
Dit is beschikbaar in Windows 11, versie 22H2 en hoger. Als u in oudere versies van Windows 11 deze ms-settings koppeling aanroept, wordt de gebruiker naar de hoofdpagina Camera-instellingen geleid.
Extra camera-instellingen toepassen
Nadat de camerastream is ingesteld op een bekende status, is een toepassing welkom om een query uit te voeren en verdere configuratie toe te passen, zodat nieuwe KS-eigenschapswaarden naar de camera worden geschreven als dat nodig is. Als een klant een app gebruikt die niet op de hoogte is van specifieke camerabesturingselementen (bijvoorbeeld Helderheid of Achtergrond vervagen), blijven de instellingen van die besturingselementen die de gebruiker in de camera-instellingen heeft opgegeven, van toepassing op de app. Maar als een klant gebruikmaakt van een app die op de hoogte is van deze besturingselementen, kan de app de huidige waarde van deze besturingselementen wijzigen tijdens het gebruik van de camera.
Toepassingen mogen de standaardwaarde van besturingselementen niet wijzigen. Deze voorzorgsmaatregel zorgt ervoor dat de ene app het gedrag van andere apps die gebruikmaken van de camera niet wijzigt. Standaardwaarden kunnen alleen worden gewijzigd vanuit de app Camera-instellingen.
In Windows 11, versie 22H2, kunnen klanten met een apparaat met ondersteuning voor Windows Studio Effects de effecten rechtstreeks vanaf de pagina Camera-instellingen in- en uitschakelen, naast andere algemene instellingen voor hun camerahardware.
Richtlijnen voor windows-hardwarefabrikant
Original Equipment Manufacturers (OEM's) die hardware ontwerpen met de nieuwste Windows 11-functies zich kunnen aanmelden voor het gebruik van Windows Studio Effects.
Probleemoplossing
Uw Windows-app heeft mogelijk bestaande in-app-functionaliteit die overlapt met de AI-effecten die zijn toegepast op uw camera door Windows Studio Effects (bijvoorbeeld Achtergrondvervaging). Als de app Camera-instellingen de status van de door de camera geleverde effecten niet beheert, kan uw in-app-functionaliteit niet worden gesynchroniseerd, waardoor gebruikerservaringsproblemen ontstaan.
Overlappende effecten voorkomen
Overweeg een app die een achtergrondvervaging biedt, draaiend op een systeem waarop de camera ook de achtergrondvervaging KS-eigenschap ondersteunt die wordt toegepast door Windows Studio Effects en de Camera-instellingen app.
Als de klant achtergrondvervaging heeft ingeschakeld OP in de app Instellingen voor Windows Camera, wordt het door de camera geleverde effect toegepast wanneer de camera wordt gestart. Vervolgens zou de in-app vervagingscontrole worden weergegeven als UIT, hoewel er duidelijk een vervagend effect is ingeschakeld, of als AAN met een dubbele vervaging (de vervaging van de camera plus het vervagende effect van uw app), waardoor bronnen worden verspild.
Wanneer u op een ondersteund apparaat werkt, raden we u aan om rechtstreeks gebruik te maken van Windows Studio Effects om hoogwaardige effecten te leveren met lagere systeembronnen en impact op de levensduur van de batterij. Op deze manier blijven de klanten, wanneer zij gebruikmaken van uw in-app besturingselementen, direct gesynchroniseerd met de Windows-Studio Effects-functies van de camera zelf. Zie de sectie App-integratie met Windows Studio Effects hierboven voor stappen voor het instellen van deze synchronisatie en het voorkomen van dit overlappingsprobleem.
Als uw app wordt uitgevoerd op een apparaat dat ondersteuning biedt voor Windows Studio Effects, maar u effecten liever door een andere service van derden laat toepassen (of helemaal niet wilt toepassen), moet u het conflicterende Windows Studio Effectsuitschakelen.
Windows Studio Effectsuitschakelen:
- Controleer op de aanwezigheid van overlappende KS-eigenschappen.
- Als overlappende eigenschappen aanwezig zijn, stelt u deze in op UIT bij het starten van de camera.
Als u er bijvoorbeeld voor wilt zorgen dat de vervagingsfunctie op cameraniveau uit, controleert u of de camera KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATIONbiedt en als dat het geval is, controleer of deze is ingesteld op KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.
De toezegging van Microsoft voor verantwoorde AI
Om ervoor te zorgen dat Windows Studio Effects betrouwbaar, veilig en op verantwoorde wijze is gebouwd, wordt gebruikgemaakt van modellen die tijdens de ontwikkeling uitgebreid zijn geëvalueerd, begeleid en getraind door fairness-tests.
Daarnaast bevat de gegevensset die door Creatieve filters wordt gebruikt 3.000 handgetekende portretten van gebruikers van verschillende leeftijden, geslachten en rassen, die elk zijn getekend om te voldoen aan een stijlgids die is gemaakt op basis van een studie van gebruikersvoorkeuren. Voor Teleprompter- en Creative-filters werd grote aandacht besteed aan de productfunctionaliteit voor mensen met unieke oogkenmerken.