Přehled windows Studio Effects (Preview)
Windows Studio Effects využívá AI na vybraných zařízeních s Windows s kompatibilními jednotkami NPU (Neural Processing Units) k použití speciálních efektů na fotoaparát zařízení (aktuálně podporuje přední kameru) nebo integrovaný mikrofon. Mezi efekty AI podporované NPU patří:
- Rozostření pozadí
- Kontakt očima
- Automatické rámování
- Hlasový fokus
- Portrétní osvětlení
- Kreativní filtry
- Teleprompter pro oční kontakt
Windows Studio Effects Seznam vylepšení umělé inteligence.
Požadavky
- Windows 11 verze 22H2 nebo novější (build 22623.885+).
- Zařízení musí mít podporovanou neurální procesorovou jednotku (NPU) a výrobce hardwaru se musí rozhodnout pro instalaci ovladače Windows Studio Effect do systému.
Jak fungují Windows Studio Effects s hardwarem vašeho zařízení?
Windows Studio Effects využívá modely AI vytvořené Microsoftem a kompilované a optimalizované pro zařízení s neurálním procesorem (NPU), které poskytují vysoce věrné efekty AI, které snižují zátěž procesoru a GPU zařízení a poskytují důvěryhodné prostředí Umělé inteligence Microsoftu, které se škáluje napříč celým ekosystémem Windows pro všechna kompatibilní zařízení.
Windows Studio Effects standardizuje řídicí rozhraní pro kameru a mikrofon zařízení (vlastnosti streamování jádra a rozhraní API). Pomocí tohoto řídicího rozhraní může každá aplikace:
- Zjištění, jestli jsou podporované efekty
- Zapnutí nebo vypnutí efektů podle potřeby
- Přístup k dostupným metadatům
Efekty se použijí na úrovni hardwaru fotoaparátu (nebo mikrofonu), takže jakmile je efekt ve Windows Studio Effectszapnutý , je ve výchozím nastavení zapnutá pro libovolnou aplikaci používající kameru, i když aplikace o efektu neví.
Přečtěte si další informace o podrobnostech toho, jak to funguje v rámci Windows Architektura Studio Effects.
Jak ovládat Windows Studio Effects v Nastavení
Windows Studio Effects lze otevřít z hlavního panelu (jak je znázorněno na obrázku výše), ale můžete ho ovládat také z nabídky Nastavení.
- Otevřete Nastavení>zařízení & Bluetooth>Kamerya pak vyberte ze seznamu Připojené kamery a otevřete nastavení pro tuto kameru.
- Zobrazí se náhled předního displeje fotoaparátu a efekty fotoaparátu uvedené pod ním.
Snímek obrazovky nastavení fotoaparátu 
Aplikace nastavení kamery je nová funkce ve Windows 11, která umožňuje zákazníkům zobrazit všechny kamery v systému a vybrat upřednostňované "výchozí" hodnoty ze sady ovládacích prvků pro jednotlivé kamery, uživatele a počítače.
Aplikace Nastavení fotoaparátu může upravovat základní ovládací prvky, jako je jas a kontrast, ale také efekty windows Studio, jako je rozostření pozadí a oční kontakt.
Aplikace Nastavení fotoaparátu také podporuje rozšiřitelnost prostřednictvím doprovodných aplikací poskytovaných výrobci fotoaparátů. Tyto doprovodné aplikace umožňují výrobcům zařízení nabídnout vlastní uživatelské rozhraní pro úpravu nastavení kamery a/nebo poskytnutí ovládacích prvků pro další vlastní efekty fotoaparátu (například přepínač zapnuto/vypnuto pro efekt "Funny Hat", který poskytuje výrobce fotoaparátu).
Podporované systémy Windows s označením Studio Effects pro integrovanou přední kameru zahrnují:
-
efekty pozadí: Dva podporované modely...
- cs-CZ: standardní rozostření - jednoduchý efekt gaussovského rozostření.
- Portrétní rozostření - jemný efekt rozostření ve stylu bokeh. V závislosti na schopnosti zařízení to může být jemné nebo rozostření na základě hloubky.
-
oční kontakt: Dva podporované modely...
- standard – jemná úprava pro uživatele zařízení, když sklouzne pohledem z kamery na obrazovku. *Neupravuje levý ani pravý pohyb očí.
- Teleprompter – výraznější úprava pro zákazníka, který si při čtení obsahu teleprompteru prohlíží oči po celé obrazovce.
- Automatické Rámování: Detekuje osobu v zorném poli kamery a ořezává nebo přibližuje tak, aby zůstala v rámu.
- Portrétní světlo: Zlepšete kvalitu osvětlení osoby ve špatně osvětleném prostředí videa, odstraňte silný odraz světla obrazovky.
- kreativní filtry: Video filtry, které přidávají zábavu a efekty.
Poznámka
Jednotky NPU s nižší kapacitou můžou podporovat "Standardní rozostření", ale ne "Portrétní rozostření" z důvodu omezení výpočetních prostředků. Pokud zařízení podporuje jak standardní rozostření, tak rozostření na výšku, uživatelské rozhraní se zobrazí jako přepínač Zapnuto/Vypnuto pro "Efekty pozadí" s volbou mezi "Standardní rozostření" a "Rozostření na výšku". Pokud systém podporuje pouze standardní rozostření, uživatelské rozhraní se zobrazí jako přepínač Zapnuto/Vypnuto pro rozostření pozadí. NPU s nižší kapacitou může navíc podporovat "Standardní", ale nikoli "Teleprompter" efekt očního kontaktu. Uživatelské rozhraní nabízí přepínač Zapnuto/Vypnuto s volbou rádia, včetně efektu Teleprompteru, pokud je podporován.
Podporované verze Windows Studio Effects pro integrovaný mikrofon zahrnují:
- voice Focus: Mikrofonní efekt navržený tak, aby odfiltruje šum na pozadí a zajišťuje, aby váš hlas během videohovorů prošel jasně.
Architektura windows Studio Effects
Pokud je kamera zvolena pro používání systému Windows Studio Effects, balíček Windows Studio Effects se naváže ke kameře. K tomu dochází transparentně, aby "skutečná" kamera byla nahrazena "složenou" kamerou, která se skládá z funkcí kamery a efektů AI pro Windows Studio. Koncový zákazník stále vidí jenom skutečnou kameru, ale windows Studio Effects jsou nyní k dispozici jménem této kamery.
"Skutečná" kamera zahrnuje vlastnosti pro streamování jádra (KS), jako je jas, kontrast a další vlastnosti implementované Microsoftem, stejně jako jakékoli vlastnosti implementované ovladačem výrobce zařízení (OEM).
Vzhledem k tomu, že Windows Studio Effects je vždy poslední položkou v řetězu, mohou si být aplikace jisté, že pokud je systém Windows Studio Effects povolen pro kameru, vlastnosti Rozostření pozadí, Oční kontakt a Automatické rámování KS implementované kamerou jsou poskytovány systémem Windows Studio Effects.
Pokud se fotoaparátu nepřihlásí k používání windows Studio Effects, všechny aplikace, které přistupují k fotoaparátu, uvidí jenom vlastnosti KS skutečné kamery (Jas, Kontrast atd.).
Když je u kamery zvoleno používání Windows Studio Effects, všechny aplikace, které ke kameře přistupují, mohou vidět jak vlastnosti skutečné kamery KS, tak vlastnosti KS Windows Studio Effects reprezentující efekty AI, jako je rozostření pozadí, nastavení očního kontaktu, atd.
V případě druhé implementace stejné vlastnosti KS níže v řetězci (například, DMFT z OEM také implementuje efekt rozostření pozadí), tato implementace zůstane VYPNUTÁ, protože výchozí hodnota vlastnosti rozostření KS je VYPNUTÁ. Pokud je rozostření u kamery zapnuto, Windows Studio zpracovává požadavek interně a nepředá ho dále do jiných komponent (DMFT, ovladač AVStream atd.).
Tento přístup umožňuje výrobcům zařízení (OEM, jako jsou Dell nebo Lenovo, a IHVs, jako jsou Intel, AMD nebo NVIDIA), implementovat vlastní funkce pro zpracování fotoaparátů v rámci DMFT nebo přímo ve fotoaparátu před tím, než Windows Studio přidá do něj standardní prostředí Windows AI.
Integrace aplikací s Windows Studio Effects
Pokaždé, když každá aplikace ke spuštění streamu fotoaparátu používá rozhraní API systému Windows, systém Windows nastaví aktuální hodnotu vlastnosti Streamování jádra (KS) tak, aby odpovídala výchozí hodnotě zadané v nastavení fotoaparátu systému Windows Studio Effects před předáním kontroly do aplikace. Díky sladění výchozí hodnoty zadané v Nastavení fotoaparátu se fotoaparát bude vždy spouštět ve známém stavu.
Při integraci s Windows Studio Effectsmůže aplikace:
- Vždy přijmout systémové výchozí nastavení – Uživatel určuje základní nastavení (tj. Jas) v nastavení fotoaparátu a tato hodnota se použije automaticky bez jakýchkoli ovládacích prvků aplikace.
- Spustit ve výchozím nastavení systému, ale uživatel upravuje nastavení v reálném čase – Uživatel může upravovat nastavení kamery při používání aplikace (to znamená posuvník jasu v aplikaci), aniž by změnil výchozí nastavení systému. Uživatel se může rozhodnout uložit nastavení fotoaparátu v aplikaci a vytvořit nové výchozí nastavení.
Pokud aplikace již napsala hodnotu do vlastnosti KS, která má také výchozí hodnotu nastavenou ze stránky Nastavení před spuštěním datového proudu, Systém Windows přeskočí použití výchozí hodnoty uživatele při spuštění datového proudu. Pokud je například výchozí jas uživatele nastavený na 60, ale aplikace nastaví aktuální hodnotu jasu na 65 před spuštěním datového proudu, kamera začne jasem 65 místo 60.
Poznámka
Některé ovládací prvky jsou tak nedílnou součástí prostředí aplikace, že aplikace může mít potřebu vždy přepsat výchozí nastavení systému. Například Microsoft Teams to dělá s efekty na pozadí. Bez ohledu na to, jestli uživatel na stránce Nastavení fotoaparátu povolil nebo zakázal rozostření, je ovládací prvek Efekty pozadí viditelný při připojování hovoru v Teams a použije se hodnota vybraná v uživatelském rozhraní aplikace. V zákulisí Teams inteligentně využívá segmentaci pozadí akcelerovanou pomocí NPU ve Windows Studio k aplikaci účinků rozostření či nahrazení pozadí.
Bez ohledu na to, které prostředí aplikace nabízí, je vždy vhodné poskytnout tlačítko nebo hypertextový odkaz v aplikaci, aby se spustila aplikace Nastavení fotoaparátu. K nastavení fotoaparátu se dostanete pomocí tohoto odkazu: ms-settings
Nastavení fotoaparátu pro konkrétní kameru lze spustit pomocí tohoto formátu odkazu: ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>
Podívejte se na úložiště Windows-Camera githubu kompletní ukázku kódu aplikace, která komunikuje s Windows Studio Effects prostřednictvím rozhraní API fotoaparátu.
Ukázkový fragment kódu pro vyvolání nastavení fotoaparátu pro konkrétní kameru
// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name
private async void Button_Click(object sender, RoutedEventArgs e)
{
// Hard coded for this example, one can use DeviceInformation and/or
// MediaCapture VideoDeviceController.Id to get the symbolic link
string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" +
Uri.EscapeDataString(symlink) ));
}
Je k dispozici ve Windows 11 verze 22H2 a novějších verzích. Ve starších verzích Windows 11 se vyvoláním tohoto odkazu ms-settings uživatel přejde na stránku Nastavení kořenové kamery.
Použití dalších nastavení kamery
Po nastavení datového proudu fotoaparátu na známý stav může aplikace provést dotaz a použít další konfiguraci, přičemž podle potřeby zapisuje nové hodnoty vlastností KS do kamery. Pokud zákazník používá aplikaci, která neví o konkrétních ovládacích prvcích fotoaparátu (například Jas nebo Rozostření pozadí), nastavení těchto ovládacích prvků, které uživatel zadaný v nastavení fotoaparátu stále použije pro aplikaci. Pokud ale zákazník používá aplikaci, která o těchto ovládacích prvcích ví, může aplikace při používání fotoaparátu změnit aktuální hodnotu těchto ovládacích prvků.
Aplikace nesmí měnit výchozí hodnotu ovládacích prvků. Toto opatření zajistí, že jedna aplikace nezmění chování ostatních aplikací, které používají kameru. Výchozí hodnoty lze změnit jenom z aplikace Nastavení fotoaparátu.
Ve Windows 11 verze 22H2 můžou zákazníci, kteří mají zařízení podporující Windows Studio Effects zapnout nebo vypnout efekty přímo ze stránky Nastavení fotoaparátu a další běžná nastavení hardwaru fotoaparátu.
Pokyny pro výrobce hardwaru windows
Výrobci originálních zařízení (OEM) navrhování hardwaru s nejnovějšími funkcemi Windows 11, se můžou přihlásit k používání windows Studio Effects.
Řešení problémů
Vaše aplikace pro Windows může mít existující funkce v aplikaci, které se překrývají s efekty AI použitými ve vaší kameře ve Windows Studio Effects (například rozostření pozadí). Pokud aplikace Nastavení fotoaparátu nespravuje stav efektů poskytovaných fotoaparátem, může dojít k nesynchronizaci funkcí v aplikaci a způsobit problémy se zkušenostmi uživatelů.
Jak se vyhnout překrývajícím se efektům
Představte si aplikaci, která nabízí funkci rozostření pozadí , běžící na systému, kde fotoaparát také podporuje vlastnost rozostření pozadí KS , aplikovanou Windows Studio Effects a aplikací pro nastavení fotoaparátu.
Pokud zákazník zapnul rozostření pozadí zapnuto v aplikaci Nastavení fotoaparátu ve Windows, použije se efekt poskytnutý fotoaparátem při spuštění kamery. Potom by se ovládací prvek rozostření v aplikaci zobrazoval buď jako VYPNUTO navzdory jasnému zapnutí rozostření, nebo jako ZAPNUTO s dvojitým rozostřením (rozostření kamery a efekt rozostření aplikace), což plýtvá prostředky.
Při spouštění na podporovaném zařízení doporučujeme přímo využít Windows Studio Effects k zajištění vysoce věrných efektů s nižšími systémovými prostředky a dopadem na životnost baterie. Když zákazník komunikuje s ovládacími prvky v aplikaci, synchronizuje se přímo s funkcemi samotné kamery ve Windows Studio Effects. Postup nastavení této synchronizace a zabránění tomuto překrývání najdete výše v části integrace aplikace s Windows Studio Effects.
Pokud je vaše aplikace spuštěná na zařízení, které podporuje Windows Studio Effects, ale dáváte přednost použití jiné služby třetí strany (nebo vůbec nepoužíváte), měli byste vypnout konfliktní windows Studio Effects.
Vypnutí windows Studio Effects:
- Zkontrolujte přítomnost překrývajících se vlastností KS.
- Pokud jsou přítomny překrývající se vlastnosti, při spuštění fotoaparátu je nastavte na VYPNUTO.
Pokud chcete například zajistit, aby funkce rozostření na úrovni kamery byla vypnuta, zkontrolujte, jestli fotoaparát nabízí KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION, a pokud ano, ujistěte se, že je nastavená na KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.
Závazek Microsoftu k zodpovědné umělé inteligenci
K zajištění důvěryhodnosti, zabezpečení a zodpovědného vytváření windows Studio Effects používá modely, které byly důkladně vyhodnoceny, řízeny a natrénovány testováním nestrannosti v průběhu vývoje.
Kromě toho sada dat používaná kreativními filtry zahrnuje 3 000 ručně nakreslených portrétů uživatelů různých věkových kategorií, pohlaví a ras, přičemž každá sada je určená pro dodržování průvodce stylem vytvořeným na základě studie uživatelských preferencí. Pro Teleprompter a Kreativní filtry byly do produktové funkce pro lidi s jedinečnými vlastnostmi očí vloženy velké pozornosti.