Omówienie Studio Effects systemu Windows (wersja zapoznawcza)
System Windows Studio Effects korzysta ze sztucznej inteligencji na wybranych urządzeniach z systemem Windows z zgodnymi jednostkami przetwarzania neuronowego (NPU), aby zastosować efekty specjalne do aparatu urządzenia (obecnie obsługuje aparat przedni) lub wbudowany mikrofon. Efekty sztucznej inteligencji wspierane przez NPU obejmują:
- Rozmycie tła
- Kontakt wzrokowy
- Automatyczne framowanie
- Fokus głosu
- Światło portretowe
- Filtry twórcze
- Teleprompter kontaktu wzrokowego
listę ulepszeń sztucznej inteligencji systemu Windows Studio Effects.
Warunki wstępne
- Windows 11, wersja 22H2 lub nowsza (kompilacja 22623.885+).
- Urządzenie musi mieć obsługiwaną NPU, a producent sprzętu musi to zatwierdzić, instalując sterownik Windows Studio Effect w tym systemie.
W jaki sposób system Windows Studio Effects współpracuje ze sprzętem urządzenia?
System Windows Studio Effects wykorzystuje modele sztucznej inteligencji utworzone przez firmę Microsoft i skompilowane/zoptymalizowane pod kątem urządzeń z jednostką przetwarzania neuronowego (NPU) w celu zapewnienia wysokiej wierności, przyjaznych dla baterii efektów sztucznej inteligencji, które zmniejszają obciążenie procesora CPU i procesora GPU urządzenia oraz zapewniają zaufane środowisko sztucznej inteligencji firmy Microsoft, które skaluje się w całym ekosystemie systemu Windows dla wszystkich zgodnych urządzeń.
System Windows Studio Effects standaryzuje interfejsy sterowania urządzeniami dla aparatu i mikrofonu (właściwości kernela związane z przesyłaniem strumieniowym i interfejsy API). Za pomocą tego interfejsu sterującego dowolna aplikacja może wykonywać następujące czynności:
- Sprawdź, czy efekty są obsługiwane
- Włącz lub wyłącz efekty zgodnie z potrzebami
- Uzyskiwanie dostępu do wszystkich dostępnych metadanych
Efekty są stosowane na poziomie sprzętu aparatu (lub mikrofonu), więc po włączeniu efektu w systemie Windows Studio Effectsjest on domyślnie włączony dla każdej aplikacji korzystającej z aparatu, nawet jeśli aplikacja nie wie o tym efektu.
Dowiedz się więcej o szczegółach tego, jak to działa w architekturze Windows Studio Effects.
Jak kontrolować Studio Effects systemu Windows w ustawieniach
Okno Studio Effects można otworzyć z paska zadań (jak pokazano na powyższym obrazie), ale można nim również zarządzać z menu Ustawienia.
- Otwórz Ustawienia>urządzenia & Bluetooth>Camera, a następnie wybierz z listy Połączonych aparatów i otwórz ustawienia dla tego aparatu.
- Zobaczysz podgląd wyświetlacza przedniej kamery oraz efekty kamery na liście.
zrzut ekranu ustawień aparatu 
Aplikacja Ustawienia aparatu jest nową funkcją w systemie Windows 11, która umożliwia klientom wyświetlanie wszystkich kamer w systemie, wybranie preferowanych wartości "domyślnych" z zestawu kontrolek dla poszczególnych aparatów, na użytkownika, na maszynę.
Aplikacja Ustawienia aparatu może dostosować podstawowe kontrolki, takie jak Jasność i Kontrast, ale także efekty programu Windows Studio, takie jak Rozmycie tła i Kontakt oczu.
Aplikacja Ustawienia aparatu obsługuje również rozszerzalność za pośrednictwem aplikacji towarzyszących dostarczonych przez producentów aparatów fotograficznych. Te aplikacje towarzyszące umożliwiają producentom urządzeń oferowanie własnego niestandardowego interfejsu użytkownika w celu dostosowania ustawień aparatu i/lub zapewnienia kontrolek dodatkowych niestandardowych efektów aparatu (na przykład przełącznik włączony/wyłączony dla efektu "Funny Hat" dostarczonego przez producenta aparatu).
Obsługiwane systemy Windows Studio Effects dla zintegrowanej przedniej kamery obejmują:
-
efekty tła: dwa obsługiwane modele...
- Standard Blur - proste rozmycie Gaussowskie.
- rozmycie portretowe - subtelny efekt rozmycia w stylu bokeh. W zależności od możliwości urządzenia może to być subtelne lub rozmycie oparte na głębokości.
-
kontakt wzrokowy: dwa obsługiwane modele...
- Standard — subtelna korekta dla użytkownika urządzenia patrzącego z kamery na ekran. *Nie dostosowuje lewego lub prawego ruchu oczu.
- teleprompter - bardziej agresywna korekta dla klienta skanującego oczy na całym ekranie podczas odczytywania zawartości teleprompter.
- Automatyczne kadrowanie: wykrywa osobę w polu widzenia kamery i przycina/powiększa, aby utrzymać ją w kadrze.
- Światło portretowe: Popraw jakość oświetlenia osoby w wideo w słabo oświetlonym otoczeniu, usuń silne odbicie światła ekranu.
- Kreatywne filtry: filtry wideo, aby dodać trochę zabawy i efektów.
Notatka
Jednostki NPU o niższej pojemności mogą obsługiwać "Rozmycie standardowe", ale nie "Rozmycie portretowe" z powodu ograniczeń obliczeniowych. Gdy urządzenie obsługuje zarówno rozmycie standardowe, jak i portretowe, interfejs użytkownika wyświetla przełącznik Wł./Wył. dla opcji "Efekty tła", wraz z wyborem przycisku radiowego pomiędzy "Rozmyciem standardowym" a "Rozmyciem portretowym". Kiedy system obsługuje tylko rozmycie standardowe, interfejs użytkownika wyświetla przełącznik Włącz/Wyłącz dla funkcji "Rozmycie w tle". Dodatkowo, NPU o niższej mocy mogą obsługiwać efekty "Standard", ale nie "Teleprompter" w zakresie kontaktu wzrokowego, a interfejs użytkownika oferuje przełącznik z opcją włączenia/wyłączenia oraz wyborem przycisku radiowego, obejmującym efekt "Teleprompter", gdy jest obsługiwany.
Obsługiwane Studio Effects systemu Windows dla zintegrowanego mikrofonu obejmują:
- Voice Focus: efekt mikrofonu zaprojektowany do filtrowania szumu w tle, zapewniając, że Twój głos jest słyszalny wyraźnie podczas połączeń wideo.
Architektura Studio Effects systemu Windows
Gdy kamera zostanie włączona do używania systemu Windows Studio Effects, pakiet Windows Studio Effects zostaje połączony na końcu kamery. Dzieje się tak w sposób niewidoczny, aby "prawdziwy" aparat został zastąpiony "złożonym" aparatem składającym się z funkcji aparatu oraz efektów sztucznej inteligencji programu Windows Studio. Klient końcowy nadal widzi tylko "prawdziwą" kamerę, ale Windows Studio Effects stają się teraz dostępne dla tej kamery.
"Kamera 'Realna' zawiera właściwości streamingu jądra (KS), takie jak jasność, kontrast i inne właściwości zaimplementowane przez firmę Microsoft, a także wszelkie właściwości dostosowane przez klienta, implementowane przez sterownik producenta urządzenia (OEM)."
Ponieważ Windows Studio Effects jest zawsze ostatnim elementem w łańcuchu, aplikacje mogą być pewne, że jeśli Windows Studio Effects jest włączony dla aparatu, to właściwości Rozmycia tła, Kontaktu wzrokowego i Automatycznego kadrowania KS, implementowane przez aparat, są dostarczane przez Windows Studio Effects.
Jeśli kamera nie jest skonfigurowana do używania w systemie Windows Studio Effects, wszystkie aplikacje uzyskujące dostęp do kamery zobaczą jedynie właściwości rzeczywistego aparatu KS (Jasność, Kontrast itp.).
Gdy aparatu zostanie wybrana do korzystania z systemu Windows Studio Effects, wszystkie aplikacje, które uzyskują dostęp do aparatu, mogą zobaczyć zarówno właściwości KS aparatu rzeczywistego, jak i właściwości KS systemu Windows Studio Effects KS reprezentujące efekty sztucznej inteligencji, takie jak Blur tła, Kontakt oczu itp.
W przypadku drugiej implementacji tej samej właściwości KS niższej w łańcuchu (na przykład DMFT z OEM implementuje również efekt rozmycia w tle), implementacja pozostanie WYŁĄCZONa, ponieważ wartość domyślna właściwości Blur KS jest wyłączona. Gdy rozmycie jest włączone dla kamery, Windows Studio przetwarza to żądanie wewnętrznie i nie przekazuje go dalej do innych składników (DMFTs, sterownik AVStream itp.).
Takie podejście pozwala producentom urządzeń (OEM, takim jak Dell lub Lenovo, oraz IHV, takim jak Intel, AMD lub NVIDIA) zaimplementować własne funkcje przetwarzania kamer w swoich DMFT lub bezpośrednio w aparacie przed dodaniem standardowych funkcji sztucznej inteligencji systemu Windows.
Integracja aplikacji z systemem Windows Studio Effects
Za każdym razem, gdy aplikacja używa interfejsów API systemu Windows do uruchomienia strumienia aparatu, system Windows ustawi bieżącą wartość dla właściwości strumieniowania jądra (KS), aby dopasować ją do wartości domyślnej określonej w ustawieniach aparatu systemu Windows Studio Effects przed przekazaniem kontroli aplikacji. Dopasowując wartość domyślną określoną w ustawieniach aparatu, aparat zawsze będzie rozpoczynać się w znanym stanie.
Podczas integracji z systemem Windows Studio Effectsaplikacja może wykonywać następujące czynności:
- Zawsze akceptuj domyślne systemu — użytkownik określa podstawowe ustawienia (tj. Jasność) w ustawieniach aparatu, stosując tę wartość bez żadnych kontrolek w aplikacji.
- Domyślne uruchamianie systemu, ale użytkownik dostosowuje się w czasie rzeczywistym — użytkownik może dostosować ustawienia aparatu podczas korzystania z aplikacji (tj. suwaka Jasność w aplikacji) bez zmiany domyślnego ustawienia systemu. Użytkownik może zdecydować się na zapisanie ustawienia aparatu w aplikacji w celu ustanowienia nowego ustawienia domyślnego.
Jeśli aplikacja już zapisał wartość właściwości KS, która ma również wartość domyślną ustawioną na stronie Ustawienia przed uruchomieniem strumienia, system Windows pomija stosowanie wartości domyślnej użytkownika podczas uruchamiania strumienia. Jeśli na przykład domyślna jasność użytkownika jest ustawiona na 60, ale aplikacja ustawia bieżącą wartość jasności na 65 przed rozpoczęciem strumienia, aparat rozpocznie pracę z jasnością ustawioną na 65 zamiast 60.
Notatka
Niektóre kontrolki są tak integralną częścią środowiska aplikacji, że aplikacja może chcieć zawsze zastąpić domyślne ustawienie systemowe. Na przykład usługa Microsoft Teams wykonuje to za pomocą efektów tła. Niezależnie od tego, czy użytkownik włączył lub wyłączył rozmycie globalne na stronie Ustawień aparatu, kontrolka Efekty tła jest widoczna podczas dołączania do wywołania w aplikacji Teams, a wartość wybrana w tym interfejsie użytkownika aplikacji zostanie zastosowana. Zakulisowo Microsoft Teams inteligentnie wykorzystuje akcelerowaną przez NPU segmentację tła Windows Studio do zastosowania efektów rozmycia lub wymiany tła.
Niezależnie od tego, jaką funkcjonalność oferuje aplikacja, zawsze dobrym pomysłem jest udostępnienie w aplikacji przycisku lub hiperlinku umożliwiającego uruchomienie ustawień aparatu. Dostęp do ustawień aparatu można uzyskać za pomocą tego linku: ms-settings
Ustawienia dla określonego aparatu można uruchomić za pomocą następującego formatu linku: ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>
Zobacz repozytorium github windows-camera, aby uzyskać pełny przykład kodu aplikacji współdziałającej z systemem Windows Studio Effects za pośrednictwem interfejsów API aparatu.
Przykładowy fragment kodu w celu wywołania ustawień aparatu dla określonego aparatu
// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name
private async void Button_Click(object sender, RoutedEventArgs e)
{
// Hard coded for this example, one can use DeviceInformation and/or
// MediaCapture VideoDeviceController.Id to get the symbolic link
string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" +
Uri.EscapeDataString(symlink) ));
}
Jest to dostępne w systemie Windows 11 w wersji 22H2 i nowszych. W starszych wersjach systemu Windows 11 wywołanie tego linku ms-settings spowoduje przejście użytkownika do głównej strony Ustawienia aparatu.
Stosowanie dodatkowych ustawień aparatu
Po ustawieniu strumienia aparatu na znany stan, aplikacja może zapytać o dalszą konfigurację i wprowadzać nowe wartości właściwości KS do aparatu w razie potrzeby. Jeśli klient używa aplikacji, która nie obsługuje określonych kontrolek aparatu (na przykład Jasność lub Rozmycie tła), ustawienia tych kontrolek, które użytkownik określił w ustawieniach aparatu, będą nadal miały zastosowanie do aplikacji. Jeśli jednak klient korzysta z aplikacji, która zna te kontrolki, aplikacja może zmienić bieżącą wartość tych kontrolek podczas korzystania z aparatu.
Aplikacje nie mogą zmieniać domyślnej wartości kontrolek. Ten środek ostrożności gwarantuje, że jedna aplikacja nie zmienia zachowania innych aplikacji korzystających z aparatu. Wartości domyślne można zmienić tylko z aplikacji Ustawienia aparatu.
W systemie Windows 11 w wersji 22H2 klienci, którzy mają urządzenie obsługujące system Windows Studio Effects mogą włączać i wyłączać efekty bezpośrednio ze strony Ustawień aparatu, obok innych typowych ustawień sprzętu aparatu fotograficznego.
Wskazówki dotyczące producenta sprzętu systemu Windows
Producenci oryginalnego sprzętu (OEM) projektowania sprzętu z najnowszymi funkcjami systemu Windows 11, mogą wyrazić zgodę na korzystanie z systemu Windows Studio Effects.
Rozwiązywanie problemów
Twoja aplikacja systemu Windows może mieć istniejącą funkcjonalność w aplikacji, która nakłada się na efekty sztucznej inteligencji stosowane do kamery przez Windows Studio Effects (na przykład rozmycie tła). Jeśli aplikacja Ustawienia aparatu nie zarządza stanem efektów dostarczonych przez aparat, funkcja w aplikacji może tracić synchronizację, powodując problemy z doświadczeniem użytkownika.
Jak uniknąć nakładających się efektów
Rozważmy aplikację, która oferuje funkcję rozmycia tła, działającą w systemie, gdzie kamera obsługuje również funkcję Rozmycie tła KS stosowaną przez system Windows Studio Effects i aplikację Ustawienia aparatu.
Jeśli klient włączył blur w tle ON w aplikacji Ustawienia aparatu systemu Windows, efekt dostarczony przez aparat zostanie zastosowany po uruchomieniu aparatu. Następnie, kontrolka rozmycia w aplikacji będzie wyświetlana jako OFF, mimo że efekt rozmycia jest wyraźnie włączony, lub jako ON z podwójnym rozmyciem (rozmyciem aparatu i efektem rozmycia aplikacji), co prowadzi do marnowania zasobów.
W przypadku pracy na obsługiwanym urządzeniu zalecamy bezpośrednie wykorzystanie systemu Windows Studio Effects w celu zapewnienia wysokiej wierności efektów z niższymi zasobami systemowymi i wpływem na żywotność baterii. W ten sposób, gdy klient wchodzi w interakcję z kontrolkami w aplikacji, są one bezpośrednio synchronizowane z funkcjami kamery Studio Effects systemu Windows. Zapoznaj się z sekcją Integracja aplikacji z systemem Windows Studio Effects powyżej, aby uzyskać instrukcje dotyczące konfigurowania tej synchronizacji i uniknięcia tego problemu.
Jeśli aplikacja jest uruchomiona na urządzeniu obsługującym Windows Studio Effects, ale wolisz, aby efekty były stosowane przez inną usługę firmy trzeciej (lub w ogóle nie były stosowane), powinieneś wyłączyć konflikty Windows Studio Effects.
Aby wyłączyć system Windows Studio Effects:
- Sprawdź obecność nakładających się właściwości KS.
- Jeśli właściwości nakładające się są obecne, ustaw je na OFF podczas uruchamiania aparatu.
Jeśli na przykład chcesz upewnić się, że funkcja rozmycia na poziomie aparatu jest poza, sprawdź, czy aparat oferuje KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION, a jeśli tak, upewnij się, że jest ustawiona na KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.
Zobowiązanie firmy Microsoft do odpowiedzialnego używania sztucznej inteligencji
Aby zapewnić, że system Windows Studio Effects jest wiarygodny, bezpieczny i zbudowany w sposób odpowiedzialny, wykorzystuje modele, które były szeroko oceniane, kierowane i trenowane poprzez testy sprawiedliwości w całym procesie programowania.
Ponadto zestaw danych używany przez filtry Creative zawiera 3000 ręcznie rysowanych portretów użytkowników w różnym wieku, płci i ras, z których każdy został narysowany zgodnie z przewodnikiem po stylu, który został utworzony na podstawie badania preferencji użytkowników. W przypadku filtrów Teleprompter i Creative dużą uwagę poświęcono funkcjonalności produktu, z myślą o osobach o unikatowych cechach oczu.