Resumo do Windows Studio Effects (Pré-visualização)
O Windows Studio Effects utiliza IA em dispositivos Windows selecionados com Unidades de Processamento Neural (NPUs) compatíveis para aplicar efeitos especiais à câmera do dispositivo (atualmente suporta câmera frontal) ou microfone integrado. Os efeitos de IA apoiados pela NPU incluem:
- Desfoque de fundo
- Contacto visual
- Enquadramento automático
- Foco na Voz
- Luz de retrato
- Filtros criativos
- Teleprompter de contato visual
Windows Studio Effects lista de aprimoramentos de IA.
Pré-requisitos
- Windows 11, versão 22H2 ou mais recente (Build 22623.885+).
- O dispositivo deve ter uma NPU suportada e o fabricante do hardware deve ter optado por instalar o driver do Windows Studio Effect no sistema.
Como é que o Windows Studio Effects funciona com o hardware do seu dispositivo?
O Windows Studio Effects aproveita modelos de IA criados pela Microsoft e compilados/otimizados para dispositivos com uma Unidade de Processamento Neural (NPU) para oferecer efeitos de IA de alta fidelidade e fáceis de bateria que reduzem a carga sobre a CPU e a GPU do dispositivo e fornecem uma experiência de IA confiável da Microsoft que pode ser dimensionada em todo o ecossistema Windows para qualquer dispositivo compatível.
O Windows Studio Effects padroniza interfaces de controle para a câmera e o microfone do dispositivo (propriedades e APIs do Kernel Streaming). Usando essa interface de controle, qualquer aplicativo pode:
- Descubra se os efeitos são suportados
- Ativar ou desativar efeitos conforme necessário
- Aceda a quaisquer metadados disponíveis
Os efeitos são aplicados no nível de hardware para a câmera (ou microfone), portanto, assim que um efeito é ativado no Windows Studio Effects, ele fica ativado por padrão para qualquer aplicativo que use a câmera, mesmo que o aplicativo não saiba sobre o efeito.
Saiba mais sobre os detalhes de como isso funciona no Windows Studio Effects Architecture.
Como controlar o Windows Studio Effects em Configurações
O Windows Studio Effects pode ser aberto a partir da barra de tarefas (como exibido na imagem acima), mas também pode ser controlado a partir do menu Configurações.
- Abra Definições>dispositivos & Bluetooth>Câmaras, e em seguida, selecione da lista de Câmaras conectadas e abra as definições dessa câmara.
- Você verá uma visualização da tela da câmera frontal e os Efeitos de câmera listados abaixo dela.
O aplicativo Configurações da câmera é um novo recurso no Windows 11 que permite que os clientes visualizem todas as câmeras em seu sistema, selecionando os valores "padrão" preferidos de um conjunto de controles por câmera, por usuário e por máquina.
A aplicação Definições da Câmara pode ajustar controlos básicos, como Brilho e Contraste, mas também efeitos do Windows Studio, como Desfoque de Fundo e Contacto Visual.
A aplicação Definições da câmara também suporta extensibilidade através de aplicações complementares fornecidas pelos fabricantes de câmaras. Esses aplicativos complementares permitem que os fabricantes de dispositivos ofereçam sua própria interface de usuário personalizada para ajustar as configurações da câmera e/ou forneçam controles para efeitos de câmera personalizados adicionais (por exemplo, uma alternância de ligar/desligar para um efeito "Funny Hat" fornecido pelo fabricante da câmera).
Os Windows Studio Effects suportados para a câmara frontal integrada incluem:
-
Efeitos de fundo: Dois modelos suportados...
- Desfoque Padrão - um efeito de desfoque gaussiano simples.
- Portrait Blur - um efeito de desfoque sutil no estilo bokeh. Dependendo da capacidade do dispositivo, pode ser sutil ou um desfoque baseado em profundidade.
-
Eye Contact: Dois modelos suportados...
- padrão - correção sutil para um usuário de dispositivo olhando para baixo da câmera para a tela. *Não ajusta o movimento esquerdo ou direito dos olhos.
- Teleprompter - correção mais agressiva para um cliente que escaneia os olhos ao redor da tela enquanto lê o conteúdo do teleprompter.
- de enquadramento automático: deteta uma pessoa no campo de visão da câmera e corta / amplia para mantê-la enquadrada.
- Luz de retrato: Melhorar a qualidade da iluminação sobre a pessoa no vídeo num ambiente pouco iluminado, remover o reflexo forte da luz do ecrã.
- Filtros criativos: Filtros de vídeo para adicionar um pouco de diversão e brilho.
Observação
NPUs de baixa capacidade podem suportar "Desfoque padrão", mas não "Desfoque retrato" devido a limitações nas capacidades de computação. Quando um dispositivo suporta desfoque padrão e desfoque retrato, a interface do usuário é exibida como um alternador On/Off para "Efeitos de plano de fundo" com uma opção de seleção de botão rádio entre "Desfoque padrão" e "Desfoque retrato". Quando um sistema suporta apenas desfoque padrão, a interface do usuário é exibida como um botão Ligar/Desligar para "Desfoque de fundo". Além disso, NPUs de baixa capacidade podem suportar efeitos de contato visual "Padrão", mas não "Teleprompter", com a interface do usuário oferecendo uma alternância On/Off através de um botão de opção, incluindo o efeito "Teleprompter" quando suportado.
O Windows Studio Effects suportado para o microfone integrado inclui:
- Voice Focus: um efeito de microfone concebido para filtrar o ruído de fundo, garantindo que a sua voz passa claramente durante as videochamadas.
Arquitetura do Windows Studio Effects
Quando uma câmera é configurada para usar o Windows Studio Effects, o pacote do Windows Studio Effects é acrescentado ao final da configuração da câmera. Isso acontece de forma transparente para que a câmera "real" seja substituída por uma câmera "composta" que consiste nos recursos da câmera mais os efeitos de IA do Windows Studio. O cliente final ainda vê apenas a câmera "real", mas a funcionalidade Studio Effects do Windows agora está disponível para essa câmera.
A câmera "Real" inclui propriedades de Kernal Streaming (KS), como Brilho, Contraste e outras propriedades implementadas pela Microsoft, bem como quaisquer propriedades do cliente implementadas pelo driver do fabricante do dispositivo (OEM).
Como o Windows Studio Effects é sempre o último item da cadeia, os aplicativos podem ter certeza de que, se o Windows Studio Effects estiver habilitado para uma câmera, as propriedades Desfoque de plano de fundo, Contato visual e Enquadramento automático KS implementadas pela câmera são fornecidas pelo Windows Studio Effects.
Quando a câmera não está configurada para usar o Windows Studio Effects, quaisquer apps a acederem a câmera terão apenas acesso às propriedades KS da câmera "real" (Brilho, Contraste, etc).
Quando a câmera é ativada para usar o Windows Studio Effects, qualquer aplicação que aceda à câmera pode ver tanto as propriedades KS da câmera "real" como as propriedades KS do Windows Studio Effects que representam efeitos de inteligência artificial, como desfoque de fundo, contacto visual, etc.
No caso de uma segunda implementação da mesma propriedade KS mais baixa na cadeia (por exemplo, um DMFT do OEM também implementa o efeito de desfoque de fundo), essa implementação permanecerá OFF, uma vez que o valor padrão para a propriedade Blur KS é OFF. Quando o Desfoque está ativado para a câmara, o Windows Studio processa esse pedido internamente e não o encaminha para cima na cadeia para outros componentes (DMFTs, driver AVStream, etc.).
Essa abordagem permite que os fabricantes de dispositivos (OEMs, como Dell ou Lenovo, e IHVs, como Intel, AMD ou NVIDIA) implementem seus próprios recursos de processamento de câmera em seus DMFTs ou diretamente na câmera antes que o Windows Studio adicione as experiências padrão de IA do Windows a ele.
Integração de aplicações com o Windows Studio Effects
Sempre que qualquer aplicativo usar APIs do Windows para iniciar o fluxo da câmera, o Windows definirá o valor atual da propriedade Kernel Streaming (KS) para corresponder ao valor padrão especificado nas Configurações da câmera do Windows Studio Effects antes de entregar o controle ao aplicativo. Ao corresponder ao valor padrão especificado em Configurações da câmera, a câmera sempre iniciará em um estado conhecido.
Ao integrar-se com o Windows Studio Effects, um aplicativo pode:
- Sempre aceite o padrão do sistema - O usuário determina as configurações básicas (ou seja, Brilho) nas Configurações da câmera, aplicando esse valor sem nenhum controle no aplicativo.
- Iniciar no padrão do sistema, mas o usuário ajusta em tempo real - O usuário pode ajustar as configurações da câmera enquanto usa o aplicativo (ou seja, um controle deslizante de brilho dentro do aplicativo) sem alterar o padrão do sistema. O usuário pode optar por salvar a configuração da câmera no aplicativo para estabelecer uma nova configuração padrão.
Se o aplicativo já tiver gravado um valor em uma propriedade KS que também tenha um valor padrão definido na página Configurações antes de iniciar o fluxo, o Windows ignorará a aplicação do valor padrão do usuário ao iniciar o fluxo. Por exemplo, se o brilho padrão do usuário estiver definido como 60, mas o aplicativo definir o valor atual de brilho como 65 antes de iniciar o fluxo, a câmera começará com brilho em 65 em vez de 60.
Observação
Alguns controlos são uma parte tão integrante da experiência da aplicação, que esta pode querer sempre substituir o padrão do sistema. Por exemplo, o Microsoft Teams faz isso com efeitos em segundo plano. Independentemente de o usuário habilitar ou desabilitar o desfoque globalmente na página Configurações da câmera, o controle Efeitos em segundo plano fica visível ao ingressar em uma chamada no Teams e o valor selecionado na interface do usuário do aplicativo será aplicado. Nos bastidores, o Teams aproveita de forma inteligente a segmentação em segundo plano acelerada por NPU do Windows Studio para aplicar os efeitos de desfoque/substituição de plano de fundo.
Independentemente da experiência que seu aplicativo oferece, é sempre uma boa ideia fornecer um botão/hiperlink no aplicativo para iniciar o aplicativo Configurações da câmera. As configurações da câmera podem ser acessadas com este link: ms-settings
As configurações da câmera para uma câmera específica podem ser iniciadas com este formato de link: ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>
Consulte a
Trecho de código de exemplo para invocar as Configurações da câmera para uma câmera específica
// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name
private async void Button_Click(object sender, RoutedEventArgs e)
{
// Hard coded for this example, one can use DeviceInformation and/or
// MediaCapture VideoDeviceController.Id to get the symbolic link
string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" +
Uri.EscapeDataString(symlink) ));
}
Isto está disponível no Windows 11, versão 22H2 e mais recente. Em versões mais antigas do Windows 11, invocar este link ms-settings levará o usuário à página raiz Configurações da câmera.
Aplicar configurações adicionais da câmera
Depois de definir o fluxo da câmera para um estado conhecido, um aplicativo pode consultar e aplicar configurações adicionais, definindo novos valores de propriedade KS na câmera, conforme necessário. Se um cliente usar um aplicativo que não esteja ciente de controles específicos da câmera (por exemplo, Brilho ou Desfoque de fundo), as configurações desses controles especificadas pelo usuário nas Configurações da câmera ainda serão aplicadas ao aplicativo. Mas, se um cliente usa um aplicativo que está ciente desses controles, o aplicativo é capaz de alterar o valor atual desses controles enquanto usa a câmera.
Os aplicativos não têm permissão para alterar o valor padrão dos controles. Essa precaução garante que um aplicativo não altere o comportamento de outros aplicativos que usam a câmera. Os padrões só podem ser alterados no aplicativo Configurações da câmera.
No Windows 11, versão 22H2, os clientes que têm um dispositivo compatível com o Windows Studio Effects podem ativar/desativar os efeitos diretamente na página Configurações da câmera, juntamente com outras configurações comuns para o hardware da câmera.
Diretrizes dos fabricantes de hardware para Windows
Fabricantes de Equipamento Original (OEMs) que projetam hardware com os recursos mais recentes do Windows 11 podem optar por utilizar o Windows Studio Effects.
Solução de problemas
Seu aplicativo do Windows pode ter funcionalidade existente no aplicativo que se sobrepõe aos efeitos de IA aplicados à sua câmera pelo Windows Studio Effects (por exemplo, Desfoque de plano de fundo). Se a aplicação de Configurações da Câmara não gerir o estado dos efeitos fornecidos pela câmara, a funcionalidade na aplicação pode desincronizar, causando problemas na experiência do utilizador.
Como evitar efeitos sobrepostos
Considere um aplicativo que oferece um recurso de de desfoque de plano de fundo, que é executado num sistema em que a câmera também suporta a propriedade KS de desfoque de plano de fundo aplicada pelo Windows Studio Effects e pelo aplicativo Configurações da câmera.
Se o cliente ativou o Desfoque de fundo no aplicativo Configurações da câmera do Windows, o efeito fornecido pela câmera será aplicado quando a câmera for iniciada. Em seguida, o controle de desfoque no aplicativo seria exibido como OFF apesar de um efeito de desfoque estar claramente ativado, ou como ON com um desfoque duplo (o desfoque da câmera mais o efeito de desfoque do seu aplicativo), desperdiçando recursos.
Ao executar em um dispositivo compatível, recomendamos aproveitar diretamente o Windows Studio Effects para oferecer efeitos de alta fidelidade com recursos do sistema mais baixos e impacto na vida útil da bateria. Dessa forma, quando um cliente interage com seus controles no aplicativo, eles são sincronizados diretamente com os recursos de Studio Effects do Windows da própria câmera. Consulte a seção Integração do aplicativo com o Windows Studio Effects acima para obter etapas sobre como configurar essa sincronização e evitar esse problema de sobreposição.
Se a sua aplicação estiver a ser executada num dispositivo que suporte o Windows Studio Effects, mas preferir que os efeitos sejam aplicados por outro serviço de terceiros (ou não sejam aplicados), deve desativar o Windows Studio Effectsconflituoso .
Para desativar o Windows Studio Effects:
- Verifique se há propriedades KS sobrepostas.
- Se estiverem presentes propriedades sobrepostas, defina-as para OFF ao iniciar a câmara.
Por exemplo, se pretender garantir que a funcionalidade de desfocagem ao nível da câmara está desligada, verifique se a câmara possui a funcionalidade KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATIONe, em caso afirmativo, certifique-se de que a configuração está definida para KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.
O compromisso da Microsoft com a IA responsável
Para garantir que o Windows Studio Effects seja confiável, seguro e construído de forma responsável, ele usa modelos que foram extensivamente avaliados, guiados e treinados por testes de equidade durante todo o desenvolvimento.
Além disso, o conjunto de dados usado pelos filtros Creative inclui 3.000 retratos desenhados à mão de usuários de várias idades, gêneros e raças, cada um desenhado para aderir a um guia de estilo que foi criado com base em um estudo das preferências do usuário. Para os filtros Teleprompter e Creative, foi dada grande consideração à funcionalidade do produto para pessoas com características oculares únicas.