Usar resumo textual (versão prévia)

Este artigo mostra como usar o resumo textual com o Azure AI Video Indexer. Este exemplo usa implantações de modelo OpenAI do Azure.

Observação

Esse recurso só funciona com uma conta padrão. Crie uma conta padrão.

Pré-requisitos

• Revise a visão geral do resumo textual.

Nuvem

• Uma conta do Azure AI Video Indexer conectada a uma conta do Azure OpenAI.

• Acesso permitido ao OpenAI do Azure na assinatura do Azure desejada. No momento, o acesso a esse serviço é permitido somente por aplicativo. Você pode solicitar acesso ao Serviço OpenAI do Azure preenchendo o formulário.

• Uma implantação do Azure OpenAI gpt-35-turbo ou gpt-4 . Para se beneficiar de resumos baseados em quadros-chave, você deve selecionar um modelo de IA aberta do Azure que aceite entrada visual. Leia mais aqui: Modelos do Serviço OpenAI do Azure.

• O filtro Módulos de Prompt para ataques diretos (jailbreak) deve ser adicionado à implantação. Leia mais aqui: Usar filtros de conteúdo (versão prévia) com o Serviço OpenAI do Azure.

• É recomendável configurar filtros de conteúdo nocivo para categorias como "Violência", "Ódio", "Sexual" e "Automutilação". Embora esses filtros não sejam obrigatórios, você deve defini-los como "Médio" ou "Baixo" para filtrar o conteúdo de pelo menos o nível Médio de nocividade. Essa configuração garante que o conteúdo com uma classificação de nocividade média ou superior seja bloqueado. Para maior segurança, você pode optar por uma configuração mais rígida. Depois de configurado, salve as configurações do filtro de conteúdo.

• Um vídeo carregado na biblioteca do Azure AI Video Indexer.

Observação

O Azure AI Video Indexer não consegue se conectar a modelos ajustados.

Edge

O Azure AI Video Indexer habilitado pelo Arc permite que você use o Azure AI Video Indexer em dispositivos de borda. Veja a seguir os requisitos técnicos para este caso de uso:

• Video Indexer Habilitado pelo Arc do número de versão 1.1.23 ou superior.
• Requisitos de hardware: GPU ou CPU Intel. A execução na CPU pode ser muito lenta e não recomendada. Recomendamos o uso da Nvidia V100 ou superior. Se houver vários nós de GPU, você poderá adicionar um seletor de nó para selecionar o nó desejado.
• O uso de quadros-chave como parte do resumo requer Nvidia A100 ou superior.
• O resumo de vídeo textual no Edge usa apenas o modelo Phi3.5. Para obter mais informações sobre hardware, consulte as informações oficiais de lançamento do Phi 3.5.

Abra páginas da web em seu navegador

É mais fácil seguir estas instruções se você já tiver as páginas da web necessárias abertas. Copie e cole os seguintes parâmetros em seu editor de texto favorito. Aqui está uma lista para você começar:

• ID da conta VI:
• ID do arquivo de vídeo:
• Nome da implantação:
• Token de acesso:

1. Abra o portal do Azure em uma guia ou janela e entre.
   1. Navegue até a página da conta do Azure AI Video Indexer para obter a ID da conta.
   2. Navegue até a página da conta do OpenAI do Azure
      1. No menu, selecione Implantações de modelo e, em seguida, selecione Gerenciar implantações. O Azure OpenAI Studio é aberto. Copie o Nome da Implantação que você deseja usar.
2. Abra o portal da Web do Azure AI Video Indexer em outra guia ou janela e entre.
   1. Navegue até a página da biblioteca, escolha um vídeo e clique com o botão direito do mouse nele para obter o ID do arquivo de vídeo.
3. Abra a API do Azure AI Video Indexer em outra guia ou janela e entre.

Web

Gerar um resumo de texto com ou sem quadros-chave

Você pode usar o portal da Web do Azure AI Video Indexer para resumir o texto.

1. Se você ainda não tiver o portal da Web aberto, abra o portal da Web do Azure AI Video Indexer.
2. Carregue um arquivo e aguarde a indexação.
3. Selecione o vídeo para navegar até a página de mídia.
4. Se você quiser usar quadros-chave para produzir o resumo, marque a caixa de seleção Incluir insights visuais de quadro-chave para obter um resumo de melhor qualidade.
5. Selecione Gerar resumo. O resumo textual é gerado.

Observação

Se você não estiver vendo o botão Gerar resumo, talvez esteja usando uma conta de avaliação. Crie uma conta padrão para usar esse recurso.

Personalizações de resumo

Depois que o resumo é gerado, você pode fazer ajustes nele personalizando o estilo do resumo ou alterando a implantação do modelo.

Personalizar o estilo de resumo

Você também pode personalizar o resumo selecionando o ícone Personalizar resumo . Você pode escolher entre os comprimentos de resumo Curto, **Médio ou Longo e pode escolher Neutro, Casual ou Formal como um estilo de resumo. Depois de fazer suas escolhas, selecione Gerar novamente.

Mudar a implantação do modelo

1. Selecione o ícone Personalizar resumo .
2. Selecione a implantação do modelo que você deseja usar na lista suspensa Implantação do modelo.
3. Selecione Gerar novamente.

Observação

Lembre-se de que a implantação do modelo é uma combinação do modelo e dos filtros. Além disso, toda vez que você personaliza o resumo do texto, ele representa uma solicitação PUT da API.

API

Criar um resumo em vídeo

Gerar um token de acesso

Gere um token de acesso no portal do Azure:

1. Navegue até sua conta do Azure AI Video Indexer.
2. No menu, selecione Gerenciamento e API de gerenciamento.
3. Na lista suspensa Tipo de permissão , selecione Colaborador.
4. Na lista suspensa Escopo , selecione Conta.
5. Selecione Gerar. O token de acesso é gerado.
6. Copie o token de acesso para a área de transferência.

Você deve ter todos os parâmetros necessários para criar um resumo de vídeo pronto para uso em seu editor de texto.

1. Na página API do Azure AI Video Indexer, pesquise resumo.
2. Selecione o botão Experimentar ao lado de Criar resumo do vídeo. O painel de parâmetros da API é aberto.
3. Cole o token de acesso na área de transferência no campo accessToken .
4. Selecione o local na lista suspensa de locais .
5. Copie e cole o ID da conta VI no campo accountId .
6. Copie o ID do arquivo de vídeo e cole-o no campo videoId .
7. Escolha o comprimento do resumo, médio, curto ou longo, na lista suspensa de comprimento .
8. Escolha o estilo, neutro, casual ou formal, na lista suspensa de estilos .
9. Selecione Enviar.

Na resposta, há uma ID de resumo. Copie esse ID para a área de transferência.

Obtenha um resumo em vídeo

Primeiro, verifique o status do resumo. Até que o trabalho de resumo seja concluído, o valor do estado mostra "Processando", mas não há nenhum resumo na resposta. Quando o trabalho de resumo é concluído, o resumo é exibido na resposta.

1. Selecione GET Video Summary.
2. Insira o ID da conta, o ID do vídeo, o ID do resumo e o token de acesso nos campos apropriados.
3. Selecione Enviar.

Observação

Há sempre um aviso disponível na resposta sobre o resumo. Além disso, há um link para a API de status do trabalho no cabeçalho Local .

Listar resumos em vídeo

Você pode listar os resumos em vídeo por página. Selecione Resumos de vídeo da lista GET e use os mesmos parâmetros já descritos . Se houver uma lista grande de resumos, use os parâmetros de página para retornar a resposta em páginas. Use o ID de resumo para a solicitação de resumo de vídeo GET.

Excluir um resumo de vídeo

Excluir o resumo do vídeo é tão simples quanto selecionar DEL Excluir resumo do vídeo, usando os mesmos parâmetros, e selecionar Enviar.

Códigos do Erro

Solicitar	Código de status	Mensagem de erro	Tipo de erro	Motivo	Mitigação
Criar-vídeo-resumo	400	A conta não está conectada ao Azure OpenAI	INVALID_INPUT		Acesse o portal do Azure e conecte uma Conta.
Criar-vídeo-resumo	400	Nenhuma implantação encontrada com este nome: {deploymentName}	INVALID_INPUT		Verifique a cadeia de caracteres do nome da implantação.
Criar-vídeo-resumo	400	Esse modelo não dá suporte à geração de resumos.	INVALID_INPUT		Escolha um modelo diferente
Criar-vídeo-resumo	400	Não foi possível gerar um resumo porque o modelo de IA deve ter filtros de conteúdo adicionados para evitar a exibição de conteúdo prejudicial. " + $"Adicione as seguintes políticas: {string. Join(",", Enum.GetValues<FilterType>(). Where(type => type != FilterType.JailBreak))}." + $"Defina o AllowedContentLevel como pelo menos {AllowedContentLevel.Medium} para ambas as fontes {FilterSource.Prompt} e {FilterSource.Completion}	SUMMARY_FILTERS_NOT_FOUND		Veja a mensagem de erro.
Criar-vídeo-resumo	400	Vídeo não encontrado	VIDEO_NOT_FOUND
Criar-vídeo-resumo	400	A indexação de vídeo ainda não foi concluída com êxito	VIDEO_ALREADY_IN_PROGRESS
Criar-vídeo-resumo	400	Valor de comprimento de resumo inválido '{length}'	INVALID_INPUT
Criar-vídeo-resumo	400	Valor de estilo de resumo inválido '{style}	INVALID_INPUT
Obter resumo do vídeo	200	NA	ND
Obter resumo do vídeo	404	Resumo '{summaryId}' não encontrado para o vídeo '{videoId}'	NOT_FOUND
Obter resumo do vídeo	200	Não foi possível gerar um resumo porque o conteúdo do vídeo foi sinalizado como prejudicial. Veja mais detalhes em Filtros de conteúdo	NA	Todas as seções do vídeo acionaram o filtro de conteúdo.	Não há solução para o vídeo específico.
Obter resumo do vídeo	200	Não há informações suficientes para gerar resumo.	NA	Os insights de vídeo não contêm informações suficientes para criar prompts para o Azure OpenAI	Se a predefinição do vídeo não contiver todos os modelos, a reindexação com uma predefinição mais avançada que contenha áudio pode ajudar.
Obter resumo do vídeo	200	Não foi possível obter implantações do Azure OpenAI para o recurso {_resourceName}
Obter resumo do vídeo	200	A implantação {DeploymentName} não existe
Obter resumo do vídeo	200	Não foi possível acessar o Azure OpenAI. Tente executar o resumo novamente mais tarde.			Tente o trabalho de resumo novamente mais tarde.
Criar-vídeo-resumo				Sem atribuição de função
Obter resumo do vídeo				Sem atribuição de função

Solução de problemas

Antes de procurar soluções específicas, certifique-se de ter criado os recursos na seção Pré-requisitos do documento.

Gerar resumo não aparece

Talvez você não tenha conectado sua conta do Azure OpenAI à conta do Azure AI Video Indexer corretamente.

Não foi possível gerar um resumo

• Você precisa adicionar filtros de conteúdo à implantação para evitar a exibição de conteúdo prejudicial. Volte para o Estúdio OpenAI do Azure e adicione filtros à sua implantação.
• Você pode ter criado um filtro de conteúdo permissivo para conteúdo com conteúdo sensível ou prejudicial. O filtro de conteúdo precisa ser pelo menos Médio. Se você definir o filtro de conteúdo como Médio E o conteúdo nocivo permanecer no vídeo, o filtro será acionado. Nesse caso, não há solução.
• Você pode não ter solicitado uma transcrição ou pode não haver informações suficientes geradas durante o processo de indexação.
• Você pode estar usando uma predefinição avançada.
• O vídeo pode não ter áudio suficiente para criar uma transformação.

Não é possível usar uma implantação de modelo ou implantação ausente

• Talvez você não tenha criado uma implantação.
• Alguém pode ter alterado ou excluído o modelo implantado.

Limitação

Pode haver muitas solicitações sendo enviadas ao VI. Aguarde alguns minutos e tente novamente.

Você recebe o erro "filtro não encontrado"

Se você receber um erro de filtro não encontrado, receberá um erro detalhado descrevendo o que está faltando. O erro é semelhante a este, mas pode ter detalhes sobre outras coisas ausentes:

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

Observação

O filtro de jailbreak só é necessário ao usar um resumo baseado em quadros-chave ou um resumo regular, a partir de 1º de novembro de 2024.

Para resolver o problema do jailbreak:

1. Selecione Ir para o Azure Open AI Studio.
2. Selecione Implantações.
3. Selecione a implantação com a qual você está trabalhando.
4. Selecione Editar.
5. Configure os filtros para ter pelo menos o nível Médio para cada categoria.
6. Aplique escudos de prompt para ataques de jailbreak.
7. Selecione Criar filtro.

Outras considerações

É recomendável criar as contas do Azure AI Video Indexer e do Azure OpenAI na mesma região ou você poderá ter problemas de desempenho.