Partilhar via

Azure AI Video Indexer habilitado pelo Arc (visualização)

  • Artigo

O Azure AI Video Indexer habilitado pelo Arc é um serviço habilitado para extensão do Azure Arc que executa análise de vídeo e áudio e IA generativa em dispositivos de borda. A solução foi projetada para ser executada no Kubernetes habilitado para Azure Arc e oferece suporte a muitos formatos de vídeo, incluindo MP4 e outros formatos comuns. Ele suporta vários idiomas em todos os modelos básicos relacionados a áudio. Ele pressupõe que um recurso Video Indexer é mapeado para uma extensão.

Se você ainda não estiver familiarizado com o Azure AI Video Indexer, é recomendável que você se familiarize com o serviço de nuvem primeiro.

Além disso, antes de começar a trabalhar com o Azure AI Video Indexer habilitado pelo Arc, revise a nota de transparência para entender as restrições de uso.

Importante

Para implantar com êxito a extensão do Azure AI Video Indexer, é obrigatório que sua ID de assinatura do Azure seja aprovada com antecedência. Você deve primeiro se inscrever usando este formulário.

O que é o Azure Arc e o Kubernetes habilitado para Azure Arc?

O Azure Arc simplifica a governança e o gerenciamento de ambientes complexos que se estendem por data centers, várias nuvens e borda, oferecendo uma plataforma de gerenciamento multinuvem e local consistente.

O Kubernetes habilitado para Arco do Azure permite anexar clusters Kubernetes em execução em qualquer lugar para que você possa gerenciá-los e configurá-los no Azure. Ao gerenciar todos os seus recursos do Kubernetes em um único plano de controle, você pode habilitar uma experiência de desenvolvimento e operação mais consistente para executar aplicativos nativos da nuvem em qualquer lugar e em qualquer plataforma Kubernetes.

Quando os agentes do Azure Arc são implantados no cluster, uma conexão de saída com o Azure é iniciada, usando SSL padrão do setor para proteger dados em trânsito.

Depois que os clusters são conectados ao Azure, eles são representados como seus próprios recursos no Azure Resource Manager (ARM) e podem ser organizados usando grupos de recursos e marcação.

Consulte estes artigos para entender mais sobre o Azure Arc e o Kubernetes habilitado para Azure Arc.

O que é uma extensão do Azure Arc?

As extensões de máquina virtual (VM) são pequenos aplicativos que fornecem tarefas de configuração e automação pós-implantação em VMs do Azure. Por exemplo, se uma máquina virtual exigir instalação de software, proteção antivírus ou executar um script nela, uma extensão de VM poderá ser usada. Para entender mais sobre extensões, consulte Gerenciamento de extensão de máquina virtual com servidores habilitados para Azure Arc.

A extensão Azure AI Video Indexer instala e implanta o indexador de Vídeo do Azure AI no cluster Kubernetes.

Todo o Azure AI Video Indexer habilitado pela Arc dá suporte apenas a contas do Azure Resource Manager (ARM). As operações ARM são dissociadas das operações de perceção de vídeo. Esse design permite que você execute análises em seus dispositivos de borda sem a necessidade de carregar seus ativos de mídia no Azure.

O Azure AI Video Indexer habilitado pela Arc não oferece suporte a contas clássicas. Para obter mais informações sobre a desativação de contas clássicas, consulte Preparando para a aposentadoria do AMS: guia de migração e atualização VI

A extensão é suportada apenas em cenários de modo de conexão direta. As informações do plano de controle são enviadas para a nuvem, por exemplo, monitoramento, uso. Novas versões de extensão são baixadas da nuvem. Nenhum dado do cliente, como quais vídeos foram indexados, é enviado do ponto de presença para a nuvem.

Modelos linguísticos

O modelo de linguagem Phi 3 está incluído e automaticamente conectado à sua extensão VI. Você pode começar a usá-lo imediatamente. Para obter mais informações sobre como usar modelos de linguagem com VI, consulte:

Consulte também a nota de transparência para resumo textual com Vi habilitado pelo Arc para requisitos de hardware, limitações e problemas conhecidos.

Casos de utilização

  • Governança de dados – Você pode trazer a IA para o conteúdo em vez de vice-versa. Use o Azure AI Video Indexer habilitado pelo Arc quando não for possível mover conteúdo indexado do local para a nuvem devido a:
    • regulação.
    • decisões de arquitetura.
    • armazenamento de dados sendo muito grande, tornando o elevador e o deslocamento um esforço significativo.
  • Fluxo de trabalho local – Seu processo de indexação faz parte de um fluxo de trabalho local e você deseja reduzir a latência da duração da indexação que afeta o fluxo.
  • Pré-indexação – Você deseja indexar antes de carregar o conteúdo para a nuvem. Para criar clareza, você pode extrair seu arquivo de vídeo e/ou áudio local e, em seguida, carregá-lo apenas para indexação padrão e/ou avançada na nuvem.

Exemplo de implantação

O diagrama de blocos a seguir mostra a extensão do Azure AI Video Indexer em execução no Azure Arc. Existem três tipos:

  1. O tipo de loja A usa predefinições de visão e áudio.
  2. O tipo de loja B utiliza apenas predefinições de visão. Ele também tem um modelo personalizado. Para obter mais informações sobre como usar um modelo personalizado com o Azure AI Video Indexer habilitado pelo Arc, consulte Bring Your Own AI model.
  3. A Loja C utiliza apenas predefinições de áudio.

A extensão é armazenada em cada dispositivo de borda e cada dispositivo está associado a uma única conta do Azure AI Video Indexer que faz interface com o Azure Arc e a nuvem.

VI Diagrama de blocos do arco

Predefinições de IA suportadas

O Azure AI Video Indexer habilitado pelo Arc dá suporte às seguintes predefinições de indexação:

Modelo Vídeo básico Áudio básico Vídeo Básico & Áudio
Transcrição ✔️ ✔️
Tradução ✔️ ✔️
Legendas ✔️ ✔️
Deteção de quadros-chave ✔️ ✔️
OCR ✔️ ✔️
Deteção de objetos ✔️ ✔️
Deteção de cena ✔️ ✔️
Deteção de tiro ✔️ ✔️
Sumarização ✔️ ✔️

Requisitos mínimos de hardware

O Video Indexer ativado pelo Arc foi projetado para ser executado em qualquer ambiente Kubernetes habilitado para Arc.

A lista a seguir é os requisitos mínimos e recomendados se a extensão contiver suporte a um único idioma. Se você instalar vários contêineres de fala e tradução com vários idiomas, aumente os requisitos de hardware de acordo.

Nota

Estes são requisitos mínimos para um ambiente de produção . Pelo menos um cluster de 2 nós é recomendado para alta disponibilidade e escalabilidade. As configurações recomendadas referem-se às configurações de todo o cluster, portanto, por exemplo, se você tiver 2 nós, cada nó deve ter 16 núcleos e 32 GB de RAM. Recomendamos a criação de um pool de nós dedicado / grupos de dimensionamento automático para hospedar a Solução VI.

Configuração Contagem de VMs Contagem de núcleos de CPU do nó Ram do nó Armazenamento de nós Observações
Mínimo 1 32 núcleos 64 GB 50 GB Necessidades de armazenamento para suportar ReadWriteMany a classe de armazenamento
Recomendado 2 48-64 núcleos 256 GB 100 GB Necessidades de armazenamento para suportar ReadWriteMany a classe de armazenamento

Requisitos mínimos de software

Componente Requisitos Mínimos
Sistema operativo Ubuntu 22.04 LTS ou qualquer sistema operacional compatível com Linux
Kubernetes 1.26
CLI do Azure 2.48.0

Formatos de entrada e codecs suportados

Formatos de vídeo

  • AVI (.avi)
  • FLV (com codecs H.264 e AAC) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska/WebM (.mkv)
  • MP4 (.mp4, .m4a .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • ONDA/WAV (.wav)
  • Webm
  • Windows Media Video (WMV)/ASF (.wmv, .asf)

Codecs de vídeo

Aqui está a sua lista alfabética:

  • AVC 8-bit/10-bit, até 4:2:2, incluindo AVCIntra
  • Vídeo digital (DV) (em ficheiros AVI)
  • DVCPro/DVCProHD (no recipiente MXF)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (até 422 perfis e alto nível; incluindo variantes como Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® e D10)
  • MPEG-4 Parte 2
  • VC-1/WMV9

Codecs de áudio até duas faixas

  • AAC (AAC-LC, AAC-HE e AAC-HEv2)
  • FLAC
  • MPEG Camada 2
  • MP3 (MPEG-1 Camada de Áudio 3)
  • VORBIS
  • WAV/PCM
  • Áudio do Windows Media

Idiomas suportados

  • Árabe (Arábia Saudita)
  • Árabe Egito
  • Chinês (Simplificado)
  • English (US)
  • Francês
  • Alemão
  • Italiano
  • Espanhol

Traga o seu próprio modelo

O Azure AI Video Indexer habilitado pelo Arc também oferece suporte para trazer seu próprio modelo. Consulte o artigo Bring Your Own Model (BYO) para obter detalhes.

Limitações

  • O tamanho do ficheiro suportado para indexação é de até 2 GB.
  • Atualizando a extensão:
    • O suporte de extensão aplica-se apenas à versão mais recente.
    • Recomendamos definir essa auto-upgrade propriedade como true. Essa configuração mantém a extensão atualizada.
    • Se a configuração de atualização automática estiver definida como false, a atualização de versão deverá ser feita de forma incremental. Saltar entre versões pode fazer com que os processos de indexação falhem.
  • Após a instalação ou atualização da extensão, espere que a duração do primeiro processo de indexação\tradução seja maior. A duração mais longa é devido ao download da imagem do modelo de IA. A duração varia dependendo da velocidade da rede.
  • Apenas uma extensão do Video Indexer pode ser implantada por cluster Kubernetes habilitado para Arc.
  • O desempenho do volume do cluster (com base na classe de armazenamento) tem influência significativa na duração do turno do trabalho de indexação, especialmente porque a extração de quadros está gravando todos os quadros no volume).
  • Você pode usar apenas tokens de acesso à conta na nuvem obtidos por meio do portal do Azure. Os tokens de acesso a vídeo na nuvem não são suportados, mas com a API, os tokens de acesso à extensão estão disponíveis e suportamos todos os tipos.
  • As mensagens de erro de vídeo não são armazenadas devido a limitações de memória.