Compartilhar via

Azure AI Video Indexer habilitado pelo Arc (versão prévia)

  • Artigo

O Azure AI Video Indexer habilitado pelo Arc é um serviço habilitado para extensão do Azure Arc que executa análise de vídeo e áudio e IA generativa em dispositivos de borda. A solução foi projetada para ser executada no Kubernetes habilitado para Azure Arc e dá suporte a muitos formatos de vídeo, incluindo MP4 e outros formatos comuns. Ela dá suporte a vários idiomas em todos os modelos básicos relacionados a áudio. Ele pressupõe que um recurso do Video Indexer seja mapeado para uma extensão.

Se você ainda não estiver familiarizado com o Azure AI Video Indexer, é recomendável se familiarizar com o serviço de nuvem primeiro.

Além disso, antes de começar a trabalhar com o Azure AI Video Indexer habilitado pelo Arc, examine a nota de transparência para entender as restrições de uso.

Importante

Para implantar com êxito a extensão do Azure AI Video Indexer, é obrigatório que sua ID de assinatura do Azure seja aprovada com antecedência. Você deve primeiro se inscrever usando este formulário.

O que é o Azure Arc e o Kubernetes habilitado para Azure Arc?

O Azure Arc simplifica a governança e o gerenciamento de ambientes complexos que se estendem por data centers, várias nuvens e borda, fornecendo uma plataforma de gerenciamento local e multinuvem consistente.

O Kubernetes habilitado para Azure Arc permite anexar clusters do Kubernetes em execução em qualquer lugar para que você possa gerenciá-los e configurá-los no Azure. Ao gerenciar todos os recursos do Kubernetes em um único painel de controle, você pode habilitar uma experiência de desenvolvimento e operação mais consistente para executar aplicativos nativos da nuvem em qualquer lugar e em qualquer plataforma do Kubernetes.

Quando os agentes do Azure Arc são implantados no cluster, uma conexão de saída com o Azure é iniciada, usando o SSL padrão do setor para proteger os dados em trânsito.

Depois que os clusters são conectados ao Azure, eles são representados como seus próprios recursos no ARM (Azure Resource Manager) e podem ser organizados usando grupos de recursos e marcação.

Consulte estes artigos para entender mais sobre o Azure Arc e o Kubernetes habilitado para Azure Arc.

O que é uma extensão do Azure Arc?

As extensões da VM (máquina virtual) são pequenos aplicativos que fornecem tarefas de configuração e automação pós-implantação nas VMs do Azure. Por exemplo, se uma máquina virtual exigir a instalação de software, proteção antivírus ou a execução de um script nele, uma extensão da VM poderá ser usada. Para entender mais sobre extensões, consulte Gerenciamento de extensão de máquina virtual com servidores habilitados para Azure Arc.

A extensão do Azure AI Video Indexer instala e implanta o indexador de vídeo do Azure AI no cluster do Kubernetes.

Todos os Azure AI Video Indexer habilitados pelo Arc dão suporte apenas a contas do ARM (Azure Resource Manager). As operações do ARM são dissociadas das operações de insight de vídeo. Esse design permite que você execute análises em seus dispositivos de borda sem a necessidade de carregar seus ativos de mídia no Azure.

O Azure AI Video Indexer habilitado pelo Arc não dá suporte a contas clássicas. Para obter mais informações sobre a desativação de contas clássicas, consulte Preparando-se para a desativação do AMS: guia de migração e atualização do VI

A extensão tem suporte apenas em cenários de modo de conexão direta. As informações do plano de controle são enviadas para a nuvem, por exemplo, monitoramento, uso. Novas versões de extensão são baixadas da nuvem. Nenhum dado do cliente, como quais vídeos foram indexados, é enviado do ponto de presença para a nuvem.

Modelos de linguagem

O modelo de linguagem Phi 3 está incluído e conectado automaticamente ao seu ramal VI. Você pode começar a usá-lo imediatamente. Para obter mais informações sobre como usar modelos de linguagem com VI, consulte:

Veja também a nota de transparência para resumo textual com Vi habilitado pelo Arc para requisitos de hardware, limitações e problemas conhecidos.

Casos de uso

  • Governança de dados – Você pode trazer a IA para o conteúdo em vez de vice-versa. Use o Azure AI Video Indexer habilitado pelo Arc quando você não puder mover o conteúdo indexado do local para a nuvem devido a:
    • regulamento.
    • decisões de arquitetura.
    • armazenamento de dados sendo muito grande, tornando o lift and shift um esforço significativo.
  • Fluxo de trabalho local – Seu processo de indexação faz parte de um fluxo de trabalho local e você deseja reduzir a latência da duração da indexação que afeta o fluxo.
  • Pré-indexação – Você deseja indexar antes de carregar o conteúdo na nuvem. Para criar clareza, você pode pré-classificar seu arquivo de vídeo e/ou áudio local e, em seguida, carregá-lo apenas para indexação padrão e/ou avançada na nuvem.

Exemplo de implantação

O diagrama de blocos a seguir mostra a extensão do Azure AI Video Indexer em execução no Azure Arc. Existem três tipos:

  1. O tipo de loja A usa predefinições de visão e áudio.
  2. O tipo de loja B usa apenas predefinições de visão. Ele também tem um modelo personalizado. Para obter mais informações sobre como usar um modelo personalizado com o Azure AI Video Indexer habilitado pelo Arc, consulte Traga seu próprio modelo de IA.
  3. A loja C usa apenas predefinições de áudio.

A extensão é armazenada em cada dispositivo de borda e cada dispositivo é associado a uma única conta do Azure AI Video Indexer que faz interface com o Azure Arc e a nuvem.

VI Diagrama de blocos de arco

Predefinições de IA com suporte

O Azure AI Video Indexer habilitado pelo Arc dá suporte às seguintes predefinições de indexação:

Modelar Vídeo básico Áudio básico Vídeo e áudio básicos
Transcrição ✔️ ✔️
Tradução ✔️ ✔️
Legendas ✔️ ✔️
Detecção de quadros-chave ✔️ ✔️
OCR ✔️ ✔️
Detecção de objetos ✔️ ✔️
Detecção de cena ✔️ ✔️
Detecção de tiro ✔️ ✔️
Resumo ✔️ ✔️

Requisitos mínimos de hardware

O Video Indexer habilitado pelo Arc foi projetado para ser executado em qualquer ambiente Kubernetes habilitado para Arc.

A lista a seguir contém os requisitos mínimos e recomendados se a extensão contiver suporte a um único idioma. Se você instalar vários contêineres de fala e tradução com vários idiomas, aumente os requisitos de hardware de acordo.

Observação

Esses são requisitos mínimos para um ambiente de produção . Pelo menos um cluster de 2 nós é recomendado para alta disponibilidade e escalabilidade. As configurações recomendadas referem-se às configurações de todo o cluster, portanto, por exemplo, se você tiver 2 nós, cada nó deverá ter 16 núcleos e 32 GB de RAM. Recomendamos a criação de um pool de nós/grupos de dimensionamento automático dedicados para hospedar a solução VI.

Configuração Contagem de VMs Contagem de núcleos de CPU de nó Ram do nó Armazenamento de nós Comentários
Mínimo 1 32 núcleos 64 GB 50 GB O armazenamento precisa dar suporte ReadWriteMany à classe de armazenamento
Recomendadas 2 48-64 núcleos 256 GB 100 GB O armazenamento precisa dar suporte ReadWriteMany à classe de armazenamento

Requisitos mínimos de software

Componente Requisitos mínimos
Sistema operacional Ubuntu 22.04 LTS ou qualquer sistema operacional compatível com Linux
Kubernetes 1,26
CLI do Azure 2.48.0

Formatos de entrada e codecs suportados

Formatos de vídeo

  • AVI (.avi)
  • FLV (com codecs H.264 e AAC) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska/WebM (.mkv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (.wav)
  • Webm
  • Vídeo do Windows Media (WMV)/ASF (.wmv, .asf)

Codecs de vídeo

Aqui está sua lista em ordem alfabética:

  • AVC de 8 bits/10 bits até 4:2:2, incluindo AVCIntra
  • Vídeo digital (VD) (em arquivos AVI)
  • DVCPro/DVCProHD (no contêiner MXF)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (até perfil 422 e alto nível; incluindo variantes como Sony XDCAM, XDCAM HD, XDCAM IMX, CableLabs® e D10)
  • MPEG-4, parte 2
  • VC-1/WMV9

Codecs de áudio de até duas faixas

  • AAC (AAC-LC, AAC-HE e AAC-HEv2)
  • FLAC
  • MPEG Layer 2
  • MP3 (MPEG-1 Audio Layer 3)
  • VORBIS
  • WAV/PCM
  • Áudio do Windows Media

Idiomas com suporte

  • Árabe (Arábia Saudita)
  • Árabe (Egito)
  • Chinês (Simplificado)
  • Inglês (EUA)
  • Francês
  • Alemão
  • Italiano
  • Espanhol

Traga seu próprio modelo

O Azure AI Video Indexer habilitado pelo Arc também dá suporte a trazer seu próprio modelo. Consulte o artigo Traga seu próprio modelo (BYO) para obter detalhes.

Limitações

  • O tamanho do arquivo com suporte para indexação é de até 2 GB.
  • Atualizando a extensão:
    • O suporte à extensão se aplica apenas à versão mais recente.
    • Recomendamos definir essa auto-upgrade propriedade como true. Essa configuração mantém a extensão atualizada.
    • Se a configuração de atualização automática estiver definida como false, a atualização da versão deverá ser feita de forma incremental. Saltar entre versões pode fazer com que os processos de indexação falhem.
  • Após a instalação ou atualização da extensão, espere que a duração do primeiro processo de indexação\conversão seja maior. A duração mais longa é devido ao download da imagem do modelo de IA. A duração varia dependendo da velocidade da rede.
  • Somente uma extensão do Video Indexer pode ser implantada por cluster do Kubernetes habilitado para Arc.
  • O desempenho do volume do cluster (com base na classe de armazenamento) tem influência significativa na duração da rotatividade do trabalho de indexação, especialmente porque a extração de quadros está gravando todos os quadros no volume).
  • Você pode usar apenas tokens de acesso à conta de nuvem obtidos por meio do portal do Azure. Não há suporte para tokens de acesso de vídeo na nuvem, mas com a API, os tokens de acesso de extensão estão disponíveis e oferecemos suporte a todos os tipos.
  • As mensagens de erro de vídeo não são armazenadas devido a limitações de memória.