Partager via

Azure AI Video Indexer activé par Arc (préversion)

  • Article

Azure AI Video Indexer activé par Arc est un service avec extension Azure Arc qui exécute l’analyse vidéo et audio et l’IA générative sur les appareils de périphérie. La solution est conçue pour s’exécuter sur Kubernetes avec Azure Arc et prend en charge de nombreux formats vidéo, notamment MP4 et d’autres formats courants. Elle prend en charge plusieurs langages dans tous les modèles audio de base. Il part du principe qu’une ressource Video Indexer est mappée à une extension.

Si vous n’êtes pas déjà familiarisé avec Azure AI Video Indexer, il est recommandé de vous familiariser avec le service cloud en premier.

En outre, avant de commencer à utiliser Azure AI Video Indexer activé par Arc, passez en revue la note de transparence pour comprendre les restrictions d’utilisation.

Important

Pour déployer correctement l’extension Azure AI Video Indexer, il est obligatoire que votre ID d’abonnement Azure soit approuvé à l’avance. Vous devez d’abord vous inscrire à l’aide de ce formulaire.

Qu’est-ce qu’Azure Arc et Kubernetes avec Azure Arc ?

Azure Arc simplifie la gouvernance et la gestion des environnements complexes qui s’étendent entre les centres de données, plusieurs clouds et la périphérie en fournissant une plateforme de gestion multicloud et locale cohérente.

Kubernetes avec Azure Arc vous permet de joindre des clusters Kubernetes s’exécutant n’importe où afin de pouvoir les gérer et les configurer dans Azure. En gérant toutes vos ressources Kubernetes dans un seul plan de contrôle, vous pouvez permettre une expérience de développement et d’exploitation plus cohérente pour exécuter des applications cloud natives n’importe où et sur n’importe quelle plateforme Kubernetes.

Lorsque les agents Azure Arc sont déployés sur le cluster, une connexion sortante vers Azure est lancée, avec le protocole SSL standard pour sécuriser les données en transit.

Une fois que les clusters sont connectés à Azure, ils sont représentés en tant que ressources propres dans Azure Resource Manager (ARM), et peuvent être organisés à l’aide de groupes de ressources et d’étiquetage.

Consultez ces articles pour en savoir plus sur Azure Arc et Kubernetes avec Azure Arc.

Qu’est-ce qu’une extension Azure Arc ?

Les extensions de machine virtuelle sont de petites applications qui permettent d’effectuer des tâches de configuration et d’automatisation de post-déploiement sur des machines virtuelles Azure. Par exemple, si une machine virtuelle exige l’installation d’un logiciel, une protection antivirus ou l’exécution d’un script, vous pouvez utiliser une extension de machine virtuelle. Pour en savoir plus sur les extensions, consultez la gestion des extensions de machine virtuelle avec des serveurs avec Azure Arc.

L’extension Azure AI Video Indexer installe et déploie Azure AI Video indexer sur le cluster Kubernetes.

Tous les indexeur vidéo Azure AI activés par Arc prennent uniquement en charge les comptes Azure Resource Manager (ARM). Les opérations ARM sont découplées des opérations d’insight vidéo. Cette conception vous permet d’effectuer une analyse sur vos appareils edge sans avoir à charger vos ressources multimédias sur Azure.

Azure AI Video Indexer activé par Arc ne prend pas en charge les comptes classiques. Pour plus d’informations sur la mise hors service des comptes classiques, consultez Préparation de la mise hors service AMS : Guide de migration et de mise à jour d’AMS

L’extension est prise en charge uniquement dans les scénarios en mode connexion directe. Les informations du plan de contrôle sont envoyées au cloud, par exemple, la surveillance, l’utilisation. Les nouvelles versions d’extension sont téléchargées à partir du cloud. Aucune donnée client, telle que les vidéos indexées, n’est envoyée de l’emplacement de périphérie au cloud.

Modèles de langage

Le modèle de langage Phi 3 est inclus et connecté automatiquement à votre extension VI. Vous pouvez commencer à l’utiliser immédiatement. Pour plus d’informations sur l’utilisation de modèles linguistiques avec VI, consultez :

Consultez également la note de transparancy pour la synthèse textuelle avec Vi activée par Arc pour la configuration matérielle requise, les limitations et les problèmes connus.

Cas d’utilisation

  • Gouvernance des données : vous pouvez apporter l’IA au contenu au lieu d’inversement. Utilisez Azure AI Video Indexer activé par Arc lorsque vous ne pouvez pas déplacer le contenu indexé d’un emplacement local vers le cloud en raison des éléments suivants :
    • réglementation.
    • décisions relatives à l’architecture.
    • le magasin de données étant trop volumineux, ce qui fait de l’élévation et du décalage un effort important.
  • Flux de travail local : votre processus d’indexation fait partie d’un flux de travail local et vous souhaitez réduire la latence de durée d’indexation affectant le flux.
  • Préindexation : vous souhaitez indexer avant de charger le contenu dans le cloud. Pour créer une clarté, vous pouvez présorter votre archive vidéo et/ou audio locale, puis la charger uniquement pour l’indexation standard et/ou avancée dans le cloud.

Exemple de déploiement

Le diagramme de blocs suivant montre l’extension Azure AI Video Indexer s’exécutant sur Azure Arc. Il existe trois types :

  1. Le type de magasin A utilise à la fois les présélections vision et audio.
  2. Le type de magasin B utilise uniquement les présélections de vision. Il a également un modèle personnalisé. Pour plus d’informations sur l’utilisation d’un modèle personnalisé avec Azure AI Video Indexer activé par Arc, consultez Bring Your Own AI Model.
  3. Le Store C utilise uniquement les présélections audio.

L’extension est stockée sur chaque appareil edge et chaque appareil est associé à un seul compte Azure AI Video Indexer qui s’interface avec Azure Arc et le cloud.

Diagramme de blocs VI Arc

Présélections d’IA prises en charge

Azure AI Video Indexer activé par Arc prend en charge les présélections d’indexation suivantes :

Modèle Vidéo de base Audio de base Vidéo de base et audio
Transcription ✔️ ✔️
Traduction ✔️ ✔️
Sous-titrage ✔️ ✔️
Détection d’images clés ✔️ ✔️
OCR ✔️ ✔️
Détection d’objet ✔️ ✔️
Détection des scènes ✔️ ✔️
Détection de capture ✔️ ✔️
Résumé ✔️ ✔️

Conditions matérielles minimales requises

Video Indexer activé par Arc est conçu pour s’exécuter sur n’importe quel environnement Kubernetes avec Arc.

La liste suivante correspond aux exigences minimales et recommandées si l’extension contient la prise en charge d’une langue unique. Si vous installez plusieurs conteneurs de reconnaissance vocale et de traduction avec plusieurs langues, augmentez la configuration matérielle requise en conséquence.

Remarque

Il s’agit des exigences minimales pour un environnement de production . Au moins un cluster à 2 nœuds est recommandé pour la haute disponibilité et la scalabilité. Les paramètres recommandés font référence aux paramètres à l’échelle du cluster. Par exemple, si vous avez 2 nœuds, chaque nœud doit avoir 16 cœurs et 32 Go de RAM. Nous vous recommandons de créer un pool de nœuds dédié / des groupes de mise à l’échelle automatique pour héberger la solution VI.

Configuration Nombre de machines virtuelles Nombre de cœurs de processeur de nœud Ram de nœud Stockage de nœuds Notes
Minimum 1 32 cœurs 64 Go 50 Go Le stockage doit prendre en charge ReadWriteMany la classe de stockage
Recommandé 2 48 à 64 cœurs 256 Go 100 Go Le stockage doit prendre en charge ReadWriteMany la classe de stockage

Configuration logicielle minimale requise

Composant Configuration minimale requise
Système d’exploitation Ubuntu 22.04 LTS ou tout système d’exploitation compatible Linux
Kubernetes 1,26
Azure CLI 2.48.0

Formats d’entrée et codecs pris en charge

Formats vidéo

  • AVI (.avi)
  • FLV (avec les codecs H.264 et AAC) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska/WebM (.mkv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (.wav)
  • Webm
  • Windows Media Video (WMV)/ASF (.wmv, .asf)

Codecs vidéo

Voici votre liste alphabétique :

  • AVC 8 bits/10 bits, jusqu'à 4:2:2, y compris AVCIntra
  • Vidéo numérique (dans les fichiers AVI)
  • DVCPro/DVCProHD (dans le conteneur MXF)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (jusqu’au profil 422 et haut niveau ; y compris les variantes telles que Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® et D10)
  • MPEG-4 partie 2
  • VC-1/WMV9

Codecs audio jusqu’à deux pistes

  • AAC (AAC-LC, AAC-HE et AAC-HEv2)
  • FLAC
  • MPEG Layer 2
  • MP3 (MPEG-1 Audio Layer 3)
  • VORBIS
  • WAV/PCM
  • Windows Media Audio

Langues prises en charge

  • Arabe (Arabie saoudite)
  • Arabe (Égypte)
  • Chinois (simplifié)
  • Anglais (US)
  • Français
  • Allemand
  • Italien
  • Espagnol

Apportez votre propre modèle

Azure AI Video Indexer activé par Arc prend également en charge l’apport de votre propre modèle. Pour plus d’informations, consultez l’article ByO (Bring Your Own Model).

Limites

  • La taille de fichier prise en charge pour l’indexation est jusqu’à 2 Go.
  • Mise à niveau de l’extension :
    • La prise en charge de l’extension s’applique uniquement pour la dernière version.
    • Nous vous recommandons de définir cette auto-upgrade propriété sur true. Ce paramètre conserve l’extension à jour.
    • Si le paramètre de mise à niveau automatique est défini sur false, la mise à niveau de version doit être effectuée de manière incrémentielle. Le saut entre les versions peut entraîner l’échec des processus d’indexation.
  • Après l’installation ou la mise à niveau de l’extension, attendez-vous que la durée du premier processus d’index\traduction soit plus longue. La durée la plus longue est due au téléchargement de l’image du modèle IA. La durée varie en fonction de la vitesse du réseau.
  • Une seule extension Video Indexer peut être déployée par cluster Kubernetes avec Arc.
  • Les performances du volume du cluster (basées sur la classe de stockage) ont une influence significative sur la durée de roulement du travail d’indexation, en particulier dans la mesure où l’extraction d’images écrit toutes les images dans le volume).
  • Vous pouvez utiliser uniquement des jetons d’accès de compte cloud obtenus via le Portail Azure. Les jetons d’accès vidéo cloud ne sont pas pris en charge, mais avec l’API, les jetons d’accès aux extensions sont disponibles et nous prenons en charge tous les types.
  • Les messages d’erreur vidéo ne sont pas stockés en raison de limitations de mémoire.