Freigeben über

Azure AI Video Indexer aktiviert von Arc (Vorschau)

  • Artikel

Der von Arc aktivierte Azure AI Video Indexer ist ein von Arc aktivierter Azure Arc-Erweiterungsdienst , der Video- und Audioanalysen ausführt und AI auf Edgegeräten generieren kann. Die Lösung wurde entwickelt, um auf Azure Arc aktivierte Kubernetes auszuführen und unterstützt viele Videoformate, einschließlich MP4 und anderen gängigen Formaten. Es unterstützt mehrere Sprachen in allen grundlegenden Audiomodellen. Es wird davon ausgegangen, dass eine Videoindexer-Ressource einer Erweiterung zugeordnet ist.

Wenn Sie noch nicht mit Azure AI Video Indexer vertraut sind, empfiehlt es sich, sich zuerst mit dem Clouddienst vertraut zu machen.

Bevor Sie mit der Von Arc aktivierten Azure AI Video Indexer arbeiten, lesen Sie außerdem die Transparenzhinweise , um Nutzungseinschränkungen zu verstehen.

Wichtig

Um die Azure AI Video Indexer-Erweiterung erfolgreich bereitzustellen, ist es obligatorisch , dass Ihre Azure-Abonnement-ID im Voraus genehmigt wird. Sie müssen sich zuerst mit diesem Formular registrieren.

Was ist Azure Arc und Azure Arc-fähige Kubernetes?

Azure Arc vereinfacht die Governance und Verwaltung komplexer Umgebungen, die sich über Rechenzentren, mehrere Clouds und Edge erstrecken, indem eine konsistente Multi-Cloud- und lokale Verwaltungsplattform bereitgestellt wird.

Mit Azure Arc-aktiviertem Kubernetes können Sie Kubernetes-Cluster anfügen, die überall ausgeführt werden, sodass Sie diese in Azure verwalten und konfigurieren können. Wenn Sie alle Ihre Kubernetes-Ressourcen in einer einzigen Steuerungsebene verwalten, können Sie eine konsistentere Entwicklungs- und Betriebserfahrung ermöglichen, um cloudnative Apps überall und auf jeder Kubernetes-Plattform auszuführen.

Wenn die Azure Arc-Agents im Cluster bereitgestellt werden, wird eine ausgehende Verbindung mit Azure unter Verwendung des Branchenstandards SSL zum Sichern von Daten während der Übertragung initiiert.

Sobald Cluster mit Azure verbunden sind, werden sie als eigene Ressourcen im Azure Resource Manager (ARM) dargestellt und können mithilfe von Ressourcengruppen und Tagging organisiert werden.

Weitere Informationen zu Azure Arc und Azure Arc-fähigen Kubernetes finden Sie in diesen Artikeln.

Was ist eine Azure Arc-Erweiterung?

Erweiterungen für virtuelle Computer sind kleine Anwendungen, die Konfigurations- und Automatisierungsaufgaben auf virtuellen Azure-Computern nach der Bereitstellung ermöglichen. Wenn z. B. Software auf einer VM installiert werden muss, Virenschutz oder die Ausführung eines Skripts erforderlich ist, kann eine VM-Erweiterung verwendet werden. Weitere Informationen zu Erweiterungen finden Sie unter Verwaltung virtueller Computererweiterungen mit Azure Arc-fähigen Servern.

Die Azure AI Video Indexer-Erweiterung installiert und stellt azure AI Video Indexer im Kubernetes-Cluster bereit.

Alle von Arc aktivierten Azure AI Video Indexer unterstützen nur Azure Resource Manager (ARM)-Konten. ARM-Vorgänge werden von Videoeinblickvorgängen entkoppelt. Mit diesem Design können Sie Analysen auf Ihren Edgegeräten durchführen, ohne Ihre Medienressourcen in Azure hochladen zu müssen.

Azure AI Video Indexer, der von Arc aktiviert ist, unterstützt keine klassischen Konten. Weitere Informationen zur Einstellung von klassischen Konten finden Sie unter Vorbereiten der AMS-Einstellung: VI-Migrations- und Aktualisierungsleitfaden

Die Erweiterung wird nur in Szenarien im direkten Verbindungsmodus unterstützt. Steuerebeneninformationen werden an die Cloud gesendet, z. B. Überwachung, Nutzung. Neue Erweiterungsversionen werden aus der Cloud heruntergeladen. Keine Kundendaten, z. B. welche Videos indiziert wurden, werden vom Edgespeicherort an die Cloud gesendet.

Sprachmodelle

Das Phi 3-Sprachmodell ist enthalten und automatisch mit Ihrer VI-Erweiterung verbunden. Sie können sofort damit beginnen, es zu verwenden. Weitere Informationen zur Verwendung von Sprachmodellen mit VI finden Sie unter:

Siehe auch den Transparantenhinweis zur Textzusammenfassung mit Vi, das von Arc für Hardwareanforderungen, Einschränkungen und bekannte Probleme aktiviert ist.

Anwendungsfälle

  • Datengovernance – Sie können die KI in den Inhalt bringen, anstatt umgekehrt. Verwenden Sie azure AI Video Indexer, der von Arc aktiviert ist, wenn Sie indizierte Inhalte nicht aus der lokalen Umgebung in die Cloud verschieben können, weil:
    • Regulierung.
    • Architekturentscheidungen.
    • Der Datenspeicher ist zu groß, hebt und verschiebt sich erheblich.
  • Lokaler Workflow – Ihr Indizierungsprozess ist Teil eines lokalen Workflows, und Sie möchten die Latenz der Indizierungsdauer verringern, die sich auf den Fluss auswirkt.
  • Vorindizierung – Sie möchten indizieren , bevor Sie den Inhalt in die Cloud hochladen. Um Klarheit zu schaffen, können Sie Ihr lokales Video- und/oder Audioarchiv vorabsortieren und dann nur für die Standard- und/oder erweiterte Indizierung in der Cloud hochladen.

Beispielbereitstellung

Das folgende Blockdiagramm zeigt die Azure AI Video Indexer-Erweiterung, die auf Azure Arc ausgeführt wird. Es gibt drei Typen:

  1. Store-Typ A verwendet sowohl Vision- als auch Audiovoreinstellungen.
  2. Store-Typ B verwendet nur Vision-Voreinstellungen. Außerdem verfügt es über ein benutzerdefiniertes Modell. Weitere Informationen zur Verwendung eines benutzerdefinierten Modells mit von Arc aktivierten Azure AI Video Indexer finden Sie unter Bring Your Own AI model.
  3. Store C verwendet nur Audiovoreinstellungen.

Die Erweiterung wird auf jedem Edgegerät gespeichert, und jedes Gerät ist einem einzigen Azure AI Video Indexer-Konto zugeordnet, das mit Azure Arc und der Cloud verknüpft ist.

VI Bogenblockdiagramm

Unterstützte KI-Voreinstellungen

Von Arc aktivierter Azure AI Video Indexer unterstützt die folgenden Indizierungsvoreinstellungen:

Modell Einfaches Video Grundlegendes Audio Einfaches Video und Audio
Transkription ✔️ ✔️
Übersetzung ✔️ ✔️
Untertitel ✔️ ✔️
Keyframeerkennung ✔️ ✔️
OCR ✔️ ✔️
Objekterkennung ✔️ ✔️
Szenenerkennung ✔️ ✔️
Erkennung von Aufnahmen ✔️ ✔️
Zusammenfassung ✔️ ✔️

Hardwaremindestanforderungen

Der von Arc aktivierte Videoindexer wurde für die Ausführung in einer beliebigen Arc-fähigen Kubernetes-Umgebung entwickelt.

Die folgende Liste enthält die mindesten und empfohlenen Anforderungen, wenn die Erweiterung unterstützung für einzelne Sprachen enthält. Wenn Sie mehrere Sprach- und Übersetzungscontainer mit mehreren Sprachen installieren, erhöhen Sie die Hardwareanforderungen entsprechend.

Hinweis

Dies sind Mindestanforderungen für eine Produktionsumgebung . Mindestens ein 2-Knoten-Cluster wird für hohe Verfügbarkeit und Skalierbarkeit empfohlen. Die empfohlenen Einstellungen beziehen sich auf clusterweite Einstellungen, z. B. wenn Sie über 2 Knoten verfügen, sollte jeder Knoten über 16 Kerne und 32 GB RAM verfügen. Es wird empfohlen, einen dedizierten Knotenpool/automatisch skalierende Gruppen zum Hosten der VI-Lösung zu erstellen.

Konfiguration VM-Anzahl Anzahl der Knoten CPU-Kerne Knoten ram Knotenspeicher Hinweise
Mindestanforderungen 1 32 Kerne 64 GB 50 GB Speicher muss die Speicherklasse unterstützen ReadWriteMany .
Empfohlen 2 48-64 Kerne 256 GB 100 GB Speicher muss die Speicherklasse unterstützen ReadWriteMany .

Mindestanforderungen an die Software

Komponente Mindestanforderungen
Betriebssystem Ubuntu 22.04 LTS oder ein linuxkompatibles Betriebssystem
Kubernetes 1.26
Azure CLI 2.48.0

Unterstützte Eingabeformate und Codecs

Videoformate

  • AVI (.avi)
  • FLV (mit H.264- und AAC-Codecs) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska/WebM (.mkv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (.wav)
  • Webm
  • Windows Media Video (WMV)/ASF (.wmv, .asf)

Videocodecs

Hier ist Ihre alphabetisierte Liste:

  • AVC 8-Bit/10-Bit, bis zu 4:2:2, einschließlich AVCIntra
  • Digitales Video (DV) (in AVI-Dateien)
  • DVCPro/DVCProHD (im MXF-Container)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (bis zu 422 Profile und High Level; Varianten wie Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® und D10 eingeschlossen)
  • MPEG-4 Teil 2
  • VC-1/WMV9

Audiocodecs bis zu zwei Titel

  • AAC (AAC-LC, AAC-HE und AAC-HEv2)
  • FLAC
  • MPEG Layer 2
  • MP3 (MPEG-1 Audio Layer 3)
  • VORBIS
  • WAV/PCM
  • Windows Media Audio

Unterstützte Sprachen

  • Arabisch (Saudi-Arabien)
  • Arabisch (Ägypten)
  • Chinesisch (vereinfacht)
  • Englisch (USA)
  • Französisch
  • Deutsch
  • Italienisch
  • Spanisch

Bringen Sie Ihr eigenes Modell mit

Azure AI Video Indexer, der von Arc aktiviert wurde, unterstützt auch das Bereitstellen Ihres eigenen Modells. Ausführliche Informationen finden Sie im ARTIKEL "Bring Your Own Model (BYO) ".

Begrenzungen

  • Die unterstützte Dateigröße für die Indizierung beträgt bis zu 2 GB.
  • Upgrade der Erweiterung:
    • Die Erweiterungsunterstützung gilt nur für die neueste Version.
    • Es wird empfohlen, diese auto-upgrade Eigenschaft auf true. Diese Einstellung hält die Erweiterung auf dem neuesten Stand.
    • Wenn die Einstellung für das automatische Upgrade auf "false" festgelegt ist, sollte das Versionsupgrade inkrementell durchgeführt werden. Das Springen zwischen Versionen kann dazu führen, dass Indizierungsprozesse fehlschlagen.
  • Erwarten Sie nach der Erweiterungsinstallation oder dem Upgrade, dass die Dauer des ersten Index\Übersetzungsprozesses länger ist. Die längere Dauer ist auf den Download von KI-Modellbildern zurückzuführen. Die Dauer variiert je nach Netzwerkgeschwindigkeit.
  • Pro Arc-aktivierten Kubernetes-Cluster kann nur eine Videoindexererweiterung bereitgestellt werden.
  • Die Volumenleistung des Clusters (basierend auf der Speicherklasse) hat erheblichen Einfluss auf die Umsatzdauer des Indizierungsauftrags, insbesondere da die Frameextraktion alle Frames in das Volume schreibt).
  • Sie können nur Cloudkontozugriffstoken verwenden, die über die Azure-Portal abgerufen werden. Cloud-Videozugriffstoken werden nicht unterstützt, aber mit der API sind Erweiterungszugriffstoken verfügbar, und wir unterstützen alle Typen.
  • Videofehlermeldungen werden aufgrund von Speicherbeschränkungen nicht gespeichert.