Dela via

Azure AI Video Indexer aktiverat av Arc (förhandsversion)

  • Artikel

Azure AI Video Indexer som aktiveras av Arc är en Azure Arc-tilläggsaktiverad tjänst som kör video- och ljudanalys samt generativ AI på gränsenheter. Lösningen är utformad för att köras på Azure Arc-aktiverade Kubernetes och stöder många videoformat, inklusive MP4 och andra vanliga format. Den stöder flera språk i alla grundläggande ljudrelaterade modeller. Det förutsätter att en Video Indexer-resurs mappas till ett tillägg.

Om du inte redan är bekant med Azure AI Video Indexer rekommenderar vi att du först bekantar dig med molntjänsten.

Innan du börjar arbeta med Azure AI Video Indexer aktiverat av Arc kan du dessutom läsa transparensanteckningen för att förstå användningsbegränsningar.

Viktigt!

Om du vill distribuera Azure AI Video Indexer-tillägget är det obligatoriskt att ditt Azure-prenumerations-ID godkänns i förväg. Du måste först registrera dig med det här formuläret.

Vad är Azure Arc och Azure Arc-aktiverade Kubernetes?

Azure Arc förenklar styrning och hantering av komplexa miljöer som sträcker sig över datacenter, flera moln och gränsen genom att leverera en konsekvent hanteringsplattform för flera moln och lokalt.

Med Azure Arc-aktiverade Kubernetes kan du koppla Kubernetes-kluster som körs var som helst så att du kan hantera och konfigurera dem i Azure. Genom att hantera alla dina Kubernetes-resurser i ett enda kontrollplan kan du aktivera en mer konsekvent utvecklings- och driftsupplevelse för att köra molnbaserade appar var som helst och på valfri Kubernetes-plattform.

När Azure Arc-agenterna distribueras till klustret initieras en utgående anslutning till Azure med hjälp av branschstandard-SSL för att skydda data under överföring.

När kluster är anslutna till Azure representeras de som egna resurser i Azure Resource Manager (ARM) och kan ordnas med hjälp av resursgrupper och taggning.

Mer information om Azure Arc och Azure Arc-aktiverade Kubernetes finns i de här artiklarna.

Vad är ett Azure Arc-tillägg?

Tillägg för virtuella datorer (VM) är små program som tillhandahåller konfigurations- och automatiseringsuppgifter efter distributionen på virtuella Azure-datorer. Om en virtuell dator till exempel kräver programvaruinstallation, antivirusskydd eller för att köra ett skript i den, kan ett VM-tillägg användas. Mer information om tillägg finns i Hantering av tillägg för virtuella datorer med Azure Arc-aktiverade servrar.

Azure AI Video Indexer-tillägget installerar och distribuerar Azure AI Video-indexeraren till Kubernetes-klustret.

Alla Azure AI Video Indexer som aktiveras av Arc stöder endast Azure Resource Manager-konton (ARM). ARM-åtgärder frikopplas från videoinsiktsåtgärder. Med den här designen kan du utföra analyser på dina gränsenheter utan att behöva ladda upp dina medietillgångar till Azure.

Azure AI Video Indexer som aktiveras av Arc stöder inte klassiska konton. Mer information om tillbakadragande av klassiska konton finns i Förbereda för AMS-pensionering: VI-migrering och uppdateringsguide

Tillägget stöds endast i scenarier med direktanslutningsläge . Kontrollplansinformation skickas till molnet, till exempel övervakning, användning. Nya tilläggsversioner laddas ned från molnet. Inga kunddata, till exempel vilka videor som indexerades, skickas från gränsen till molnet.

Språkmodeller

Språkmodellen Phi 3 ingår och ansluts automatiskt med ditt VI-tillägg. Du kan börja använda den direkt. Mer information om hur du använder språkmodeller med VI finns i:

Se även den transparansanteckning för textsammanfattning med Vi aktiverat av Arc för maskinvarukrav, begränsningar och kända problem.

Användningsfall

  • Datastyrning – Du kan ta AI:n till innehållet i stället för tvärtom. Använd Azure AI Video Indexer aktiverat av Arc när du inte kan flytta indexerat innehåll från en lokal plats till molnet på grund av:
    • förordning.
    • arkitekturbeslut.
    • datalagret är för stort, vilket gör lift and shift till en betydande ansträngning.
  • Lokalt arbetsflöde – Indexeringsprocessen är en del av ett lokalt arbetsflöde och du vill sänka svarstiden för indexeringstiden som påverkar flödet.
  • Förindexering – Du vill indexera innan du laddar upp innehållet till molnet. För att skapa klarhet kan du försortera ditt lokala video- och/eller ljudarkiv och sedan bara ladda upp det för standard- och/eller avancerad indexering i molnet.

Exempel på distribution

Följande blockdiagram visar Azure AI Video Indexer-tillägget som körs på Azure Arc. Det finns tre typer:

  1. Butikstyp A använder förinställningar för både syn och ljud.
  2. Butikstyp B använder endast förinställningar för syn. Den har också en anpassad modell. Mer information om hur du använder en anpassad modell med Azure AI Video Indexer aktiverat av Arc finns i Bring Your Own AI-modellen.
  3. Store C använder endast ljudförinställningar.

Tillägget lagras på varje gränsenhet och varje enhet är associerad med ett enda Azure AI Video Indexer-konto som samverkar med Azure Arc och molnet.

VI Arc-blockdiagram

AI-förinställningar som stöds

Azure AI Video Indexer som aktiveras av Arc stöder följande indexeringsförinställningar:

Modell Grundläggande video Grundläggande ljud Grundläggande video och ljud
Transkription ✔️ ✔️
Översättning ✔️ ✔️
Bildtext ✔️ ✔️
Identifiering av nyckelram ✔️ ✔️
OCR ✔️ ✔️
Objektidentifiering ✔️ ✔️
Scenidentifiering ✔️ ✔️
Bildidentifiering ✔️ ✔️
Sammanfattas ✔️ ✔️

Minimikrav för maskinvara

Video Indexer aktiverat av Arc är utformat för att köras i valfri Arc-aktiverad Kubernetes-miljö.

Följande lista är de lägsta och rekommenderade kraven om tillägget innehåller stöd för ett enda språk. Om du installerar flera tal- och översättningscontainrar med flera språk ökar du maskinvarukraven i enlighet med detta.

Kommentar

Det här är minimikrav för en produktionsmiljö . Minst ett kluster med 2 noder rekommenderas för hög tillgänglighet och skalbarhet. De rekommenderade inställningarna refererar till klusteromfattande inställningar, så om du till exempel har 2 noder bör varje nod ha 16 kärnor och 32 GB RAM-minne. Vi rekommenderar att du skapar en dedikerad nodpool/automatisk skalningsgrupper som värd för VI-lösningen.

Konfiguration Antal virtuella datorer Antal cpu-kärnor för nod Nod-ram Nodlagring Kommentarer
Minimal 1 32 kärnor 64 GB 50 GB Lagringen måste ha stöd ReadWriteMany för lagringsklassen
Rekommenderat 2 48–64 kärnor 256 GB 100 GB Lagringen måste ha stöd ReadWriteMany för lagringsklassen

Minimikrav för programvara

Komponent Minsta krav
Operativsystem Ubuntu 22.04 LTS eller något Linux-kompatibelt operativsystem
Kubernetes 1,26
Azure CLI 2.48.0

Indataformat och codecs som stöds

Videoformat

  • AVI (.avi)
  • FLV (med H.264 och AAC codecs) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska/WebM (.mkv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (.wav)
  • Webm
  • Windows Media Video (WMV)/ASF (.wmv, .asf)

Video codecs

Här är din alfabetiserade lista:

  • AVC 8-bitars/10-bitars, upp till 4:2:2, inklusive AVCIntra
  • Digital video (DV) (i AVI-filer)
  • DVCPro/DVCProHD (i MXF-container)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (upp till 422 profil och hög nivå; inklusive varianter som Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® och D10)
  • MPEG-4 Del 2
  • VC-1/WMV9

Ljud codecs upp till två spår

  • AAC (AAC-LC, AAC-HE och AAC-HEv2)
  • FLAC
  • MPEG-lager 2
  • MP3 (MPEG-1 Audio Layer 3)
  • VORBIS
  • WAV/PCM
  • Windows Media Audio

Språk som stöds

  • Arabiska (Saudiarabien)
  • Arabiska Egypten
  • Kinesiska (förenklad)
  • English (US)
  • Franska
  • Tyska
  • Italienska
  • Spanska

Ta med din egen modell

Azure AI Video Indexer som aktiveras av Arc har också stöd för att ta med din egen modell. Mer information finns i artikeln Byo (Bring Your Own Model).

Begränsningar

  • Filstorleken som stöds för indexering är upp till 2 GB.
  • Uppgradera tillägget:
    • Tilläggsstöd gäller endast för den senaste versionen.
    • Vi rekommenderar att du anger egenskapen auto-upgrade till true. Den här inställningen håller tillägget uppdaterat.
    • Om inställningen för automatisk uppgradering är inställd på false bör versionsuppgraderingen utföras stegvis. Om du hoppar mellan versioner kan indexeringsprocesser misslyckas.
  • Efter tilläggsinstallationen eller uppgraderingen förväntar du dig att den första varaktigheten för index\översättningsprocessen blir längre. Den längre varaktigheten beror på nedladdning av AI-modellbilder. Varaktigheten varierar beroende på nätverkets hastighet.
  • Endast ett Video Indexer-tillägg kan distribueras per Arc-aktiverat Kubernetes-kluster.
  • Klustrets volymprestanda (baserat på lagringsklass) har stor inverkan på indexeringsjobbets omsättningstid, särskilt eftersom ramextraheringen skriver in alla bildrutor i volymen).
  • Du kan bara använda åtkomsttoken för molnkonton som hämtas via Azure Portal. Åtkomsttoken för molnvideo stöds inte, men med API:et är tilläggsåtkomsttoken tillgängliga och vi stöder alla typer.
  • Videofelmeddelanden lagras inte på grund av minnesbegränsningar.