Sdílet prostřednictvím

Azure AI Video Indexer povolený službou Arc (Preview)

  • Článek

Azure AI Video Indexer povolený službou Arc je služba s podporou rozšíření Azure Arc, která spouští analýzu videa a zvuku a generuje AI na hraničních zařízeních. Řešení je navržené tak, aby běžel v Kubernetes s podporou Azure Arc a podporuje mnoho formátů videa, včetně MP4 a dalších běžných formátů. Podporuje několik jazyků ve všech základních modelech souvisejících se zvukem. Předpokládá se, že jeden prostředek Video Indexeru je mapován na jedno rozšíření.

Pokud ještě nejste obeznámeni s Azure AI Video Indexerem, doporučujeme se nejprve seznámit s cloudovou službou.

Než začnete pracovat s Azure AI Video Indexerem povoleným službou Arc, projděte si poznámku transparentnosti a seznamte se s omezeními použití.

Důležité

Pokud chcete úspěšně nasadit rozšíření Azure AI Video Indexer, je povinné , aby vaše ID předplatného Azure bylo schváleno předem. Nejdřív se musíte zaregistrovat pomocí tohoto formuláře.

Co je Kubernetes s podporou Azure Arc a Azure Arc?

Azure Arc zjednodušuje zásady správného řízení a správu složitých prostředí, která se rozšiřují napříč datovými centry, několika cloudy a hraničními zařízeními tím, že poskytuje konzistentní multicloudovou a místní platformu pro správu.

Kubernetes s podporou Azure Arc umožňuje připojit clustery Kubernetes spuštěné kdekoli, abyste je mohli spravovat a konfigurovat v Azure. Díky správě všech prostředků Kubernetes v jedné řídicí rovině můžete povolit konzistentnější prostředí vývoje a provozu pro spouštění aplikací nativních pro cloud kdekoli a na libovolné platformě Kubernetes.

Když se do clusteru nasadí agenti Azure Arc, zahájí se odchozí připojení k Azure pomocí standardního ssl pro zabezpečení přenášených dat.

Jakmile jsou clustery připojené k Azure, jsou reprezentované jako vlastní prostředky v Azure Resource Manageru (ARM) a dají se uspořádat pomocí skupin prostředků a označování.

Další informace o Azure Arc a Kubernetes s podporou Azure Arc najdete v těchto článcích.

Co je rozšíření Azure Arc?

Rozšíření virtuálních počítačů jsou malé aplikace, které poskytují úlohy konfigurace a automatizace po nasazení na virtuálních počítačích Azure. Pokud například virtuální počítač vyžaduje instalaci softwaru, antivirovou ochranu nebo spuštění skriptu, můžete použít rozšíření virtuálního počítače. Další informace o rozšířeních najdete v tématu Správa rozšíření virtuálních počítačů pomocí serverů s podporou Azure Arc.

Rozšíření Azure AI Video Indexer nainstaluje a nasadí indexer Azure AI Video do clusteru Kubernetes.

Všechny indexery Azure AI Video Indexer povolené službou Arc podporují jenom účty Azure Resource Manageru (ARM). Operace ARM jsou oddělené od operací s přehledy videa. Tento návrh umožňuje provádět analýzu na hraničních zařízeních bez nutnosti nahrávat multimediální prostředky do Azure.

Azure AI Video Indexer povolený službou Arc nepodporuje klasické účty. Další informace o vyřazení klasických účtů najdete v tématu Příprava na vyřazení AMS: Migrace VI a průvodce aktualizací

Rozšíření je podporováno pouze ve scénářích režimu přímého připojení. Informace řídicí roviny se odesílají do cloudu, například monitorování, využití. Nové verze rozšíření se stáhnou z cloudu. Žádná zákaznická data, například jaká videa byla indexována, se odesílají z hraničního umístění do cloudu.

Jazykové modely

Jazykový model Phi 3 je součástí a automaticky se připojí k vašemu rozšíření VI. Můžete ho okamžitě začít používat. Další informace o používání jazykových modelů s VI najdete tady:

Projděte si také transparancy poznámku k textové sumarizaci s využitím Vi, která podporuje Arc , pokud jde o hardwarové požadavky, omezení a známé problémy.

Případy použití

  • Zásady správného řízení dat – AI můžete přenést do obsahu místo naopak. Pokud nemůžete přesunout indexovaný obsah z místního prostředí do cloudu, použijte Azure AI Video Indexer povolený službou Arc, protože:
    • regulace.
    • rozhodnutí o architektuře.
    • úložiště dat je příliš velké, což výrazně zvýší úsilí metodou "lift and shift".
  • Místní pracovní postup – Váš proces indexování je součástí místního pracovního postupu a chcete snížit latenci doby trvání indexování, která ovlivňuje tok.
  • Předběžné indexování – Před nahráním obsahu do cloudu chcete indexovat. Pokud chcete získat přehlednost, můžete místní video a/nebo zvukový archiv odeslat jenom pro standardní nebo pokročilé indexování v cloudu.

Příklad nasazení

Následující blokový diagram znázorňuje rozšíření Azure AI Video Indexer spuštěné ve službě Azure Arc. Existují tři typy:

  1. Typ Obchodu A používá předvolby obrazu i zvuku.
  2. Store type B používá pouze předvolby zpracování obrazu. Má také vlastní model. Další informace o použití vlastního modelu s Azure AI Video Indexerem povoleným službou Arc najdete v tématu Používání vlastního modelu AI.
  3. Store C používá pouze předvolby zvuku.

Toto rozšíření se ukládá na každém hraničním zařízení a každé zařízení je přidružené k jednomu účtu Azure AI Video Indexeru, který je propojený s Azure Arc a cloudem.

Diagram bloku VI Arc

Podporované předvolby AI

Azure AI Video Indexer povolený službou Arc podporuje následující předvolby indexování:

Model Základní video Základní zvuk Základní video a zvuk
Přepis ✔️ ✔️
Překlad ✔️ ✔️
Titulkování ✔️ ✔️
Detekce klíčových snímků ✔️ ✔️
OCR ✔️ ✔️
Rozpoznávání objektů ✔️ ✔️
Detekce scén ✔️ ✔️
Detekce snímků ✔️ ✔️
Sumarizace ✔️ ✔️

Minimální požadavky na hardware

Video Indexer povolený službou Arc je navržený tak, aby běžel v libovolném prostředí Kubernetes s podporou Arc.

Následující seznam obsahuje minimální a doporučené požadavky, pokud rozšíření obsahuje podporu jednoho jazyka. Pokud nainstalujete více kontejnerů pro řeč a překlad s několika jazyky, odpovídajícím způsobem zvyšte požadavky na hardware.

Poznámka:

Jedná se o minimální požadavky pro produkční prostředí. Pro zajištění vysoké dostupnosti a škálovatelnosti se doporučuje alespoň cluster se dvěma uzly. Doporučená nastavení se týkají celého clusteru, takže pokud máte například 2 uzly, každý uzel by měl mít 16 jader a 32 GB paměti RAM. Pro hostování řešení VI doporučujeme vytvořit vyhrazený fond uzlů nebo skupiny automatického škálování.

Konfigurace Počet virtuálních počítačů Počet jader procesoru uzlu Ram uzlu Úložiště uzlů Poznámky
Minimum 0 32 jader 64 GB 50 GB Úložiště musí podporovat ReadWriteMany třídu úložiště.
Doporučené 2 48 až 64 jader 256 GB 100 GB Úložiště musí podporovat ReadWriteMany třídu úložiště.

Minimální požadavky na software

Komponenta Minimální požadavky
Operační systém Ubuntu 22.04 LTS nebo jakýkoli operační systém kompatibilní s Linuxem
Kubernetes 1,26
Azure CLI 2.48.0

Podporované formáty vstupu a kodeky

Formáty videa

  • AVI (.avi)
  • FLV (s kodeky H.264 a AAC) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska/WebM (.gb)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (.wav)
  • Webm
  • Windows Media Video (WMV)/ASF (.wmv, .asf)

Videokodeky

Tady je váš abecední seznam:

  • 8bitová/10bitová verze AVC, až 4:2:2, včetně AVCIntra
  • Digitální video (DV) (v souborech AVI)
  • DVCPro/DVCProHD (v kontejneru MXF)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (až 422 Profil a vysoká úroveň; včetně variant, jako jsou Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® a D10)
  • MPEG-4 Část 2
  • VC-1/WMV9

Zvukové kodeky až dvě stopy

  • AAC (AAC-LC, AAC-HE a AAC-HEv2)
  • FLAC
  • MPEG Layer 2
  • MP3 (MPEG-1 Audio Layer 3)
  • VORBIS
  • WAV/PCM
  • Windows Media Audio

Podporované jazyky

  • Arabština (Saúdská Arábie)
  • Arabština Egypt
  • Čínština (zjednodušená)
  • English (US)
  • Francouzština
  • Němčina
  • Italština
  • Španělština

Používání vlastního modelu

Azure AI Video Indexer povolený službou Arc také podporuje zavádění vlastního modelu. Podrobnosti najdete v článku Přineste si vlastní model (BYO ).

Omezení

  • Podporovaná velikost souboru pro indexování je až 2 GB.
  • Upgrade rozšíření:
    • Podpora rozšíření se vztahuje pouze na nejnovější verzi.
    • Tuto vlastnost doporučujeme nastavit auto-upgrade na truehodnotu . Toto nastavení udržuje rozšíření aktuální.
    • Pokud je nastavení automatického upgradu nastavené na false, upgrade verze by se měl provést přírůstkově. Přechod mezi verzemi může způsobit selhání procesů indexování.
  • Po instalaci nebo upgradu rozšíření počítejte s tím, že doba trvání prvního procesu indexu\překladu bude delší. Delší doba trvání je způsobená stažením image modelu AI. Doba trvání se liší v závislosti na rychlosti sítě.
  • Na cluster Kubernetes s podporou Arc je možné nasadit pouze jedno rozšíření Video Indexeru.
  • Výkon svazku clusteru (na základě třídy úložiště) má významný vliv na obrat doby trvání úlohy indexování, zejména proto, že extrakce snímků zapisuje do svazku všechny snímky).
  • Můžete použít pouze přístupové tokeny cloudového účtu získané prostřednictvím webu Azure Portal. Přístupové tokeny cloudového videa se nepodporují, ale s rozhraním API jsou k dispozici přístupové tokeny rozšíření a podporujeme všechny typy.
  • Chybové zprávy videa se neukládají kvůli omezením paměti.