Video řešení Azure AI Content Understanding (Preview)

Důležité

• Služba Azure AI Content Understanding je dostupná ve verzi Preview. Verze Public Preview poskytují dřívější přístup k funkcím, které jsou v aktivním vývoji.
• Funkce, přístupy a procesy se můžou před obecnou dostupností měnit nebo mít omezené možnosti.
• Další informace najdete v dodatečných podmínkách použití pro verze Preview Microsoft Azure.

Azure AI Content Understanding umožňuje extrahovat a přizpůsobit metadata videa. Content Understanding pomáhá efektivně spravovat, kategorizovat, načítat a sestavovat pracovní postupy pro video assety. Vylepšuje knihovnu mediálních prostředků, podporuje pracovní postupy, jako je generování zvýraznění, kategorizuje obsah a usnadňuje aplikace, jako je načítání rozšířené generace (RAG).

Porozumění obsahu pro video má širokou škálu využití. Metadata můžete například přizpůsobit tak, aby v školicím videu označí konkrétní scény, aby zaměstnanci snadněji našli důležité oddíly a znovu se k němu mohli vrátit. Přizpůsobení metadat můžete použít také k identifikaci umístění produktů v propagačních videích, což pomáhá marketingovým týmům analyzovat vystavení značky.

Obchodní případy použití

Azure AI Content Understanding poskytuje celou řadu případů obchodního použití, mezi které patří:

• Vysílání médií a zábavy: Spravujte velké knihovny pořadů, filmů a klipů generováním podrobných metadat pro každý prostředek.
• Vzdělávání a e*Učení: Indexování a načítání konkrétních momentů ve vzdělávacích videích nebo přednáškách.
• Firemní školení: Uspořádejte školicí videa podle klíčových témat, scén nebo důležitých momentů.
• Marketing a reklama: Analyzujte propagační videa za účelem extrakce umístění produktů, vzhledu značky a klíčových zpráv.

Možnosti porozumění videím

Content Understanding zpracovává videosoubory prostřednictvím přizpůsobitelného kanálu, který může provádět úlohy extrakce obsahu i extrakce polí. Extrakce obsahu se zaměřuje na analýzu videa za účelem generování základních metadat, zatímco extrakce polí používá tato metadata k vytvoření podrobnějších vlastních přehledů přizpůsobených konkrétním případům použití. Sledování je přehled jednotlivých funkcí.

Extrakce obsahu

Extrakce obsahu pro video zahrnuje přepis, detekci snímků, extrakci snímků klíčů a seskupování tváří. Tyto operace se provádějí přes vzorkované snímky z celého videa a generují výstup strukturovaného textu představujícího video. Extrakce obsahu slouží také jako podkladová data pro generování schopností extrakce polí tím, že poskytuje kontext toho, co je obsaženo ve videu.

Specifické možnosti extrakce obsahu:

• Přepis: Převádí řeč na strukturovaný, prohledávatelný text prostřednictvím služby Azure AI Speech a umožňuje uživatelům zadat jazyky rozpoznávání.
• Detekce snímků: Identifikuje segmenty videa zarovnané s hranicemi snímků, kde je to možné, což umožňuje přesné úpravy a opětovné zabalení obsahu s přerušeními přesně na hranicích snímků.
• Extrakce klíčových snímků: Extrahuje klíčové snímky z videí, aby představovaly každý snímek úplně a zajistilo, že každý snímek má dostatek klíčových snímků, aby extrakce polí fungovala efektivně.
• Seskupení tváří: Seskupené tváře zobrazené ve videu pro extrahování jednoho reprezentativního obrázku tváře pro každou osobu a poskytují segmenty, ve kterých se nachází každý z nich. Seskupené data tváře jsou k dispozici jako metadata a dají se použít k vygenerování přizpůsobených polí metadat.
• Tato funkce je omezená přístup a zahrnuje identifikaci a seskupování tváří; zákazníci se musí zaregistrovat pro přístup k rozpoznávání tváře.

Extrakce polí

Extrakce polí umožňuje generování strukturovaných dat pro každý segment videa, jako jsou značky, kategorie nebo popisy, pomocí přizpůsobitelného schématu přizpůsobeného vašim konkrétním potřebám. Tato strukturovaná data usnadňují efektivní uspořádání, vyhledávání a automatické zpracování obsahu videa. Extrakce polí používá multimodální model generování k extrakci konkrétních dat z videa pomocí klíčových snímků a textového výstupu z extrakce obsahu jako vstupu. Extrakce polí umožňuje generovanému modelu vytvářet podrobné přehledy na základě vizuálního obsahu zachyceného ze snímků, který poskytuje podrobnou identifikaci.

Příklady polí pro různá odvětví:

• Správa mediálních prostředků:

  • Typ snímku: Pomáhá editorům a producentům uspořádat obsah, zjednodušit úpravy a porozumět vizuálnímu jazyku videa. Užitečné pro označování metadat a rychlejší načítání scény.
  • Barevné schéma: Vyjadřuje náladu a atmosféru, která je nezbytná pro konzistenci vyprávění a zapojení diváků. Identifikace barevných motivů pomáhá při hledání odpovídajících klipů pro zrychlené úpravy videa.

• Reklama:

  • Značka: Identifikuje přítomnost značky, kritickou pro analýzu dopadu reklamy, viditelnosti značky a přidružení k produktům. Tato schopnost umožňuje inzerentům posoudit hlavní značky a zajistit dodržování pokynů pro branding.
  • Kategorie reklam: Kategorizuje typy reklam podle odvětví, typu produktu nebo segmentu cílové skupiny, která podporuje cílené reklamní strategie, kategorizaci a analýzu výkonu.

Klíčové výhody

Služba Content Understanding nabízí v porovnání s jinými řešeními analýzy videa několik klíčových výhod:

• Analýza více snímků založená na segmentech: Identifikujte akce, události, témata a motivy tím, že analyzujete více snímků z jednotlivých segmentů videa, a ne jednotlivé snímky.
• Přizpůsobení: Upravte metadata, která vygenerujete úpravou schématu v souladu s vaším konkrétním případem použití.
• Generování modelů: Popis obsahu, který chcete extrahovat, v přirozeném jazyce a Služba Content Understanding používá k extrakci metadat generační modely.
• Optimalizované předběžné zpracování: Proveďte několik kroků předběžného zpracování extrakce obsahu, jako je přepis a detekce scén, optimalizované tak, aby poskytovaly bohatý kontext pro generování modelů AI.

Požadavky na vstup

Podrobné informace o podporovaných formátech vstupních dokumentů najdete na stránce s kvótami a limity služeb.

Podporované jazyky a oblasti

Podrobný seznam podporovaných jazyků a oblastí najdete na naší stránce podpory jazyků a oblastí.

Ochrana osobních údajů a zabezpečení dat

Stejně jako u všech služeb Azure AI by vývojáři, kteří používají službu Content Understanding, měli vědět o zásadách Microsoftu na zákaznických datech. Další informace najdete na stránce s informacemi o datech , ochraně a ochraně osobních údajů .

Důležité

Uživatelé služby Content Understanding můžou povolit funkce, jako je seskupování tváří pro videa, která se týkají zpracování biometrických dat. Pokud ke zpracování biometrických údajů používáte produkty nebo služby Společnosti Microsoft, zodpovídáte za: (i) poskytování oznámení subjektům údajů, včetně doby uchovávání informací a zničení; ii) získání souhlasu subjektů údajů; a (iii) odstranění biometrických údajů podle příslušných požadavků na ochranu údajů. "Biometrické údaje" budou mít význam stanovený v článku 4 GDPR a v případě potřeby ekvivalentní podmínky v jiných požadavcích na ochranu údajů. Související informace najdete v tématu Data a Ochrana osobních údajů pro rozpoznávání tváře.

Další kroky

• Zkuste zpracovat obsah videa pomocí služby Content Understanding na webu Azure Portal.
• Přečtěte si další informace o šablonách analyzátoru videa.