Azure AI Content Understanding 影片解決方案 （預覽）

重要

• Azure AI Content Understanding 可在預覽中取得。 公開預覽版本提供主動開發中功能的早期存取權。
• 正式運作之前，功能、方法和程式可能會變更或具有限制功能。
• 如需詳細資訊，請參閱 Azure 預覽版Microsoft補充使用規定。

Azure AI Content Understanding 可讓您擷取和自定義影片元數據。 Content Understanding 有助於有效率地管理、分類、擷取和建置影片資產的工作流程。 它可增強您的媒體資產庫、支援醒目提示產生、分類內容等工作流程，並協助應用程式，例如擷取增強世代（RAG）。

影片的內容瞭解具有廣泛的潛在用途。 例如，您可以自定義元數據來標記訓練影片中的特定場景，讓員工更容易找到並重新流覽重要區段。 您也可以使用元數據自定義來識別促銷影片中的產品放置，這有助於行銷小組分析品牌曝光。

商務使用案例

Azure AI Content Understanding 提供一系列商務使用案例，包括：

• 廣播媒體和娛樂：藉由為每個資產產生詳細的元數據，來管理大型的節目、電影和剪輯連結庫。
• 教育與 e*Learning：在教育影片或講座中編製索引並擷取特定時刻。
• 公司訓練：依重要主題、場景或重要時刻組織訓練影片。
• 營銷和廣告：分析促銷影片，以擷取產品位置、品牌外觀和重要訊息。

影片瞭解功能

Content Understanding 會透過可自定義的管線處理影片檔案，以執行內容擷取和字段擷取工作。 內容擷取著重於分析影片以產生基礎元數據，而欄位擷取則使用該元數據來建立針對特定使用案例量身打造的更詳細自定義見解。 以下是每項功能的概觀。

內容擷

影片的內容擷取包括轉譯、拍攝偵測、主要畫面格擷取和臉部群組。 這些作業會透過整個視訊的取樣畫面執行，併產生代表影片的結構化文字輸出。 內容擷取也可做為欄位擷取產生的功能的基礎數據，方法是提供影片中所含內容的內容。

內容擷取的特定功能：

• 轉譯：透過 Azure AI 語音將語音轉換成結構化、可搜尋的文字，讓使用者能夠指定辨識語言。
• 拍攝偵測：識別盡可能與拍攝界限對齊的視訊區段，允許精確編輯和重新封裝內容，並完全在拍攝界限上中斷。
• 主要畫面格擷取：從影片擷取主要畫面格，以完整呈現每個鏡頭，確保每個鏡頭有足夠的主要畫面格，讓字段擷取能夠有效運作。
• 臉部群組：群組的臉部會出現在影片中，以擷取每個人的一個代表性臉部影像，並提供每個人員存在的區段。 群組臉部數據可作為元數據，可用來產生自定義的元數據欄位。
• 這項功能是有限的存取權，涉及臉部識別和群組;客戶必須在臉部辨識註冊存取權。

欄位擷取

欄位擷取可讓您針對視訊的每個區段產生結構化數據，例如標記、類別或描述，並使用根據您的特定需求量身打造的可自定義架構。 此結構化數據可讓您更輕鬆地有效率地組織、搜尋及自動處理影片內容。 欄位擷取使用多模式產生模型從影片擷取特定數據，並使用內容擷取作為輸入的主要畫面格和文字輸出。 欄位擷取可讓產生模型根據從鏡頭擷取的視覺內容，提供詳細的識別。

不同產業的欄位範例：

• 媒體資產管理：

  • 拍攝類型：協助編輯器和製作人組織內容、簡化編輯，以及瞭解影片的視覺語言。 適用於元數據標記和更快速的場景擷取。
  • 色彩配置：傳達情緒和氣氛，對於敘事一致性和觀眾參與至關重要。 識別色彩主題有助於尋找加速視訊編輯的相符剪輯。

• 廣告：

  • 品牌：識別品牌存在、分析廣告影響、品牌可見度與產品關聯至關重要。 這項功能可讓廣告客戶評估品牌突出度，並確保遵守品牌指導方針。
  • 廣告類別：依產業、產品類型或物件區段分類廣告類型，其支援目標廣告策略、分類和績效分析。

重點優勢

相較於其他影片分析解決方案，Content Understanding 提供數個主要優點：

• 以區段為基礎的多框架分析：藉由分析每個視訊區段的多個畫面，而不是個別畫面，來識別動作、事件、主題和主題。
• 自訂：根據您的特定使用案例修改架構，自定義您產生的元數據。
• 產生模型：以自然語言描述您想要擷取的內容，而 Content Understanding 會使用產生模型來擷取該元數據。
• 優化前置處理：執行數個內容擷取前置處理步驟，例如轉譯和場景偵測，已優化以提供豐富的內容給 AI 產生模型。

輸入需求

如需所支援輸入檔格式的詳細資訊，請參閱我們的 服務配額和限制 頁面。

支援的語言和區域

如需支援語言和區域的詳細清單，請瀏覽我們的 語言和區域支援 頁面。

資料隱私權和安全性

如同所有 Azure AI 服務，使用 Content Understanding 服務的開發人員應該注意Microsoft客戶數據的原則。 若要深入瞭解，請參閱我們的 數據、保護和隱私權 頁面。

重要

Content Understanding 的使用者可以啟用視訊臉部群組等功能，這些功能涉及處理生物特徵辨識數據。 如果您使用 Microsoft 產品或服務來處理生物特徵辨識資料，您必須負責：(i) 向資料主體提供通知，包括與保留期間和毀損有關的通知；(ii) 向資料主體取得同意；以及 (iii) 刪除生物特徵辨識資料，應根據適用資料保護要求酌情採取上述措施。 「生物特徵辨識資料」具有 GDPR 第 4 條中所述的意義，以及其他資料保護要求中的對等字詞 (如適用)。 如需相關資訊，請參閱臉部的資料和隱私權。

下一步

• 請嘗試在 Azure 入口網站 中使用 Content Understanding 處理您的視訊內容。
• 深入瞭解影片 分析器範本。