通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Azure AI 内容理解视频解决方案（预览版）

  • 项目

重要

  • Azure AI 内容理解目前处于预览状态。 通过公共预览版，可以提前访问当前处于正在开发状态的功能。
  • 正式发布 (GA) 之前，功能、方法和流程可能会发生更改或具有受限的功能。
  • 有关详细信息，请参阅 Microsoft Azure 预览版补充使用条款。

Azure AI 内容理解支持提取并自定义视频元数据。 内容理解有助于高效管理、分类、检索视频资产并为其构建工作流。 它可增强媒体资源库，支持诸如精彩片段生成等工作流，对内容进行分类，并为检索增强生成 (RAG) 等应用提供便利。

视频的内容理解具有广泛的潜在用途。 例如，你可以自定义元数据来标记培训视频中的特定场景，从而让员工能更轻松地定位并回顾重要部分。 你还可以利用元数据自定义来识别宣传视频中的产品植入，这有助于营销团队分析品牌曝光度。

业务用例

Azure AI 内容理解提供了一系列商业用例，包括：

  • 广播媒体与娱乐：通过为每个资产生成详细的元数据来管理大量的节目、电影和剪辑库。
  • 教育与在线学习：对教育视频或讲座中的特定时刻进行索引并检索。
  • 企业培训：按关键主题、场景或重要时刻组织培训视频。
  • 营销和广告：分析促销视频以提取产品植入情况、品牌出现情况和关键信息。

视频理解功能

视频分析器流的屏幕截图。

内容理解通过一个可自定义的管道来处理视频文件，该管道能够执行内容提取和字段提取任务。 内容提取侧重于分析视频以生成基础元数据，而字段提取则利用该元数据创建更详细的针对特定用例的自定义见解。 下面是每个功能的概述。

内容提取

视频的内容提取包括转录、镜头检测、关键帧提取以及人脸分组。 这些操作是针对整个视频的采样帧执行的，并生成表示该视频的结构化文本输出。 内容提取还通过提供视频所含内容的上下文，为字段提取的生成能力提供基础数据。

内容提取的特定功能：

  • 转录：通过 Azure AI 语音将语音转换为结构化的、可搜索的文本，允许用户指定识别语言。
  • 镜头检测：尽可能识别出与镜头边界相契合的视频片段，从而能够在镜头边界处精准地对内容进行编辑和重新打包。
  • 关键帧提取：从视频中提取关键帧以完整呈现每个镜头，确保每个镜头都有足够的关键帧，以便字段提取能够有效工作。
  • 人脸分组：对视频中出现的人脸进行分组，为每个人提取一张具有代表性的人脸图像，并提供每个人脸出现的片段。 分组后的人脸数据可作为元数据使用，并可用于生成自定义的元数据字段。
    • 此功能为受限访问，涉及人脸识别和分组；客户需要通过人脸识别进行注册以获取访问权限。

字段提取

字段提取能够针对视频的每个片段，使用根据你的特定需求自定义的架构生成结构化数据，比如标记、类别或描述。 这种结构化数据使得对视频内容进行高效的组织、搜索和自动化处理变得更加容易。 字段提取使用多模态生成式模型从视频中提取特定数据，其输入是内容提取所得到的关键帧和文本输出。 字段提取使得生成式模型能够基于从镜头中捕获的视觉内容做出详细的分析见解，从而提供详细的识别信息。

不同行业的字段示例：

  • 媒体资产管理：

    • 镜头类型：有助于编辑人员和制片人对内容进行整理，简化编辑工作，并理解视频的视觉语言。 有助于元数据标记和更快的场景检索。
    • 配色方案：传达情绪和氛围，对叙事连贯性和吸引观众至关重要。 识别颜色主题有助于找到匹配的剪辑，以加快视频编辑速度。

  • 广告：

    • 品牌：识别品牌状态，这对于分析广告影响、品牌知名度以及与产品的关联至关重要。 此功能使广告商能够评估品牌的突出程度，并确保符合品牌推广指南。
    • 广告类别：按照行业、产品类型或受众细分对广告类型进行分类，这有助于制定有针对性的广告策略、进行分类以及开展效果分析。

关键优势

与其他视频分析解决方案相比，内容理解具有若干关键优势：

  • 基于片段的多帧分析：通过分析每个视频片段中的多个帧而非单个帧来识别动作、事件、主题和主旨。
  • 自定义：通过根据特定用例修改架构来自定义所生成的元数据。
  • 生成式模型：用自然语言描述你想要提取的内容，然后内容理解会使用生成式模型来提取该元数据。
  • 优化预处理：执行多个内容提取预处理步骤，比如转录和场景检测，这些步骤经过优化以便为 AI 生成式模型提供丰富的上下文。

输入要求

有关支持的输入文档格式的详细信息，请参阅服务配额和限制页。

支持的语言和区域

有关支持的语言和区域的详细列表，请访问我们的语言和区域支持页面。

数据隐私和安全性

与所有 Azure AI 服务一样，使用内容理解服务的开发人员应该了解 Microsoft 针对客户数据的政策。 有关详细信息，请参阅我们的数据、保护和隐私页面。

重要

内容理解的用户可以启用诸如视频人脸分组之类的功能，这涉及到处理生物特征数据。 如果使用 Microsoft 产品或服务处理生物特征数据，你需要负责以下事项：(i) 向数据主体提供通知，包括有关保留期和销毁的通知；(ii) 从数据主体处获得同意；(iii) 根据适用的数据保护要求删除生物特征数据。 “生物特征数据”具有 GDPR 第 4 条所述含义，以及其他数据保护要求中的等效术语（如果适用）。 如需相关信息，请参阅人脸的数据和隐私。

后续步骤