Azure AI 视频索引器发行说明

重新访问此页面以查看最新更新。

为了随时了解最新的 Azure AI 视频索引器开发,本文提供有关以下内容的信息:

  • 最新发布
  • 已知问题
  • 错误修复
  • 已弃用的功能

2025 年 3 月

Azure AI 视频索引器对专用终结点的支持

Azure AI 视频索引工具对专用端点的支持已经全面上线。 借助此,组织可以使用专用终结点增强安全性,以允许虚拟网络上的客户端通过专用链接安全地访问数据。 这可确保数据流量通过Microsoft的主干网络私下传输,而不是使用公共终结点。 若要了解详细信息,请参阅使用 Azure AI 视频索引器的专用终结点

2025 年 2 月

添加了印度尼西亚语和立陶宛语作为源语言

我们添加了对使用印度尼西亚语和立陶宛语源语言的视频的支持。 有关支持的语言列表,请参阅 Azure 视频索引器中的语言支持

小组件 mediator.js 文件的 URL 更改

Azure AI 视频索引器更改了 URL 以访问 mediator.js 文件,这使嵌入式视频播放器和见解小组件能够交互。 如果网站使用 mediator.js 文件,建议在 5 月 1 日之前更新 URL。 旧 URL 在 5 月 1 日停止工作,此后播放器和分析插件将无法交互。

旧 mediator.js URL:https://breakdown.blob.core.windows.net/public/vb.widgets.mediator.js

新 mediator.js URL:https://aka.ms/vi-mediator-file

有关详细信息,请参阅在你的应用或博客中嵌入小组件

多模式视频摘要现已正式发布

多模式视频摘要现已正式可用于 Azure 视频索引器。 此功能使用最新的 LLM 和 SLM 技术(如 Azure Open AI 和 Phi 模型)通过组合多种形式的见解(包括音频、视觉和文本)提供视频内容的综合摘要。

2025 年 1 月

使用 GPT-4o 的多模态视频摘要

我们的多模式视频摘要现在支持 GPT-4o,可生成更准确的摘要。 若要使用多模式视频摘要,请参阅使用文本摘要

使用关键帧增强的多模式文本视频摘要

我们对多模式文本视频摘要功能进行了改进。 更新后的逻辑现在通过集成更相关的关键帧来更好地捕获视频内容,从而生成更准确的摘要。

添加了菲律宾语作为源语言

我们添加了对使用菲律宾语作为源语言的视频的支持。 有关支持的语言列表,请参阅 Azure 视频索引器中的语言支持

添加了用于识别音频中说出来的标点符号的选项

我们在 Upload 和 Reindex API 中添加了新的可选参数 PunctuationMode。 该参数控制在转录音频时是否识别明确说出的标点符号。 例如,当说出“句号”时,它将被记录为句号“.”,而“点点点”将被记录为省略号“...”。 有关详细信息,请访问我们的开发人员门户

2024 年 12 月

使用 Azure Open AI 筛选多模式视频摘要的策略更新

我们更新了用于多模式文本视频摘要中有害内容筛选器的策略。 虽然这些筛选器不再是必需的,但我们仍建议配置这些筛选器,以帮助确保阻止有害内容。 若要完全禁用有害内容筛选器,请通过填写以下表格注册:Azure OpenAI 受限访问审查:修改的内容筛选

此外,文本视频摘要现在支持直接攻击(越狱)提示屏蔽筛选器。 我们建议将此筛选器添加到您的部署中。

有关通过 Azure Open AI 实现多模式视频摘要功能所需筛选器的详细信息,请参阅使用文本摘要

2024 年 11 月

多模式视频摘要 - 云和边缘

我们很高兴介绍多模式视频摘要,它通过分析关键帧以及音频和视频见解来增强文本视频摘要。 此功能既可在由 Azure OpenAI 提供支持的云中使用,也可在由 ARC 支持的 VI 中的边缘上使用。 它利用最新的 Phi3.5 视觉模型,该模型可配置为使用 GPU 运行以提高性能。

增强型提示内容 API

我们的视频转文本 API(也称为 提示内容 API)现在支持更多模型:Llama2、Phi3、Phi3.5、GPT-4O 和 GPT-4O Mini。 此增强功能在将视频内容转换为文本时提供更大的灵活性,并在使用 Azure 视频索引器时为你打开更多机会。 您可以通过选择模型名称并调整提示样式,以自定义的提示格式从 Azure 视频索引器收集信息。 “汇总”样式非常适合视频摘要、命名视频和描述主要事件等任务,而“完整”样式更适用于 Q&A、RAG 和搜索用例。 有关此 API 的详细信息,请参阅 Azure 视频索引器操作和提示内容

2024 年 10 月

新示例代码

我们添加了新的示例代码,用于使用逻辑应用将 Azure AI 视频索引器数据导出到 Azure 数据资源管理器。

2024 年 8 月

增强文本视频摘要的安全性

文本视频摘要现在支持预防越狱攻击的风险。 必须将此新的安全筛选器添加到 AOAI,以便受益于语言模型支持的文本视频摘要功能。 有关详细信息,请参阅 Azure OpenAI 的文本视频摘要。

边缘设备上的文本视频摘要

我们发布了博客文章 Azure AI 视频索引器和 2 Phi-3 在边缘引入了文本视频摘要:“一起更好”情景

2024 年 7 月

由 Arc 启用的 VI 上的文本摘要

使用最新的 Phi 3 模型,通过 Arc 启用的 VI 扩展现在可以使用文本摘要功能。 可以从与云中相同的功能中受益,包括通过多个设置自定义摘要:“正式”、“随意”、“短”和“长”。

语言识别改进

  • 单语言识别的周转时间和质量得到了提高。
  • 如果文件中有多个语言(并且你要求使用单个语言标识):
    • 出现时间最长且最具主导地位的语言将被返回。
    • 该文件包含在原始视频中通过语音识别识别出的所有语言。
  • 脚本仅包括最主导语言的行,不包括包含不同语言的行。

播放器和无障碍功能改进

网站播放器已更新到 Shaka 基础的最新版本。 该播放器也包含在控件中。

网站实现了无障碍功能改进。

2024 年 6 月

代码示例

  • 将 Azure AI 视频索引器与 Microsoft Azure OpenAI 配合使用,使查找相关视频内容更易于学习者和培训人员使用。 请参阅博客文章:使用 Azure AI 视频索引器和源代码增强培训搜索体验。
  • 使用 Azure LogicApps 对视频中检测到的汽车进行分类。 此示例使用视频索引器的“自带”功能来检测对象,并使用 Azure OpenAI 的 GPT-4 来增强分类。 请参阅 YouTube 演示示例代码

增加了文件持续时间限制

所有预设现在都支持长达 6 小时的文件索引(以前的限制为 4 小时),基本音频预设支持长达 12 小时的文件索引。

2024 年 5 月

文本摘要

Azure AI 视频索引器现在简要概述了视频的内容,而无需观看整个视频。 它可以通过压缩长视频并以更短的格式提取要点,来节省时间。 它将冗长的视频提取到简洁、可消化的摘要中。

它使用摘要算法来识别视频最相关的见解。 它包括根据见解在整体主题中的重要性和相关性进行评分。 用户友好的界面允许你输入视频并自定义所需的摘要类型。

你可以通过选择“短”、“长”、“正式”或“随意”来自定义摘要,并指定特定的模型部署。

有关文本摘要的详细信息,请参阅 文本摘要概述

Azure OpenAI 集成

Azure AI 视频索引器现在提供与 Azure OpenAI 的集成。 创建新的 Azure 视频索引器帐户或将其添加到现有的 Azure 视频索引器帐户时,可以连接 Azure OpenAI 资源。 将 VI 连接到 Azure OpenAI 时,可以使用 API 和门户提供的文本摘要功能。

有关将 Azure OpenAI 连接到 VI 帐户的详细信息,请参阅 使用 Azure OpenAI 连接创建或更新 Azure AI 视频索引器帐户。

提示内容 API 的扩展

Azure AI 视频索引器的提示内容 API 现在支持更多语言模型:Phi 2、Llama 和 GPT 4V。 将提示内容 API 与 GPT 4V 配合使用会输出关键帧,这些关键帧可以被语言模型和其他分析见解来解析。

2024 年 4 月

排除模型

现在可以在通过 VI 网站和 API 编制索引时排除模型。 将视频上传到索引时,请选择“高级设置>索引预设”,然后选择要从索引结果中排除的 AI 模型。 这可以实现更高效的索引编制,并且 VI 结果只包含你感兴趣的见解。

新可用性区域

Azure AI 视频索引器现已在德国中西部区域提供。

2024 年 2 月

无 AMS 的账户及迁移指南

  • 所有新的 VI 帐户视频打包、流式处理和编码都由 VI 执行,你将无法再创建基于 AMS 的 VI 帐户。 请参阅新帐户创建指南
  • VI 编码/打包按每分钟一分钱的统一费率计费,支持免费流媒体传输。
  • 可以将 VI 帐户从基于 AMS 的帐户更新为新的无 AMS 帐户类型。
  • 可以选择让 AMS VI 资产由 VI 重新处理和迁移,以便继续访问视频和见解。 迁移从 3 月下旬开始。
  • 视频索引器 Web 应用和小组件使用高性能的新媒体播放器,不再使用 Azure 媒体播放器。

以下文档指导你完成帐户和资产迁移过程:

TLS1.3 支持

我们支持 TLS 1.3(传输层安全性 (TLS) 协议的最新版本,该协议对数据进行加密,以提供两个终结点之间的安全通信通道。

部署在瑞典中部和美国西部的 Azure AI 视频索引器

现在可以在瑞典中部和美国西部 3 区域创建 Azure AI 视频索引器付费帐户。

2024 年 1 月

新 LLM 提示内容

现在可以将视频见解连接到大型语言模型(LLM),以执行摘要和问答等任务。 API 将视频见解转换为“提示就绪”文本格式,以用于 LLM。 有关详细信息,请参阅 带有 LLM 提示的 Azure AI 视频索引器。

2023 年 12 月

新建预设选项 - 基本视频

视频索引器添加了新的索引预设选项“基本视频”。 它也可以在 Arc 启用的 VI 扩展上使用。 它是一个低成本索引选项,其中包含许多有用的 AI 见解,包括 OCR、对象检测和视觉标签。 基本视频可用于与基本音频(基本音频和视频)或单独(仅限基本视频)一起生成见解。 若要了解有关索引选项的详细信息,请参阅 索引配置指南

获取帧 API

现在,可以通过发出 FramesSasUrls 请求,从所选视频部分的索引视频中提取帧。 有关详细信息,请参阅 FrameSelection

自带模型(预览版)更新

  • 添加了对自定义见解的 UI 支持。
  • 添加了对自定义见解的搜索支持。

有关详细信息,请参阅 “自带 AI 模型”。

在 Azure AI 视频索引器网站和 API 上按对象搜索

现在,可以使用搜索功能在 Azure AI 视频索引器网站或使用搜索请求搜索具有特定对象(例如汽车、摩托车等)的视频。

2023 年 11 月

视频索引器在 11 月份发布了以下功能:

Arc 启用的 Azure AI 视频索引器(预览版)

可以通过将视频索引器托管在本地 Kubernetes 群集中,为混合方案使用视频索引器。 有关详细信息,请参阅 Arc 启用的 Azure AI 视频索引器概述。 还可以按照 本教程试用扩展。

自带模型(预览版)

可以使用自己的自定义 AI 模型并将数据与视频索引器模型集成。 有关详细信息,请参阅 “自带 AI 模型”。

每个视频的自定义标记和自由文本(预览)

可以将自定义标记和自由文本作为视频元数据添加到视频索引器帐户中的任何视频。 这样,便可以使用与你和业务相关的任何信息对视频进行分类和批注。 例如,可以添加标记,例如“产品演示”、“客户证词”或“内部培训”或自由文本,例如“此视频演示如何使用我们的新功能 X”或“此视频是在 Y 年会上录制的”。 视频索引完成后,可将其添加到视频下方的区域。

基于自定义标记和自由文本进行搜索(预览版)

可以根据视频的自定义标记和自由文本搜索视频。 这使你能够更轻松地快速查找与条件匹配的视频。 可以基于所有支持语言的自定义标记和自由文本进行搜索,并且可以将它们与其他搜索筛选器(例如关键字、人脸、标签、情感等)组合在一起。还可以使用高级搜索语法来执行更复杂的查询。 例如,可以搜索标记为“产品演示”和自由文本“功能 X”的视频。

我们对定制的人物模型进行了许多改进,从而提高了整体体验和准确性。 人员模型是封闭式 AI 模型,允许你训练自己的模型来识别视频中的特定人员。 新增功能包括:

人员模型质量指示(预览版)

可以获得关于定制人员模型质量的指示(差、一般、良好)。 质量由用于标注的图像数量决定;用于标注人物的图像越多,正确识别人物的概率就越高。 例如,识别具有 24 个标记图像的人员的概率高于识别具有 2 个标记图像的人员的概率。 可以在自定义的“人员”模型页中查看用于标记每个人的图像数。

选择默认自定义人员模型(预览版)

现在可以在 VI 帐户用户级别选择自定义的用户模型作为默认值,因此无需在每次视频上传时选择模型名称。 当你上传需要用自定义人物模型进行分析的视频时,这可以节省时间和精力。

在视频中对未知人员进行分组(预览版)

你可以在视频中看到按外观相似性分组的这些未知人物。 这可以帮助你更轻松、更快速地标注未知人物,并提高自定义人物模型的准确性。 可以在自定义页面中 > 查看未知人员的分组选择 人员 ,然后导航到 未知人员 选项卡。例如,这可以帮助你标记当地名人或当地政治家。

具有已识别人员姓名的最大置信度分数的搜索结果(预览版)

您可以搜索已识别人员的姓名,并获取该人员在视频中出现的时间及其最高置信度分数。 这有助于确定要浏览的最相关的视频。 例如,可以搜索“John Smith”并获取自定义人员模型识别 John Smith 的视频,以及每个视频的置信度分数。

避免重复索引上传

有时,你无意中多次提交相同的索引作业。 为了避免这种情况,添加了 preventDuplicates新的可选查询参数。 当设置为 true时,如果文件已被索引,服务将拒绝上传并返回冲突信息。

上传 URL MD5 重复检查依赖于服务器响应的 Content-md5 标头(如果存在)RFC 1864:Content-MD5 标头字段,因为它通常被存储提供程序使用。

如果要重复上传同一视频,可以将参数设置为 false

2023 年 10 月

新见解 - 对象检测

视频索引器为标准和高级视频预设添加了新的见解,即对象检测。 它可用于识别和跟踪视频中显示的各种对象。 若要了解详细信息,请参阅 Azure AI 视频索引器对象检测概述

2023 年 9 月

由于 2024 年 6 月 30 日停用了 Azure 媒体服务 (AMS),视频索引器宣布了许多相关的停用。 其中包括 2024 年 6 月 30 日停用视频索引器经典帐户、API 更改,并且不再支持自适应比特率。 有关完整详细信息,请参阅与 Azure 媒体服务(AMS)停用相关的更改。

2023 年 7 月

使用 Azure AI 视频索引器 API 对人脸进行修订

现在可以使用 Azure AI 视频索引器 API 来编辑人脸。 有关详细信息,请参阅使用 Azure AI 视频索引器 API 修订人脸

API 请求限制增加

视频索引器将 API 请求限制从每分钟 60 个请求增加到 120 个。

2023 年 6 月

Azure 媒体服务的退役已宣布。

2023 年 5 月

API 更新

我们正在引入一种行为变化,这可能需要您更改现有的查询逻辑。 更改位于 “列表 ”和 “搜索 API”中,查找下表中当前和新行为之间的详细更改。 你可能需要更新代码才能利用新 API

API 当前 更新
列出视频 • 根据“IsBase”布尔参数列出所有视频/项目。 如果未定义“IsBase”,请列出这两者。
• 返回所有状态的视频(进行中/已处理/失败)。
• 列表视频 API 将只返回所有状态下的视频(带有分页)。
• 列表项目 API 仅返回项目(带有分页)。
• 列出视频 API 被划分为两个新的 API:列出视频列出项目
• “IsBase”参数不再具有意义。
搜索视频 • 根据“IsBase”布尔参数搜索所有视频/项目。 如果未定义“IsBase”,请同时搜索两者。
• 搜索所有状态的视频(正在进行/已处理/已失败)。
仅搜索已处理的视频。 • 搜索视频 API 将仅搜索视频,而不搜索项目。
• “IsBase”参数不再具有意义。
• 搜索视频 API 将仅搜索已处理的视频(而不是 Failed/InProgress 视频)。

支持 HTTP/2

为我们的数据平面 API 添加了对 HTTP/2 的支持。 HTTP/2 相较于 HTTP/1.1 提供了多项优势,并且 HTTP/1.1 继续被支持以保持向后兼容性。 HTTP/2 的主要优势之一是提高性能、提高可靠性和降低 HTTP/1.1 的系统资源要求。 通过此更改,我们现在支持视频索引器 门户 和数据平面 API 的 HTTP/2。 建议更新代码以利用此更改。

主题见解改进

我们现在支持所有五个级别的 IPTC 本体。

2023 年 4 月

资源运行状况支持

Azure AI 视频索引器现已与 Azure 资源运行状况集成,使你能够查看每个 Azure AI 视频索引器资源的运行状况和可用性。 Azure 资源运行状况还有助于诊断和解决问题,并且可以设置警报,以在资源受到影响时收到通知。 有关详细信息,请参阅 Azure 资源运行状况概述

动画字符识别模型已停用

动画 字符识别 模型已于 2023 年 3 月 1 日停用。 对于任何相关问题,请通过 Azure 门户提交支持请求

排除敏感 AI 模型

按照Microsoft负责任的 AI 议程,Azure AI 视频索引器现在允许在为媒体文件编制索引时排除特定的 AI 模型。 敏感 AI 模型列表包括:人脸检测、观察的人、情感、标签识别。

此功能目前通过 API 提供,并且可在除高级预设之外的所有预设中使用。

观测到的人员检测改进

有关详细信息,请参阅 选择用例时的注意事项和限制。

2023 年 3 月

支持防火墙后面的存储

最好锁定存储帐户并禁用公共访问,以增强或遵守企业安全策略。 视频索引器现在可以使用托管标识并通过 Azure 受信任服务异常访问非公开存储帐户。 你可以在我们的教程中阅读更多关于如何设置的方法。

新的自定义语音和发音训练

Azure AI 视频索引器添加了新的自定义语音模型体验。 该体验包括能够使用自定义发音数据集来提高识别错误发音字词、短语或名称的能力。 自定义模型可用于提高具有行业特定术语的内容听录质量。 若要了解详细信息,请参阅 自定义语音模型概述

观察到人们素质的提升

观测到的人员现在支持坐着的人。 这是对现有对站立或行走的人的支持的补充。 这种改进使观察到的人模型更通用,适合更广泛的用例。 我们还将模型重新识别和分组算法提高了 50%。 现在,该模型可以更准确地跟踪和分组多个相机视图的人员。

观测到的人员索引持续时间优化

我们优化了观察到的人模型的内存使用情况,在使用高级视频分析预设时,索引持续时间减少了 60%。 现在可以更高效地处理视频片段,更快地获得结果。

2023 年 2 月

定价

2023 年 1 月 1 日,我们推出了用于高级预设的高级音频和视频 SKU。 为了能在 Azure 计费报表上报告每个预设——基本、标准和高级——的使用情况,并显示它们各自不同的计量方式。 也可在 Azure 成本分析报表上查看。

从 2 月 1 日起,我们很高兴在基本音频分析、音频分析和视频分析 SKU 上宣布 40% 的降价。 我们考虑了客户和市场趋势的反馈,做出有利于他们的更改。 通过降低价格并引入新的高级 SKU,我们为客户提供竞争性定价和更多选项来平衡成本和功能。 此外,随着我们继续改进和添加更多 AI 功能,客户在执行新的或重新编制索引操作时,将能够利用这些成本节省。

此更改将自动实施,并且已拥有 Azure 折扣的客户除了新的定价外,还会继续接收这些更改。

充电 基本音频分析 标准音频分析 高级音频分析 标准视频分析 高级视频分析
每输入分钟 $0.0126 $0.024 $0.04 $0.09 $0.15

网络服务标记

视频索引器支持使用网络安全标记来允许来自视频索引器 IP 的网络流量进入网络。 从 1 月 22 日起,我们将网络安全服务标记重命名 AzureVideoAnalyzerForMediaVideoIndexer。 此更改需要更新部署脚本和/或现有配置。 有关详细信息,请参阅我们的 网络安全文档

2023 年 1 月

通知体验

Azure AI 视频索引器网站现在有一个通知面板,你可以随时了解重要产品更新,例如影响服务的事件、新版本等。

文本徽标检测

通过文本徽标检测 ,可以自定义要在视频中检测到的文本徽标。 有关详细信息,请参阅检测文本徽标

切换目录

现在,可以使用 Azure AI 视频索引器网站切换 Entra ID 目录并跨租户管理 Azure AI 视频索引器帐户。

语言支持

  • 现在支持新的语言:爱尔兰语、保加利亚语、加泰罗尼亚语、希腊语、爱沙尼亚语、克罗地亚语、拉脱维亚语、罗马尼亚语、斯洛伐克语、斯洛文尼亚语、泰卢固语、马拉雅拉姆语、卡纳达语、冰岛语、亚美尼亚语、古吉拉特语、马来语和泰米尔语。
  • 使用 API 获取所有支持的语言:获取支持的语言

有关详细信息,请参阅支持的语言

人脸分组

显著减少了 UI 和 insights.json 中的低质量人脸检测次数。 通过改进的分组算法增强了质量和可用性。

2022 年 11 月

现在可以从 Azure AI 视频索引器网站编辑演讲者的姓名

现在,可以使用 Azure AI 视频索引器网站添加新扬声器、重命名已识别的说话人并修改分配给特定脚本行的扬声器。 有关如何从 时间线 窗格中编辑演讲者的详细信息,请参阅 使用 Azure AI 视频索引器网站编辑演讲者。

Azure AI 视频索引器 上传视频索引 API 提供了相同的功能。

2022 年 10 月

新的内置角色:视频索引器受限观看者

受限访问视频索引器受限观看者角色适用于 Azure AI 视频索引器网站用户。 该角色允许的操作与 Azure AI 视频索引器网站 体验相关。

有关详细信息,请参阅使用视频索引器受限观看者角色管理访问权限

静态图像检测见解(预览版)

在使用高级索引选项为视频编制索引时,会自动识别以下静态图像检测(影片后期制作)见解:

  • 使用元数据提取进行 Clapperboard 检测。
  • 数字模式检测,包括色条。
  • 无文本静态图像检测,包括场景匹配。

有关详细信息,请参阅静态图像检测

现在支持乌克兰和越南语的 STT(语音转文本)、翻译和搜索的源语言。 这意味着 Azure AI 视频索引器网站、小组件和 API 也支持这些语言的听录、翻译和搜索功能。

有关详细信息,请参阅支持的语言

通过 API 在听录中编辑说话人的姓名

现在,可以使用 Azure AI 视频索引器 API 编辑听录中演讲者的名称。

带置信度分数的字词级别时间注释

现在支持带置信度分数的字词级别时间注释。

注释是添加到现有文本的任何类型的附加信息,可以是音频文件的听录,也可以是原始文本文件。

有关详细信息,请参阅检查单词级听录行信息

启用索引日志的 Azure Monitor 集成

使用下述新日志集,你可以更好地监视索引管道。

Azure AI 视频索引器现在支持用于索引事件的诊断设置。 现在可以通过诊断设置将监控媒体文件上传和重新索引的日志导出到 Azure Log Analytics、存储、事件中心或第三方解决方案。

通过 Azure AI 视频索引器 API 扩展了 LID 和 MLID 中支持的语言

使用 Azure AI 视频索引器 API 扩展 LID(语言标识)和 MLID(多语言标识)支持的语言。

现在通过 API 支持以下语言:阿拉伯语(阿拉伯联合酋长国)、阿拉伯文现代标准、阿拉伯文埃及、阿拉伯文(伊拉克)、阿拉伯文(约旦)、阿拉伯文(科威特)、阿拉伯文(阿曼)、阿拉伯语(卡塔尔)、阿拉伯文(沙特阿拉伯)、阿拉伯文叙利亚文、捷克语、丹麦语、德语、澳大利亚英语、英国英语、美国英语、西班牙语、西班牙语(墨西哥)、芬兰语。法语(加拿大)、法语、希伯来语、印地语、意大利语、日语、韩语、挪威语、荷兰语、波兰语、葡萄牙语、葡萄牙语(葡萄牙)、俄语、瑞典语、泰国语、土耳其语、乌克兰语、越南语、简体中文、繁体中文。

若要指定在自动检测时由 LID 或 MLID 标识的语言列表,请调用上传视频 API 并将 customLanguages 参数设置为包含上面支持的语言中的语言(最多可包含 10 种语言)。 请注意,customLanguages 中指定的语言是在语言层面进行比较的,因此每种语言应仅包含一个区域设置。

有关详细信息,请参阅支持的语言

使用 API 在人物模型中配置置信度级别

使用补丁人员模型 API 为人员模型中的人脸识别配置置信度级别。

在隐藏式字幕中查看说话人

现在可以在 Azure AI 视频索引器媒体播放器的隐藏式字幕中查看演讲者。 有关详细信息,请参阅 Azure AI 视频索引器网站中的“查看隐藏式字幕”。

使用参数控制人脸和人员边界框

新的 URL 参数 boundingBoxes 可控制在嵌入播放器时设置边界框的开/关选项。 有关详细信息,请参阅嵌入控件

从帐户设置中控制自动播放

通过用户设置来控制在使用 Web 应用打开媒体文件时是否自动播放媒体文件。 导航到 Azure AI 视频索引器网站 - > 齿轮图标 (右上角) -> 用户设置 -> 自动播放媒体文件。

从播放器视图中复制视频 ID

当您在 Azure AI 视频索引器网站 中选择视频时,可以使用 复制视频 ID 功能。

本机 Azure 颜色中的新深色主题

Azure AI 视频索引器网站中选择所需的主题。 选择齿轮图标(右上角)-“用户设置”。

搜索或筛选帐户列表

可以使用帐户名称或区域搜索或筛选帐户列表。 选择 用户帐户,位于 Azure AI 视频索引器网站 的右上角。

2022 年 9 月

基于 ARM 的帐户正式发布

使用基于 Azure 资源管理(ARM)的 付费(无限制) 帐户,可以使用:

若要创建基于 ARM 的帐户,请参阅创建帐户

2022 年 8 月

更新主题推理模型

Azure AI 视频索引器主题推理模型已更新,现在我们提取了 650 多万个主题(例如,涵盖 Covid 病毒等主题)。 若要受益于最近的模型更新,需要重新编制视频文件索引。

主题推理模型现已在 Azure 政府上可用

现在可以在弗吉尼亚州和亚利桑那地区的 Azure 政府利用 Azure AI 视频索引器付费帐户中的主题推理模型。 在此版本中,我们完成了 Azure 全球版与 Azure 政府版之间 AI 能力的等效性。 若要受益于模型更新,需要重新编制视频文件索引。

Azure AI 视频索引器网站中的会话长度现在为 30 天

Azure AI 视频索引器网站会话长度延长至 30 天。 可以保留会话,而无需每隔 1 小时重新登录一次。

2022 年 7 月

利用服装特色见解,可以更有针对性地投放广告。

该见解提供以下信息:视频中个人所穿戴的关键物品以及服装出现的时间戳。 这允许高质量的视频内上下文广告,其中相关服装广告与视频中查看的特定时间匹配。

若要查看受观察人员的特色服装,必须使用 Azure AI 视频索引器高级视频设置为视频编制索引。 有关如何对特色服装图像设置优先级以及如何查看此见解的详细信息,请参阅特色服装

2022 年 6 月

Azure 门户中“创建视频索引器”边栏选项卡的改进

Azure AI 视频索引器现在支持为同一资源使用系统分配的托管标识或系统和用户分配的托管标识来创建新资源。

你还可以使用 Azure 门户中的“标识”选项卡更改主要托管标识。

名人识别和人脸识别功能的首限访问

作为Microsoft对负责任的 AI 的承诺的一部分,我们正在设计和发布 Azure AI 视频索引器 - 识别和名人识别功能。 这些功能旨在保护个人和社会的权利,并培养透明的人机交互。 因此,Azure AI 视频索引器的访问权限和使用受到限制 - 身份识别和名人识别功能。

识别和名人识别功能需要注册,并且仅适用于 Microsoft 托管客户和合作伙伴。 希望使用此功能的客户需要申请并提交登记表。 有关详细信息,请阅读 Azure AI 视频索引器有限访问权限

另请参阅以下资源:公告博客文章面部识别的投资和保障

2022 年 5 月

脚本中的换行符

改进了换行逻辑,以便更好地将脚本拆分为句子。 现在可通过 Azure AI 视频索引器网站使用新的编辑功能,例如添加新行并编辑行的时间戳。 有关详细信息,请参阅插入或删除脚本行

Azure Monitor 集成

Azure AI 视频索引器现在支持审核事件的诊断设置。 现在可以通过诊断设置将审核事件的日志导出到 Azure Log Analytics、存储、事件中心或第三方解决方案。

有了这些新增功能,就可以更轻松地分析数据、监视资源操作,并自动创建流来处理事件。 有关详细信息,请参阅 Monitor Azure AI 视频索引器

视频见解改进

对象字符读取器 (OCR) 改进了 60%。 人脸检测改进了 20%。 在各种视频中,标签准确性改进了 30%。 这些改进在所有区域中立即可用,不需要客户进行任何更改。

服务标记

Azure AI 视频索引器现在是网络服务标记一部分。 视频索引器通常需要访问其他 Azure 资源(例如存储)。 如果使用网络安全组保护发往资源的入站流量,则现在可以选择视频索引器作为内置服务标记的一部分。 这将简化安全管理,因为我们使用公共 IP 填充服务标记。

名人识别切换

现在,您可以在经典帐户中开启或关闭账户级别的名人识别模型。 若要打开或关闭模型,请转到“模型自定义”以打开/关闭模型。 禁用模型后,视频索引器见解不会包括名人模型的输出,也不会运行名人模型管道。

Azure AI 视频索引器存储库名称

截至 5 月 1 日,我们新更新的 Azure AI 视频索引器小组件的存储库已重命名。 请改用 https://www.npmjs.com/package/@azure/video-indexer-widgets

2022 年 4 月

已将 Azure 视频分析器媒体版重命名为 Azure AI 视频索引器

截至目前,用于媒体的 Azure 视频分析器产品名称是 Azure AI 视频索引器 以及所有与产品相关的资产(Web 门户、营销材料)。 这是对 API 和链接没有影响的向后兼容更改。 Azure AI 视频索引器的新徽标:

新徽标

2022 年 3 月

隐藏式字幕文件现在支持包含说话者的属性

使用 Azure AI 视频索引器,您可以下载您选择的隐藏式字幕文件,从中包含说话人的特征。 要包括演讲者的属性,请选择“下载 -> 隐藏式字幕 -> 选择隐藏式字幕可下载文件格式 (SRT、VTT、TTML、TXT 或 CSV) 并选中“包括演讲者”复选框。

小组件产品/服务的改进

进行了以下改进:

  • Azure AI 视频索引器小组件在一个小组件的参数中支持多个区域设置。
  • 见解小组件支持初始搜索参数和多个排序选项。
  • 见解小组件还在删除人脸之前包含一个确认步骤,以避免错误。
  • 小组件自定义现在支持宽度作为字符串(例如 100%、100vw)。

2022 年 2 月

基于政府云中的 ARM 的 Azure AI 视频索引器帐户管理的公共预览版

Azure AI 视频索引器网站现在支持基于 ARM 的公共预览版进行帐户管理(请参阅 2021 年 11 月发行说明)。

利用开放源代码创建基于 ARM 的帐户

添加了新的代码示例,包括用于为解决方案开发人员使用 Azure AI 视频索引器创建、读取、更新和删除 (CRUD) ARM API 的 HTTP 调用。

2022 年 1 月

改进了音频效果检测

音频效果检测能力得到了改进,在以下类别中具有更好的检测率:

  • 人群反应(欢呼、鼓掌和嘘声),
  • 枪声或爆炸,
  • 笑声

有关详细信息,请参阅音频效果检测

网站上对 STT、翻译和搜索的源语言支持

Azure AI 视频索引器在其网站上为 STT(语音转文本)、翻译和搜索引入了希伯来语(he-IL)、葡萄牙语(pt-PT)和波斯语(fa-IR)的源语言支持。 这意味着在 Azure AI 视频索引器网站和小组件中,这些语言的转录、翻译和搜索功能也得到支持。

2021 年 12 月

项目功能现已正式发布

项目功能现已正式发布,可供生产之用。 “预览版向正式发布版”转换对价格没有影响。 请参阅向项目添加视频剪辑

API 级别新增对 STT、翻译和搜索的源语言支持

Azure AI 视频索引器在 API 级别引入了对 STT(语音转文本)、翻译和搜索(he-IL)、葡萄牙语(pt-PT)和波斯语(fa-IR)的源语言支持。

匹配人员检测能力

使用 Azure AI 视频索引器高级视频设置为视频编制索引时,可以查看新的匹配人员检测功能。 如果在你的媒体文件中观察到有多个人,现在可以通过媒体播放器查看与每个人匹配的特定人员。

2021 年 11 月

基于 ARM 的 Azure AI 视频索引器帐户管理的公共预览版

Azure AI 视频索引器引入了基于 Azure 资源管理器(ARM)的帐户管理的公共预览版。 可以利用基于 ARM 的 Azure AI 视频索引器 API 从Azure 门户创建、编辑和删除帐户

注意

政府云包括对 Azure AI 视频索引器 API 和 Azure 门户中基于 CRUD ARM 的帐户的支持。

目前没有来自 Azure AI 视频索引器 网站的支持。

有关详细信息,请访问创建 Azure AI 视频索引器帐户

人的衣服检测

使用 Azure AI 视频索引器的高级视频设置为视频编制索引时,可以查看新人员的服装检测功能。 如果在媒体文件中检测到有人,现在可以通过媒体播放器查看他们所穿的服装类型。

人脸边界框(预览版)

你现在可以在为媒体文件编制索引期间开启检测人脸的边界框。 通过选择标准基本高级索引预设来索引文件时,可以使用人脸边界框功能。

可以通过播放器启用边界框。

2021 年 10 月

使用 Azure AI 视频索引器包在您的应用中嵌入小工具

使用新的 Azure AI 视频索引器(AVAM)@azure/video-analyzer-for-media-widgets npm 包,将组件添加到您的 insights 应用,并根据您的需求进行自定义。

使用新的 AVAM 包,您可以轻松地将我们的小组件嵌入到您的应用中并进行通信,而无需添加 iframe 元素来嵌入信息小组件。 阅读在应用中嵌入和自定义 Azure AI 视频索引器小组件,了解详细信息。 

2021 年 8 月

为视频或音频文件重新编制索引

现在可以选择重新索引在索引过程中失败的视频或音频文件。

改进辅助功能支持

修复了与 CSS、主题设置和辅助功能相关的 bug:

  • 高对比度
  • 门户中的帐户设置和分析视图。

2021 年 7 月

对媒体保留单位进行自动缩放

从 2021 年 8 月 1 日起,Azure AI 视频索引器通过 Azure 媒体服务 启用媒体预留单位(MRU)自动缩放,因此无需通过 Azure AI 视频索引器管理它们。 这将允许价格优化,例如,在许多情况下,自动调整时根据您的业务需求进行降价。

2021 年 6 月

在六个新区域中部署的 Azure AI 视频索引器

现在可以在法国中部、美国中部、巴西南部、美国中西部、韩国中部和日本西部区域创建 Azure AI 视频索引器付费帐户。

2021 年 5 月

Azure AI 视频索引器现在支持语音识别、翻译和搜索中文(粤语)('zh-HK')、荷兰语(荷兰)('nl-NL')、捷克语('cs-CZ')、波兰语('pl-PL')、瑞典语(瑞典)('sv-SE')、挪威语('nb-NO')、芬兰语('fi-FI')、加拿大法语('fr-CA')、泰语('th-TH')、阿拉伯语:(阿拉伯联合酋长国)('ar-AE')、埃及('ar-EG')、伊拉克('ar-IQ')、约旦('ar-JO')、科威特('ar-KW')、黎巴嫩('ar-LB')、阿曼('ar-OM')、卡塔尔('ar-QA')、巴勒斯坦权力机构('ar-PS')、叙利亚('ar-SY'),和土耳其语('tr-TR')。

这些语言在 API 和 Azure AI 视频索引器网站中都可用。 从“视频源语言”下的组合框中选择语言。

Azure AI 视频索引器的新主题

提供了新主题:“Azure”以及“浅色”和“深色”主题。 若要选择主题,请在网站的右上角的齿轮图标上选择,在“用户设置”下查找主题。

可以利用的新开源代码

GitHub 存储库提供三个新的 Git-Hub 项目:

用于在播放器上切换边界框(用于观测到的人员)的新选项

当你通过高级视频设置为视频编制索引时,可以查看我们新的观测到的人员功能。 如果在媒体文件中检测到人员,可以通过媒体播放器对检测到的人员启用边界框。

2021 年 4 月

视频索引器服务已重命名为 Azure AI 视频索引器。

改进了门户中的上传体验

Azure AI 视频索引器在网站中提供了新的上传体验。 若要上传媒体文件,请从“媒体文件”选项卡按“上传”按钮 。

gov-cloud 中提供了新的开发人员门户

Azure AI 视频索引器 API 开发人员门户现在也可用于美国政府版 Azure。

观测到的人员检测(预览版)

Azure AI 视频索引器现在可以识别视频中的人员,并在人员出现在视频帧中时提供信息,例如人员在视频帧中的位置,以及其出现的确切时间戳(开始、结束)。 API 返回每个检测到的人员实例的边界框坐标(以像素为单位),包括其置信度。

例如,如果视频包含人,则检测操作会在视频帧中列出该人员的外貌及其坐标。 可以使用此功能来确定人员在视频中的路径。 还可以确定视频中是否有多个相同人员的实例。

通过选择高级”选项 ->高级视频高级视频 + 音频预设(在“视频 + 音频索引”下)为文件编制索引时,可以使用新添加的观测到的人员检测功能。 标准和基本索引预设不包括此新的高级模型。

选择在 Azure AI 视频索引器网站上查看视频分析洞察时,检测到的人物将显示在页面上,并列出所有检测到的人物缩略图。 可以选择一个人员的缩略图,并查看该人员在视频播放器中的显示位置。

此功能也可以在 Azure AI 视频索引器生成的 JSON 文件中使用。 有关详细信息,请参阅视频中观测到的人员

使用音频效果检测(预览版)检测到声学事件

现在可以在隐藏式字幕文件中查看检测到的声学事件。 可以从 Azure AI 视频索引器网站下载该文件,并可用作 GetArtifact API 中的项目。

音频效果检测(预览版)组件检测各种声学事件,并将它们分类到不同的声学类别(例如枪声、尖叫和人群反应等)。 有关详细信息,请参阅音频效果检测

2021 年 3 月

音频分析

音频分析现在以不同价位在其他新音频功能捆绑包中提供。 新的基本音频分析预设提供一种低成本选项,可以仅提取语音脚本、翻译以及设置输出隐藏式字幕和字幕的格式。 基本音频预设将在帐单上生成两个单独的计量,其中包括用于脚本的行以及用于隐藏式字幕和字幕格式设置的单独行。 有关定价的详细信息,请参阅媒体服务定价页。

通过选择高级选项下拉框中的基本音频预设(位于视频 + 音频索引下拉列表中),即可在编制或重新编制文件索引时使用新添加的组件。

新的开发人员门户

Azure AI 视频索引器具有新的 开发人员门户。 试用新的 Azure AI 视频索引器 API,并在一个位置查找所有相关资源:GitHub 存储库Stack overflowAzure AI 视频索引器技术社区以及相关博客文章、Azure AI 视频索引器常见问题解答用户语音提供反馈和建议功能,以及小组件代码示例的“CodePen”链接

见解小组件的高级自定义功能

SDK 现已提供,可在您自己的服务中嵌入 Azure AI 视频索引器的洞察小部件,并自定义其样式和数据。 SDK 支持标准的 Azure AI 视频索引器见解小组件和完全可自定义的见解小组件。 Azure AI 视频索引器 GitHub 存储库提供了代码示例。 借助此高级自定义功能,解决方案开发人员可以应用自定义样式并引入客户自己的 AI 数据,并在见解小组件中显示这些数据(使用或不使用 Azure AI 视频索引器见解)。

部署在美国中北部、美国西部和加拿大中部的 Azure AI 视频索引器

现在可以在美国中北部、美国西部和加拿大中部区域创建 Azure AI 视频索引器付费帐户。

语音转文本 (STT)、翻译和搜索支持新的源语言

Azure AI 视频索引器现在支持语音转文字 (STT)、翻译和搜索,并支持丹麦语('da-DK')、挪威语('nb-NO')、瑞典语('sv-SE')、芬兰语('fi-FI')、加拿大法语('fr-CA')、泰语('th-TH')、阿拉伯语('ar-BH'、‘ar-EG’、‘ar-IQ’、‘ar-JO’、‘ar-KW’、‘ar-LB’、‘ar-OM’、‘ar-QA’、‘ar-S’ 和‘ar-SY’)及土耳其语('tr-TR')。 这些语言在 API 和 Azure AI 视频索引器网站中均可用。

Azure AI 视频索引器网站中的主题搜索

现在可以使用 Azure AI 视频索引器网站页面顶部的搜索功能来搜索具有特定主题的视频。

2021 年 2 月

多个帐户所有者

帐户所有者角色已添加到 Azure AI 视频索引器。 可以添加、更改和删除用户;更改其角色。 有关如何共享帐户的详细信息,请参阅邀请用户

音频事件检测(公共预览版)

注意

仅在试用帐户中提供此功能。

Azure AI 视频索引器现在在内容的非语音段中检测到以下音频效果:枪声、玻璃粉碎、警报、警笛、爆炸、狗树皮、尖叫、笑声、人群反应(欢呼、鼓掌和嘘声)和沉默。

通过在对文件进行索引时选择高级选项->高级音频预设(在“视频 + 音频索引”下),可使用新添加的音频效果功能。 标准索引将仅包括沉默和人群反应。

现在,将之前音频效果模型中包含的拍手事件类型作为人群反应事件类型的一部分提取。

选择在 Azure AI 视频索引器网站上查看视频见解时,音频效果会显示在页面上。

命名实体增强功能

提取的人员和地点列表已得到扩展和更新。

此外,该模型现在包括背景中不知名的人和地点,比如视频中的“Sam”或“家”。

2021 年 1 月

Azure AI 视频索引器部署在美国政府云上

现在可以在弗吉尼亚州和亚利桑那地区的美国政府云上创建 Azure AI 视频索引器付费帐户。 Azure AI 视频索引器试用版产品/服务在上述区域中不可用。 有关详细信息,请访问 Azure AI 视频索引器文档。

部署在印度中部区域的 Azure AI 视频索引器

现在可以在印度中部区域创建 Azure AI 视频索引器付费帐户。

Azure AI 视频索引器网站体验的新深色模式

Azure AI 视频索引器网站体验现在以深色模式提供。 若要启用深色模式,请打开设置面板,然后启用“深色模式”选项。

2020 年 12 月

部署在瑞士西部和瑞士北部的 Azure AI 视频索引器

现在可以在瑞士西部和瑞士北部区域创建 Azure AI 视频索引器付费帐户。

2020 年 10 月

计划的 Azure AI 视频索引器网站身份验证更改

从 2021 年 3 月 1 日起,你将无法使用 Facebook 或 LinkedIn 注册并登录到 Azure AI 视频索引器网站开发人员门户

你将能够使用以下提供程序之一注册和登录:Entra ID、Microsoft 和 Google。

注意

连接到 LinkedIn 和 Facebook 的 Azure AI 视频索引器帐户在 2021 年 3 月 1 日之后无法访问。

你应该邀请拥有 Entra ID、Microsoft 或 Google 邮箱账号的人加入你的 Azure AI 视频索引器帐户,这样你仍然可以访问。 可以添加支持的提供商的另一位所有者,具体操作步骤请参见邀请
或者,可以创建付费帐户并迁移数据。

2020 年 8 月

Azure AI 视频索引器网站的移动设计

Azure AI 视频索引器网站体验现在支持移动设备。 用户体验可以快速适应你的移动屏幕尺寸(不包括自定义 UI)。

辅助功能改进和错误修复

作为 WCAG(Web 内容辅助功能指南)的一部分,Azure AI 视频索引网站的体验符合 C 级,并符合 Microsoft 辅助功能标准。 解决了与键盘导航、编程访问和屏幕阅读器相关的多个 bug 并进行了与此相关的多项改进。

2020 年 7 月

用于多语言识别的正式发布版

多语言识别已从预览版变为正式发布版,并可投入生产性使用。

“预览版向正式发布版”转换对价格没有影响。

Azure AI 视频索引器网站改进

添加了新的搜索栏,可提供具有附加筛选功能的深度见解搜索。 搜索结果也得到增强。

新的列表视图可以对具有多个文件的视频存档进行排序和管理。

便于选择和配置的新面板

我们添加了一个侧面板,方便进行选择和用户配置,允许简单快速地创建和共享帐户,以及配置设置。

侧面板还用于用户首选项和帮助。

2020 年 6 月

按主题搜索

现在,可以使用搜索 API 搜索具有特定主题的视频(仅限 API)。

主题作为 textScope(可选参数)的一部分添加。 有关详细信息,请参阅 API

标签增强功能

标签标记器已升级,现在包括更多可以识别的视觉标签。

2020 年 5 月

在美国东部部署的 Azure AI 视频索引器

现在可以在美国东部区域创建 Azure AI 视频索引器付费帐户。

Azure AI 视频索引器 URL

Azure AI 视频索引器区域终结点全部统一,仅从 www 开始。 不需要任何操作项。

从现在起,无论是为了嵌入小组件还是登录到 Azure AI 视频索引器网站,你都可以访问 www.videoindexer.ai

同时,wus.videoindexer.ai 将重定向到 www。 有关详细信息,请参见在应用中嵌入 Azure AI 视频索引器小组件

2020 年 4 月

新的小组件参数功能

见解 小组件包括新参数 languagecontrol

播放机小组件具有新的 locale 参数。 localelanguage 参数控制播放机的语言。

有关详细信息,请参阅小组件类型部分。

新播放机外观

推出了更新设计的新玩家皮肤。

为即将推出的更改做好准备

2020 年 1 月

针对其他语言的自定义语言支持

Azure AI 视频索引器现在支持用于ar-SYen-UKen-AU(仅适用于 API)的自定义语言模型。

删除帐户操作时间范围更新

现在,删除帐户操作会在 90 天内(而不是 48 小时内)删除帐户。

新 Azure AI 视频索引器 GitHub 存储库

现在提供了一个新的 Azure AI 视频索引器 GitHub,其中包含不同的项目、入门指南和代码示例: https://github.com/Azure-Samples/media-services-video-indexer

Swagger 更新

Azure AI 视频索引器将 身份验证操作 统一整合为一个 Azure AI 视频索引器 OpenAPI Specification (swagger)。 开发人员可以在 Azure AI 视频索引器开发人员门户中找到 API

2019 年 12 月

使用新 API 更新脚本

使用 Update-Video-Index API 更新脚本中的特定部分。

修复 Azure AI 视频索引器网站的帐户配置

现在,可以更新媒体服务连接配置,以自助解决以下问题:

  • 不正确的 Azure 媒体服务资源
  • 密码更改
  • 媒体服务资源在订阅之间移动

若要修复帐户配置,请在 Azure AI 视频索引器网站中导航到“设置 > 帐户”选项卡(作为所有者)。

配置自定义视觉帐户

使用 Azure AI 视频索引器网站在付费帐户上配置自定义视觉帐户(以前,API 仅支持此帐户)。 为此,请登录到 Azure AI 视频索引器网站,选择“模型自定义 ><模型>> 配置”。

场景、镜头和关键帧现在位于一个见解窗格中

场景、镜头和关键帧现已合并为一个见解,以方便使用和导航。 选择所需的场景后,可以看到它包含的镜头和关键帧。

关于长视频名称的通知

当视频名称超过 80 个字符时,Azure AI 视频索引器在上传时显示描述性错误。

“流式处理终结点已禁用”通知

禁用流式处理终结点后,Azure AI 视频索引器将在播放器页上显示描述性错误。

错误处理改进

状态代码 409 现在将在 重新索引视频更新视频索引 API 中返回,以防止在视频主动索引时意外覆盖当前的重新索引更改。

2019 年 11 月

  • 韩语自定义语言模型支持

    Azure AI 视频索引器现在支持 API 和门户中的韩国语(ko-KR)自定义语言模型。

  • 语音转文本 (STT) 支持新语言

    Azure AI 视频索引器 API 现在支持阿拉伯语 (黎凡坦语) (ar-SY)、英国英语 (en-GB) 和澳大利亚英语 (en-AU) 的 STT 功能。

    对于视频上传,我们将 zh-HANS 替换为 zh-CN,两者均受支持,但建议使用 zh-CN 且其更加准确。

2019 年 10 月

  • 在图库中搜索动画角色

    现在,为动画角色编制索引时,可以在帐户的视频库中搜索它们。

2019 年 9 月

在 IBC 2019 上宣布多项改进:

  • 动画角色识别(公共预览版)

    通过与自定义视觉集成,可以检测、分组并识别动画内容中的角色。

  • 多语言识别(公共预览版)

    检测音轨中包含多种语言的片段,并基于它们创建多语言脚本。 初始支持:英语、西班牙语、德语和法语。 有关详细信息,请参阅 转录多语言内容

  • 人员和位置的命名实体提取

    通过自然语言处理 (NLP) 从语音和视觉文本中提取品牌、位置和人员。

  • 编辑镜头类型分类

    使用编辑类型标记镜头,例如特写、中景镜头、双人镜头、室内、室外等。有关详细信息,请参阅编辑镜头类型检测

  • 主题推理增强功能 - 现在涵盖级别 2

    主题推理模型现在支持 IPTC 分类的更高的细分级别。 在 Azure 媒体服务的全新 AI 支持的创新中阅读完整详细信息。

2019 年 8 月更新

部署在英国南部的 Azure AI 视频索引器

现在可以在英国南部区域创建 Azure AI 视频索引器付费帐户。

新的编辑镜头类型见解可用

视频镜头中添加的新标记可提供编辑“镜头类型”,以使用内容创建工作流中的常用编辑短语对其进行标识,例如:极致特写、特写、广角镜头、中景镜头、双人镜头、室外、室内、左脸和右脸(在 JSON 中可用)。

新人员和位置实体提取可用

Azure AI 视频索引器通过视频的 OCR 和听录中的自然语言处理(NLP)标识命名位置和人员。 Azure AI 视频索引器使用机器学习算法来识别视频中特定位置(例如埃菲尔铁塔)或人物(例如 John Doe)何时被标注。

以本机分辨率提取关键帧

Azure AI 视频索引器提取的关键帧在视频的原始分辨率中可用。

用于训练图像中的自定义人脸模型的正式发布版

图像人脸训练从预览模式变为正式发布版(通过 API 和门户提供)。

注意

从“预览版到正式版”过渡没有定价影响。

用户可以选择在门户中隐藏图库选项卡(类似于隐藏示例选项卡)。

最大 URL 大小已增加

编制视频索引时支持 4096 个字符(而不是 2048 个)的 URL 查询字符串。

多语言项目支持

现在可以根据以不同语言编制索引的视频创建项目(仅限 API)。

2019 年 7 月

编辑器作为小组件

Azure AI 视频索引器的 AI 编辑器功能现已作为小组件提供,用于嵌入到客户应用程序中。

通过门户更新隐藏式字幕文件的自定义语言模型

客户可以在门户的自定义页中提供 VTT、SRT 和 TTML 文件格式作为语言模型的输入。

2019 年 6 月

Azure AI 视频索引器已部署到日本东部

现在可以在日本东部区域创建 Azure AI 视频索引器付费帐户。

创建和修复帐户 API(预览版)

添加了新的 API,使你可以更新 Azure 媒体服务连接终结点或密钥

改进上传时的错误处理

如果基础 Azure 媒体服务帐户配置错误,将返回描述性消息。

播放机时间线关键帧预览

现在,可以查看播放机时间线上每个时间的图像预览。

编辑器准选择

现在,可以查看因在编辑器中选择特定见解时间范围而选中的所有见解的预览。

2019 年 5 月

从隐藏式字幕文件更新自定义语言模型

创建自定义语言模型更新自定义语言模型 API 现在支持使用 VTT、SRT 和 TTML 文件格式作为语言模型的输入。

调用更新视频文字记录 API 时,文字记录会自动添加。 与视频关联的训练模型也会自动更新。 有关如何自定义和训练语言模型的信息,请参阅 使用 Azure AI 视频索引器自定义语言模型。

新的下载脚本格式 - TXT 和 CSV

除了已支持隐藏式字幕格式(SRT、VTT 和 TTML),Azure AI 视频索引器现在还支持以 TXT 和 CSV 格式下载脚本。