Azure AI Content Understanding 비디오 솔루션(미리 보기)

아티클
01/14/2025

Important

Azure AI Content Understanding은 미리 보기로 제공됩니다. 공개 미리 보기 릴리스는 활성 개발 중인 기능에 대한 초기 액세스를 제공합니다.
기능, 접근 방식 및 프로세스는 GA(일반 공급) 전에 기능이 변경되거나 제한될 수 있습니다.
자세한 내용은 Microsoft Azure 미리 보기에 대한 추가 사용 약관을 참조하세요.

Azure AI Content Understanding을 사용하면 비디오 메타데이터를 추출하고 사용자 지정할 수 있습니다. Content Understanding은 비디오 자산에 대한 워크플로를 효율적으로 관리, 분류, 검색 및 빌드하는 데 도움이 됩니다. 미디어 자산 라이브러리를 향상시키고, 강조 표시 생성과 같은 워크플로를 지원하고, 콘텐츠를 분류하며, RAG(검색 보강 세대)와 같은 애플리케이션을 용이하게 합니다.

비디오에 대한 콘텐츠 이해는 광범위한 잠재적 용도로 사용됩니다. 예를 들어 메타데이터를 사용자 지정하여 교육 비디오에서 특정 장면에 태그를 지정하여 직원이 중요한 섹션을 더 쉽게 찾고 다시 방문할 수 있습니다. 메타데이터 사용자 지정을 사용하여 마케팅 팀이 브랜드 노출을 분석하는 데 도움이 되는 프로모션 비디오에서 제품 배치를 식별할 수도 있습니다.

비즈니스 사용 사례

Azure AI Content Understanding은 다음을 비롯한 다양한 비즈니스 사용 사례를 제공합니다.

브로드캐스트 미디어 및 엔터테인먼트: 각 자산에 대한 자세한 메타데이터를 생성하여 쇼, 영화 및 클립의 대규모 라이브러리를 관리합니다.
교육 및 e*Learning: 교육 비디오 또는 강의에서 특정 순간을 인덱싱하고 검색합니다.
회사 교육: 주요 주제, 장면 또는 중요한 순간에 따라 교육 비디오를 구성합니다.
마케팅 및 광고: 홍보 동영상을 분석하여 제품 배치, 브랜드 모양 및 주요 메시지를 추출합니다.

비디오 이해 기능

비디오 분석기 흐름의 스크린샷.

Content Understanding은 콘텐츠 추출 및 필드 추출 작업을 모두 수행할 수 있는 사용자 지정 가능한 파이프라인을 통해 비디오 파일을 처리합니다. 콘텐츠 추출은 비디오를 분석하여 기본 메타데이터를 생성하는 데 중점을 두고, 필드 추출은 해당 메타데이터를 사용하여 특정 사용 사례에 맞게 보다 상세하고 사용자 지정 인사이트를 만듭니다. 다음은 각 기능에 대한 개요입니다.

콘텐츠 추출

비디오에 대한 콘텐츠 추출에는 전사, 샷 감지, 키 프레임 추출 및 얼굴 그룹화가 포함됩니다. 이러한 작업은 전체 비디오에서 샘플링된 프레임을 통해 수행되며 비디오를 나타내는 구조화된 텍스트 출력을 생성합니다. 콘텐츠 추출은 비디오에 포함된 내용에 대한 컨텍스트를 제공하여 필드 추출의 생성 기능을 위한 접지 데이터로도 사용됩니다.

콘텐츠 추출의 특정 기능:

전사: Azure AI Speech를 통해 음성을 구조적 검색 가능한 텍스트로 변환하여 사용자가 인식 언어를 지정할 수 있도록 합니다.
샷 감지: 가능한 경우 샷 경계에 맞춰진 비디오 세그먼트를 식별하여 샷 경계에서 정확히 중단된 내용으로 콘텐츠를 정확하게 편집하고 다시 패키징할 수 있습니다.
키 프레임 추출: 비디오에서 키 프레임을 추출하여 각 샷을 완전히 나타내며, 각 샷에 필드 추출이 효과적으로 작동할 수 있도록 충분한 키 프레임이 있는지 확인합니다.
얼굴 그룹화: 비디오에 나타나는 그룹화된 얼굴을 사용하여 각 사용자에 대해 하나의 대표 얼굴 이미지를 추출하고 각 얼굴이 있는 세그먼트를 제공합니다. 그룹화된 얼굴 데이터는 메타데이터로 사용할 수 있으며 사용자 지정된 메타데이터 필드를 생성하는 데 사용할 수 있습니다.
- 이 기능은 액세스가 제한되며 얼굴 식별 및 그룹화가 포함됩니다. 고객은 Face Recognition에서 액세스를 등록해야 합니다.

필드 추출

필드 추출을 사용하면 특정 요구 사항에 맞게 조정된 사용자 지정 가능한 스키마를 사용하여 태그, 범주 또는 설명과 같은 비디오의 각 세그먼트에 대해 구조화된 데이터를 생성할 수 있습니다. 이 구조화된 데이터를 사용하면 비디오 콘텐츠를 효율적으로 쉽게 구성, 검색 및 자동으로 처리할 수 있습니다. 필드 추출은 다중 모드 생성 모델을 사용하여 콘텐츠 추출의 키 프레임 및 텍스트 출력을 입력으로 사용하여 비디오에서 특정 데이터를 추출합니다. 필드 추출을 사용하면 생성 모델이 샷에서 캡처한 시각적 콘텐츠를 기반으로 자세한 인사이트를 만들어 자세한 식별을 제공할 수 있습니다.

다양한 산업 분야의 예:

미디어 자산 관리:
- 샷 유형: 편집기와 제작자가 콘텐츠를 구성하고 편집을 간소화하며 비디오의 시각적 언어를 이해하는 데 도움이 됩니다. 메타데이터 태그 지정 및 더 빠른 장면 검색에 유용합니다.
- 색 구성표: 내러티브 일관성과 뷰어 참여에 필수적인 분위기와 분위기를 전달합니다. 색 테마를 식별하면 가속화된 비디오 편집을 위해 일치하는 클립을 찾는 데 도움이 됩니다.
광고:
- 브랜드: 광고 영향, 브랜드 가시성 및 제품과의 관계를 분석하는 데 중요한 브랜드 존재를 식별합니다. 이 기능을 통해 광고주는 브랜드의 명성을 평가하고 브랜딩 지침을 준수할 수 있습니다.
- 광고 범주: 대상 광고 전략, 분류 및 성과 분석을 지원하는 업계, 제품 유형 또는 대상 그룹 세그먼트별로 광고 유형을 분류합니다.

주요 혜택

Content Understanding은 다른 비디오 분석 솔루션과 비교할 때 몇 가지 주요 이점을 제공합니다.

세그먼트 기반 다중 프레임 분석: 개별 프레임이 아닌 각 비디오 세그먼트에서 여러 프레임을 분석하여 작업, 이벤트, 토픽 및 테마를 식별합니다.
사용자 지정: 특정 사용 사례에 따라 스키마를 수정하여 생성한 메타데이터를 사용자 지정합니다.
생성 모델: 추출하려는 콘텐츠를 자연어로 설명하고 Content Understanding은 생성 모델을 사용하여 해당 메타데이터를 추출합니다.
최적화된 전처리: AI 생성 모델에 풍부한 컨텍스트를 제공하도록 최적화된 전사 및 장면 검색과 같은 여러 콘텐츠 추출 전처리 단계를 수행합니다.

입력 요구 사항

지원되는 입력 문서 형식에 대한 자세한 내용은 서비스 할당량 및 제한 페이지를 참조하세요.

지원되는 언어 및 지역

지원되는 언어 및 지역의 자세한 목록은 언어 및 지역 지원 페이지를 참조하세요.

데이터 개인 정보 보호 및 보안

모든 Azure AI 서비스와 마찬가지로 Content Understanding 서비스를 사용하는 개발자는 고객 데이터에 대한 Microsoft의 정책을 알고 있어야 합니다. 자세한 내용은 데이터, 보호 및 개인 정보 보호 페이지를 참조하세요.