テキスト要約を使用する (プレビュー)

この記事では、Azure AI Video Indexer でテキスト要約を使用する方法について説明します。 この例では、Azure OpenAI モデルのデプロイを使用します。

Note

この機能は、標準アカウントでのみ機能します。 標準アカウントを作成します。

前提条件

• texual 要約の概要を確認します。

クラウド

• Azure OpenAI アカウントに接続された Azure AI Video Indexer アカウント 。

• 目的の Azure サブスクリプション内の Azure OpenAI に付与されたアクセス権。 現時点では、このサービスへのアクセスは申請によってのみ許可されます。 Azure OpenAIへのアクセスは、フォームに記入することで申請できます。

• Azure OpenAI gpt-35-turbo または gpt-4 デプロイ。 キーフレーム ベースの概要を活用するには、視覚的な入力を受け入れる Azure Open AI モデルを選択する必要があります。 詳細については、<Azure OpenAI サービス モデルを参照してください。

• 直接攻撃のプロンプト シールド (脱獄) フィルターをデプロイに追加する必要があります。 詳細については、<Azure OpenAI Service でコンテンツ フィルター (プレビュー) を使用するを参照してください。

• "暴力"、"ヘイト"、"性的"、"自傷行為" などのカテゴリに有害なコンテンツ フィルターを構成することをお勧めします。 これらのフィルターは必須ではありませんが、少なくとも中レベルの有害性のコンテンツを除外するには、"Medium" または "Low" に設定する必要があります。 この設定により、有害性レーティングが中以上のコンテンツがブロックされます。 安全性を高める場合は、より厳密な設定を選択できます。 構成したら、コンテンツ フィルターの設定を保存してください。

• Azure AI Video Indexer ライブラリにアップロードされたビデオ。

Note

Azure AI Video Indexer は、微調整されたモデルに接続できません。

Edge

Arc で有効になっている Azure AI Video Indexer を使用すると、エッジ デバイスで Azure AI Video Indexer を使用できます。 このユース ケースの技術的要件を次に示します。

• バージョン番号 1.1.23 以降の Arc で Video Indexer Enabled。
• ハードウェア要件: GPU または Intel CPU。 CPU での実行は非常に遅く、推奨されない場合があります。Nvidia V100 以降を使用することをお勧めします。 複数の GPU ノードがある場合は、ノード セレクターを追加して目的のノードを選択できます。
• 概要の一部として keyframes を使用するには、Nvidia A100 以降が必要です。
• Edge 上のテキスト ビデオ要約では、Phi3.5 モデルのみが使用されます。 ハードウェアの詳細については、Phi 3.5 の公式リリース情報を参照してください。

ブラウザーで Web ページを開く

必要な Web ページを既に開いている場合は、次の手順に従う方が簡単です。 次のパラメーターをコピーして、お気に入りのテキスト エディターに貼り付けます。 作業を開始するための一覧を次に示します。

• VI アカウント ID:
• ビデオ ファイル ID:
• 展開名:
• アクセス トークン:

1. Azure ポータルを開き 1 つのタブまたはウィンドウでサインインします。
   1. アカウント ID の Azure AI Video Indexer アカウント ページに移動します。
   2. Azure OpenAI アカウント ページに移動します
      1. メニューから [モデルデプロイ] を選択し、[デプロイの管理] を選択します。 Azure OpenAI Studio が開きます。 使用するデプロイ名をコピーします。
2. Azure AI Video Indexer Web ポータルを開き別のタブまたはウィンドウでサインインします。
   1. ライブラリ ページに移動し、ビデオを選択し、ビデオ ファイル ID を右クリックします。
3. 別のタブまたはウィンドウで Azure AI Video Indexer API を開き、サインインします。

Web

キーフレームの有無に関係なくテキストの概要を生成する

Azure AI Video Indexer Web ポータルを使用して、テキストを集計できます。

1. Web ポータルをまだ開いていない場合は、 Azure AI Video Indexer Web ポータルを開きます。
2. ファイルをアップロードし、インデックスが作成されるまで待ちます。
3. ビデオを選択してメディア ページに移動します。
4. キーフレームを使用してサマリーを生成する場合は、[視覚的なキーフレーム分析情報を含める] チェックボックスをオンにして、品質を向上させます。
5. [概要 生成を選択します。 テキストの概要が生成されます。

Note

[概要の生成] ボタンが表示されない場合は、試用版アカウントを使用している可能性があります。 この機能を使用するには標準アカウントを作成します。

概要のカスタマイズ

概要が生成されたら、概要スタイルをカスタマイズするか、モデルのデプロイを変更することで、概要を調整できます。

概要スタイルをカスタマイズする

[サマリーのカスタマイズ]アイコンを選択して、概要をカスタマイズすることもできます。 Short、**Medium、またはLongサマリーの長さから選択でき、サマリー スタイルとしてNeutral、Casual、またはFormalを選択できます。 選択したら、 Generate を再度選択。

モデルのデプロイを変更する

1. [サマリーのカスタマイズ] アイコンを選択します。
2. Model deployment ドロップダウン リストから、使用するモデル デプロイを選択します。
3. Generate をもう一度選択。

Note

モデルのデプロイは、モデルとフィルターの組み合わせであることを忘れないでください。 さらに、テキストの概要をカスタマイズするたびに、API PUT 要求を表します。

API

ビデオの概要を作成する

アクセス トークンを生成する

Azure portal でアクセス トークンを生成します。

1. Azure AI Video Indexer アカウントに移動します。
2. メニューから Management を選択し、 Management API を選択します。
3. Permission種類のドロップダウンから、Contributor を選択します。
4. Scope ドロップダウンから Account を選択します。
5. 生成を選択します。 アクセス トークンが生成されます。
6. アクセス トークンをクリップボードにコピーします。

テキスト エディターでビデオの概要を作成するために必要なすべてのパラメーターが用意されている必要があります。

1. Azure AI Video Indexer API ページで、 ummarization を検索します。
2. ビデオの概要の横にある [作成] ボタンを選択。 [API パラメーター] ウィンドウが開きます。
3. クリップボードのアクセス トークンを accessToken フィールドに貼り付けます。
4. locationドロップダウン リストから場所を選択します。
5. vi アカウント ID をコピーし、 accountId フィールドに貼り付けます。
6. ビデオ ファイル ID をコピーし、 videoId フィールドに貼り付けます。
7. lengthドロップダウン リストから、概要の長さ (中、短、または長) を選択します。
8. スタイルドロップダウン リストから、スタイル、ニュートラル、カジュアル、またはフォーマルを選択します。
9. [Send] を選択します。

応答には、概要 ID があります。 その ID をクリップボードにコピーします。

ビデオの概要を取得する

まず、概要の状態を確認します。 概要ジョブが完了するまで、状態の値には "処理中" と表示されますが、応答に概要はありません。 概要ジョブが完了すると、応答に概要が表示されます。

1. GET ビデオの概要を選択します。
2. アカウント ID、ビデオ ID、概要 ID、アクセス トークンを適切なフィールドに入力します。
3. [Send] を選択します。

Note

要約に関する回答には、常に免責事項があります。 また、 Location ヘッダーにはジョブ状態 API へのリンクがあります。

ビデオの概要を一覧表示する

ビデオの概要をページごとに一覧表示できます。 GET リスト ビデオの概要を選択し既に説明されているのと同じパラメーターを使用します。 概要の大きな一覧がある場合は、ページ パラメーターを使用してページ内の応答を返します。 GET ビデオの概要要求の概要 ID を使用します。

ビデオの概要を削除する

ビデオの概要の削除は、DEL Delete Video Summary を選択し、同じパラメーターを使用して、[ Send を選択するのと同じくらい簡単です。

エラー コード

要求	状態コード	エラー メッセージ	エラーの種類	理由	対応策
Create-Video-Summary	400	アカウントが Azure OpenAI に接続されていない	INVALID_INPUT		Azure portal に移動し、アカウントを接続します。
Create-Video-Summary	400	次の名前のデプロイが見つかりません: {deploymentName}	INVALID_INPUT		デプロイ名の文字列を確認します。
Create-Video-Summary	400	このモデルでは、概要の生成はサポートされていません。	INVALID_INPUT		別のモデルを選択する
Create-Video-Summary	400	有害なコンテンツを表示しないように、AI モデルにコンテンツ フィルターを追加する必要があるため、概要を生成できませんでした。 " + $"次のポリシーを追加します: {string。Join(",", Enum.GetValues<FilterType>().Where(type => type != FilterType.JailBreak)}}" + $"両方のソース {FilterSource.Prompt} と {FilterSource.Completion} の両方について、AllowedContentLevel を少なくとも {AllowedContentLevel.Medium} に設定します。	SUMMARY_FILTERS_NOT_FOUND		エラー メッセージを表示します。
Create-Video-Summary	400	ビデオが見つかりませんでした	VIDEO_NOT_FOUND
Create-Video-Summary	400	ビデオのインデックス作成がまだ正常に完了していない	VIDEO_ALREADY_IN_PROGRESS
Create-Video-Summary	400	概要の長さの値 '{length}' が無効です	INVALID_INPUT
Create-Video-Summary	400	概要スタイル値 '{style} が無効です	INVALID_INPUT
Get-Video-Summary	200	NA	NA
Get-Video-Summary	404	ビデオ '{videoId}' の概要 '{summaryId}' が見つかりません	NOT_FOUND
Get-Video-Summary	200	ビデオ コンテンツに有害なフラグが設定されたため、概要を生成できませんでした。 詳細については、「 Content フィルター」を参照してください。	NA	ビデオ内のすべてのセクションでコンテンツ フィルターがトリガーされました。	特定のビデオに対する解決策はありません。
Get-Video-Summary	200	概要を生成するのに十分な情報がありません。	NA	Azure OpenAI のプロンプトを作成するための十分な情報がビデオ分析情報に含まれていない	ビデオのプリセットにすべてのモデルが含まれていない場合は、オーディオを含むより高度なプリセットでインデックスを再作成すると役立つ可能性があります。
Get-Video-Summary	200	リソース {_resourceName} の Azure OpenAI デプロイを取得できませんでした
Get-Video-Summary	200	デプロイ {DeploymentName} が存在しません
Get-Video-Summary	200	Azure OpenAI にアクセスできませんでした。 後で概要をもう一度実行してみてください。			後で要約ジョブをもう一度試してください。
Create-Video-Summary				ロールの割り当てなし
Get-Video-Summary				ロールの割り当てなし

トラブルシューティング

特定のソリューションを探す前に、ドキュメントの Prerequisites セクションでリソースを作成していることを確認してください。

概要の生成が表示されない

Azure OpenAI アカウントを Azure AI Video Indexer アカウントに正しく接続していない可能性があります。

概要を生成できませんでした

• 有害なコンテンツを表示しないように、展開にコンテンツ フィルターを追加する必要があります。 Azure OpenAI Studio に戻り、デプロイにフィルターを追加します。
• 機密性の高いコンテンツや有害なコンテンツを含むコンテンツに対して、制限の緩やかなコンテンツ フィルターを作成している可能性があります。 コンテンツ フィルターは、少なくとも中である必要があります。 コンテンツ フィルターを [中] に設定すると、有害なコンテンツはビデオに残り、フィルターがトリガーされます。 この場合、解決策はありません。
• トランスクリプトを要求していないか、インデックス作成プロセス中に十分な情報が生成されない可能性があります。
• 高度なプリセットを使用している可能性があります。
• 変換を作成するのに十分なオーディオがビデオにない可能性があります。

モデルのデプロイを使用できない、またはデプロイが見つからない

• デプロイを作成していない可能性があります。
• 誰かがデプロイされたモデルを変更または削除した可能性があります。

調整

VIに送信される要求が多すぎる可能性があります。 数分置いてからもう一度お試しください。

"フィルターが見つかりません" というエラーが表示される

フィルターが見つからないエラーが発生した場合は、不足している内容を説明する詳細なエラーが表示されます。 エラーは次のようになりますが、他の不足している内容の詳細が含まれている可能性があります。

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

Note

脱獄 フィルターは、2024 年 11 月 1 日時点でキーフレーム ベースの概要または通常の概要を使用する場合にのみ必要です。

脱獄の問題を解決するには:

1. [ Go to Azure Open AI Studio を選択します。
2. [デプロイ] を選択します。
3. 使用しているデプロイを選択します。
4. 編集を選択します。
5. 各カテゴリに対して少なくとも中レベルを持つフィルターを構成します。
6. 脱獄攻撃 シールドを適用します。
7. [コンテンツ フィルター] を選択します。

その他の考慮事項

同じリージョンに Azure AI Video Indexer アカウントと Azure OpenAI アカウントを作成することをお勧めします。または、パフォーマンスの問題が発生する可能性があります。