Verwenden von Textzusammenfassungen (Vorschau)

In diesem Artikel erfahren Sie, wie Sie textbezogene Zusammenfassungen mit Azure AI Video Indexer verwenden. In diesem Beispiel werden Azure OpenAI-Modellbereitstellungen verwendet.

Hinweis

Dieses Feature funktioniert nur mit einem Standardkonto. Erstellen Sie ein Standardkonto.

Voraussetzungen

• Sehen Sie sich die Übersicht über die texuelle Zusammenfassung an.

Cloud

• Ein Azure AI Video Indexer-Konto, das mit einem Azure OpenAI-Konto verbunden ist.

• Zugriff auf Azure OpenAI im gewünschten Azure-Abonnement gewährt. Derzeit wird der Zugriff auf diesen Dienst nur auf Antrag gewährt. Sie können den Zugriff auf Azure OpenAI beantragen, indem Sie das Formular unter ausfüllen.

• Eine Azure OpenAI gpt-35-Turbo- oder gpt-4-Bereitstellung . Um von keyframesbasierten Zusammenfassungen zu profitieren, müssen Sie ein Azure Open AI-Modell auswählen, das visuelle Eingaben akzeptiert. Weitere Informationen finden Sie hier: Azure OpenAI Service-Modelle.

• Der Bereitstellung sollten die Prompt Shields für direkte Angriffe (Jailbreak) hinzugefügt werden. Weitere Informationen finden Sie hier: Verwenden Sie Inhaltsfilter (Vorschau) mit Azure OpenAI Service.

• Es wird empfohlen, schädliche Inhaltsfilter für Kategorien wie "Gewalt", "Hass", "Sexual" und "Selbstschäden" zu konfigurieren. Obwohl diese Filter nicht obligatorisch sind, sollten Sie sie entweder auf "Mittel" oder "Niedrig" festlegen, um Inhalte von mindestens der mittleren Ebene der Schädlichkeit herauszufiltern. Diese Einstellung stellt sicher, dass Inhalte mit einer Schädlichkeitsbewertung von medium oder höher blockiert werden. Für erhöhte Sicherheit können Sie sich für eine strengere Einstellung entscheiden. Nach der Konfiguration speichern Sie die Inhaltsfiltereinstellungen.

• Ein Video, das in Ihre Azure AI Video Indexer-Bibliothek hochgeladen wurde.

Hinweis

Azure AI Video Indexer kann keine Verbindung mit fein abgestimmten Modellen herstellen.

Microsoft Edge

Azure AI Video Indexer, aktiviert von Arc, ermöglicht Ihnen die Verwendung von Azure AI Video Indexer auf Edgegeräten. Im Folgenden sind die technischen Anforderungen für diesen Anwendungsfall aufgeführt:

• Videoindexer Aktiviert von Arc der Versionsnummer 1.1.23 oder höher.
• Hardwareanforderungen: GPU oder Intel CPU. Die Ausführung auf der CPU ist möglicherweise sehr langsam und wird nicht empfohlen. Wir empfehlen die Verwendung von Nvidia V100 oder höher. Wenn mehrere GPU-Knoten vorhanden sind, können Sie einen Knotenmarkierer hinzufügen, um den gewünschten Knoten auszuwählen.
• Die Verwendung von Keyframes als Teil der Zusammenfassung erfordert Nvidia A100 oder höher.
• Textbezogene Videozusammenfassung auf Edge verwendet nur das Phi3.5-Modell. Weitere Hardwareinformationen finden Sie in den offiziellen Phi 3.5-Versionsinformationen.

Öffnen von Webseiten in Ihrem Browser

Es ist einfacher, diese Anweisungen zu befolgen, wenn Sie bereits die erforderlichen Webseiten geöffnet haben. Kopieren Sie die folgenden Parameter, und fügen Sie sie in Ihren bevorzugten Text-Editor ein. Hier ist eine Liste für die ersten Schritte:

• VI-Konto-ID:
• Videodatei-ID:
• Bereitstellungsname:
• Zugriffstoken:

1. Öffnen Sie die Azure-Portal auf einer Registerkarte oder einem Fenster, und melden Sie sich an.
   1. Navigieren Sie zur Azure AI Video Indexer-Kontoseite für die Konto-ID.
   2. Navigieren zur Azure OpenAI-Kontoseite
      1. Wählen Sie im Menü "Modellbereitstellungen" und dann "Bereitstellungen verwalten" aus. Das Azure OpenAI Studio wird geöffnet. Kopieren Sie den Bereitstellungsnamen, den Sie verwenden möchten.
2. Öffnen Sie das Azure AI Video Indexer-Webportal auf einer anderen Registerkarte oder einem anderen Fenster, und melden Sie sich an.
   1. Navigieren Sie zur Bibliotheksseite, wählen Sie ein Video aus, und klicken Sie dann mit der rechten Maustaste darauf, um die Videodatei-ID anzuzeigen.
3. Öffnen Sie die Azure AI Video Indexer-API auf einer anderen Registerkarte oder einem anderen Fenster, und melden Sie sich an.

Web

Generieren einer Textzusammenfassung mit oder ohne Keyframes

Sie können das Azure AI Video Indexer-Webportal verwenden, um Text zusammenzufassen.

1. Wenn Sie das Webportal noch nicht geöffnet haben, öffnen Sie das Azure AI Video Indexer-Webportal.
2. Laden Sie eine Datei hoch, und warten Sie, bis sie indiziert wird.
3. Wählen Sie das Video aus, um zur Medienseite zu navigieren.
4. Wenn Sie Keyframes verwenden möchten, um die Zusammenfassung zu erstellen, aktivieren Sie das Kontrollkästchen Visuelle Keyframeeinblicke einschließen, um ein besseres Zusammenfassungskontrollkästchen zu erhalten.
5. Wählen Sie "Zusammenfassung generieren" aus. Die Textzusammenfassung wird generiert.

Hinweis

Wenn die Schaltfläche "Zusammenfassung generieren" nicht angezeigt wird, verwenden Sie möglicherweise ein Testkonto. Erstellen Sie ein Standardkonto , um dieses Feature zu verwenden.

Zusammenfassungsanpassungen

Nachdem die Zusammenfassung generiert wurde, können Sie Anpassungen daran vornehmen, indem Sie den Zusammenfassungsstil anpassen oder die Modellbereitstellung ändern.

Anpassen des Zusammenfassungsformats

Sie können die Zusammenfassung auch anpassen, indem Sie das Symbol "Zusammenfassung anpassen" auswählen. Sie können zwischen kurzen, **Mittleren oder langen Sammellängen wählen, und Sie können "Neutral", "Casual" oder "Formal" als Zusammenfassungsformat auswählen. Nachdem Sie Ihre Auswahl getroffen haben, wählen Sie "Generieren" erneut aus.

Ändern der Modellbereitstellung

1. Wählen Sie das Symbol "Zusammenfassung anpassen" aus.
2. Wählen Sie die Modellbereitstellung aus der Dropdownliste " Modellbereitstellung " aus.
3. Wählen Sie "Generieren" erneut aus.

Hinweis

Denken Sie daran, dass die Modellbereitstellung eine Kombination aus Dem Modell und den Filtern ist. Jedes Mal, wenn Sie die Textzusammenfassung anpassen, stellt sie eine API PUT-Anforderung dar.

API

Erstellen einer Videozusammenfassung

Erstellen eines Zugriffstokens

Generieren Sie ein Zugriffstoken im Azure-Portal:

1. Navigieren Sie zu Ihrem Azure AI Video Indexer-Konto.
2. Wählen Sie im Menü die Verwaltungs-API aus.
3. Wählen Sie im Dropdownmenü "Berechtigungstyp" die Option "Mitwirkender" aus.
4. Wählen Sie in der Dropdownliste "Bereich" die Option "Konto" aus.
5. Wählen Sie Generieren aus. Das Zugriffstoken wird generiert.
6. Kopieren Sie das Zugriffstoken in die Zwischenablage.

Sie sollten alle Parameter haben, die zum Erstellen einer Videozusammenfassung erforderlich sind, um in Ihren Text-Editor zu gelangen.

1. Suchen Sie auf der Seite azure AI Video Indexer API nach Zusammenfassungen.
2. Wählen Sie die Schaltfläche " Ausprobieren" neben " Videozusammenfassung erstellen" aus. Der Bereich "API-Parameter" wird geöffnet.
3. Fügen Sie das Zugriffstoken in die Zwischenablage in das AccessToken-Feld ein.
4. Wählen Sie den Speicherort aus der Dropdownliste des Speicherorts aus.
5. Kopieren Sie die VI-Konto-ID, und fügen Sie sie in das Feld "accountId " ein.
6. Kopieren Sie die Videodatei-ID, und fügen Sie sie in das Feld "videoId " ein.
7. Wählen Sie die Länge der Zusammenfassung, mittel, kurz oder lang aus der Dropdownliste länge aus.
8. Wählen Sie in der Dropdownliste " Stil " die Formatvorlage, "neutral", "lässig" oder "formal" aus.
9. Wählen Sie Send (Senden) aus.

In der Antwort gibt es eine Zusammenfassungs-ID. Kopieren Sie diese ID in die Zwischenablage.

Abrufen einer Videozusammenfassung

Überprüfen Sie zunächst den Zusammenfassungsstatus. Bis der Sammelauftrag abgeschlossen ist, zeigt der Statuswert "Verarbeitung", aber es gibt keine Zusammenfassung in der Antwort. Wenn der Sammelauftrag abgeschlossen ist, wird die Zusammenfassung in der Antwort angezeigt.

1. Wählen Sie "VIDEOzusammenfassung ABRUFEN" aus.
2. Geben Sie die Konto-ID, die Video-ID, die Zusammenfassungs-ID und das Zugriffstoken in die entsprechenden Felder ein.
3. Wählen Sie Send (Senden) aus.

Hinweis

In der Antwort zur Zusammenfassung steht immer ein Haftungsausschluss zur Verfügung. Außerdem gibt es einen Link zur Auftragsstatus-API im Location-Header .

Videozusammenfassungen auflisten

Sie können die Videozusammenfassungen nach Seite auflisten. Wählen Sie GET List Video Summaryes aus, und verwenden Sie die gleichen Parameter, die bereits beschrieben wurden. Wenn eine große Liste von Zusammenfassungen vorhanden ist, verwenden Sie die Seitenparameter, um die Antwort auf Seiten zurückzugeben. Verwenden Sie die Zusammenfassungs-ID für die GET Video Summary-Anforderung.

Löschen einer Videozusammenfassung

Das Löschen der Videozusammenfassung ist so einfach wie das Auswählen der ENTF-Videozusammenfassung mit denselben Parametern und der Auswahl von "Senden".

Fehlercodes

Anfordern	Statuscode	Fehlermeldung	Fehlertyp	Ursache	Abmilderung
Create-Video-Summary	400	Das Konto ist nicht mit Azure OpenAI verbunden.	INVALID_INPUT		Wechseln Sie zum Azure-Portal, und verbinden Sie ein Konto.
Create-Video-Summary	400	Keine Bereitstellung mit diesem Namen gefunden: {deploymentName}	INVALID_INPUT		Überprüfen Sie die Zeichenfolge für den Bereitstellungsnamen.
Create-Video-Summary	400	Dieses Modell unterstützt das Generieren von Zusammenfassungen nicht.	INVALID_INPUT		Auswählen eines anderen Modells
Create-Video-Summary	400	Eine Zusammenfassung konnte nicht generiert werden, da das KI-Modell Inhaltsfilter hinzugefügt haben muss, um zu vermeiden, dass schädliche Inhalte angezeigt werden. " + $"Fügen Sie die folgenden Richtlinien hinzu: {string. Join(",", Enum.GetValues<FilterType>(). Where(type => type != FilterType.JailBreak)}." + $"Set the AllowedContentLevel to at mindestens {AllowedContentLevel.Medium} for both sources {FilterSource.Prompt} and {FilterSource.Completion}	SUMMARY_FILTERS_NOT_FOUND		Siehe Fehlermeldung.
Create-Video-Summary	400	Video nicht gefunden.	VIDEO_NOT_FOUND
Create-Video-Summary	400	Die Videoindizierung wurde noch nicht erfolgreich abgeschlossen.	VIDEO_ALREADY_IN_PROGRESS
Create-Video-Summary	400	Ungültiger Wert für die Länge der Zusammenfassung '{length}'	INVALID_INPUT
Create-Video-Summary	400	Ungültiger Wert für die Zusammenfassungsformatvorlage '{style}'	INVALID_INPUT
Get-Video-Summary	200	NA	NA
Get-Video-Summary	404	Die Zusammenfassung '{summaryId}' für Video '{videoId}' wurde nicht gefunden.	NOT_FOUND
Get-Video-Summary	200	Eine Zusammenfassung konnte nicht generiert werden, da der Videoinhalt als schädlich gekennzeichnet wurde. Weitere Informationen finden Sie unter Inhaltsfilter	Nicht verfügbar	Alle Abschnitte im Video haben den Inhaltsfilter ausgelöst.	Es gibt keine Lösung für das bestimmte Video.
Get-Video-Summary	200	Nicht genügend Informationen, um eine Zusammenfassung zu generieren.	Nicht verfügbar	Die Videoeinblicke enthalten nicht genügend Informationen, um Aufforderungen für Azure OpenAI zu erstellen	Wenn die Voreinstellung des Videos nicht alle Modelle enthält, kann die erneute Indizierung mit einer erweiterten Voreinstellung, die Audio enthält, hilfreich sein.
Get-Video-Summary	200	Azure OpenAI-Bereitstellungen für Ressource {_resourceName} konnten nicht abgerufen werden.
Get-Video-Summary	200	Die Bereitstellung {DeploymentName} ist nicht vorhanden.
Get-Video-Summary	200	Azure OpenAI konnte nicht erreicht werden. Führen Sie die Zusammenfassung später erneut aus.			Versuchen Sie es später erneut mit dem Zusammenfassungsauftrag.
Create-Video-Summary				Keine Rollenzuweisung
Get-Video-Summary				Keine Rollenzuweisung

Problembehandlung

Bevor Sie nach bestimmten Lösungen suchen, stellen Sie sicher, dass Sie die Ressourcen im Abschnitt "Voraussetzungen" des Dokuments erstellt haben.

"Zusammenfassung generieren" wird nicht angezeigt

Möglicherweise haben Sie Ihr Azure OpenAI-Konto nicht ordnungsgemäß mit dem Azure AI Video Indexer-Konto verbunden.

Zusammenfassung konnte nicht generiert werden

• Sie müssen der Bereitstellung Inhaltsfilter hinzufügen, um zu vermeiden, dass schädliche Inhalte angezeigt werden. Kehren Sie zum Azure OpenAI-Studio zurück, und fügen Sie Ihrer Bereitstellung Filter hinzu.
• Möglicherweise haben Sie einen zulässigen Inhaltsfilter für Inhalte erstellt, die vertrauliche oder schädliche Inhalte enthalten. Der Inhaltsfilter muss mindestens mittelgroß sein. Wenn Sie den Inhaltsfilter auf "Mittlere UND schädliche Inhalte" festlegen, wird der Filter ausgelöst. In diesem Fall gibt es keine Lösung.
• Möglicherweise haben Sie nicht nach einer Transkription gefragt, oder es sind möglicherweise nicht genügend Informationen vorhanden, die während des Indizierungsprozesses generiert werden.
• Möglicherweise verwenden Sie eine erweiterte Voreinstellung.
• Das Video enthält möglicherweise nicht genügend Audio, um eine Transformation zu erstellen.

Es ist nicht möglich, eine Modellbereitstellung oder Bereitstellung zu verwenden, die nicht vorhanden ist.

• Möglicherweise haben Sie keine Bereitstellung erstellt.
• Möglicherweise hat jemand das bereitgestellte Modell geändert oder gelöscht.

Drosselung

Möglicherweise werden zu viele Anforderungen an VI gesendet. Warten Sie einige Minuten und versuchen Sie es noch einmal.

Sie erhalten die Fehlermeldung "Filter nicht gefunden"

Wenn ein Filter nicht gefunden wurde, erhalten Sie einen detaillierten Fehler, der beschreibt, was fehlt. Der Fehler sieht ähnlich wie folgt aus, hat aber möglicherweise Details zu anderen fehlenden Elementen:

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

Hinweis

Der Jailbreak-Filter ist nur erforderlich, wenn ab dem 1. November 2024 eine Keyframes-basierte Zusammenfassung oder eine reguläre Zusammenfassung verwendet wird.

So beheben Sie das Jailbreak-Problem:

1. Wählen Sie "Gehe zu Azure Open AI studio" aus.
2. Wählen Sie Bereitstellungen aus.
3. Wählen Sie die Bereitstellung aus, mit der Sie arbeiten.
4. Wählen Sie Bearbeiten aus.
5. Konfigurieren Sie die Filter so, dass für jede Kategorie mindestens eine mittlere Ebene vorhanden ist.
6. Wenden Sie Eingabeaufforderungsschilde für Jailbreak-Angriffe an.
7. Wählen Sie Filter erstellen aus.

Andere Aspekte

Es wird empfohlen, die Azure AI Video Indexer- und Azure OpenAI-Konten in derselben Region zu erstellen oder Leistungsprobleme auftreten.