Używanie podsumowania tekstowego (wersja zapoznawcza)

W tym artykule pokazano, jak używać podsumowania tekstowego w usłudze Azure AI Video Indexer. W tym przykładzie użyto wdrożeń modeli usługi Azure OpenAI.

Uwaga

Ta funkcja działa tylko z kontem standardowym. Utwórz konto standardowe.

Wymagania wstępne

• Zapoznaj się z omówieniem podsumowania texual.

Chmura

• Konto usługi Azure AI Video Indexer połączone z kontem usługi Azure OpenAI.

• Dostęp jest udzielany usłudze Azure OpenAI w żądanej subskrypcji platformy Azure. Obecnie dostęp do tej usługi jest udzielany tylko przez aplikację. Możesz ubiegać się o dostęp do usługi Azure OpenAI, wypełniając formularz.

• Wdrożenie usługi Azure OpenAI gpt-35-turbo lub gpt-4 . Aby skorzystać z podsumowań opartych na ramkach kluczowych, musisz wybrać model usługi Azure Open AI, który akceptuje dane wejściowe wizualizacji. Przeczytaj więcej tutaj: Modele usługi Azure OpenAI Service.

• Filtr Prompt Shields for direct attacks (jailbreak) powinien zostać dodany do wdrożenia. Przeczytaj więcej tutaj: Używanie filtrów zawartości (wersja zapoznawcza) z usługą Azure OpenAI Service.

• Zaleca się skonfigurowanie szkodliwych filtrów zawartości dla kategorii, takich jak "Przemoc", "Nienawiść", "Seksualna" i "Samookaleczenia". Chociaż te filtry nie są obowiązkowe, należy ustawić je na "Średni" lub "Niski", aby odfiltrować zawartość co najmniej średni poziom szkodliwej wartości. To ustawienie gwarantuje, że zawartość o klasyfikacji szkodliwej średniej lub wyższej jest blokowana. W celu zwiększenia bezpieczeństwa możesz wybrać bardziej rygorystyczne ustawienie. Po skonfigurowaniu zapisz ustawienia filtru zawartości.

• Wideo przekazane do biblioteki usługi Azure AI Video Indexer.

Uwaga

Usługa Azure AI Video Indexer nie może nawiązać połączenia z dostosowanymi modelami.

Edge

Usługa Azure AI Video Indexer włączona przez usługę Arc umożliwia korzystanie z usługi Azure AI Video Indexer na urządzeniach brzegowych. Poniżej przedstawiono wymagania techniczne dotyczące tego przypadku użycia:

• Usługa Video Indexer włączona przez usługę Arc numeru wersji 1.1.23 lub nowszej.
• Wymagania sprzętowe: procesor GPU lub procesor INTEL. Działanie na procesorze CPU może być bardzo powolne i nie jest zalecane. Zalecamy korzystanie z systemu Nvidia V100 lub nowszego. Jeśli istnieje wiele węzłów procesora GPU, możesz dodać selektor węzła, aby wybrać żądany węzeł.
• Użycie klatek kluczowych w ramach podsumowania wymaga systemu Nvidia A100 lub nowszego.
• Textual Video Summarization on Edge używa tylko modelu Phi3.5. Aby uzyskać więcej informacji o sprzęcie, zapoznaj się z oficjalnymi informacjami o wersji Phi 3.5.

Otwieranie stron internetowych w przeglądarce

Łatwiej jest postępować zgodnie z tymi instrukcjami, jeśli masz już otwarte potrzebne strony internetowe. Skopiuj i wklej następujące parametry do ulubionego edytora tekstów. Oto lista, która ułatwia rozpoczęcie pracy:

• Identyfikator konta VI:
• identyfikator pliku wideo:
• nazwa wdrożenia:
• token dostępu:

1. Otwórz witrynę Azure Portal na jednej karcie lub w oknie i zaloguj się.
   1. Przejdź do strony konta usługi Azure AI Video Indexer dla identyfikatora konta.
   2. Przejdź do strony konta usługi Azure OpenAI
      1. Z menu wybierz pozycję Wdrożenia modelu, a następnie wybierz pozycję Zarządzaj wdrożeniami. Zostanie otwarty program Azure OpenAI Studio. Skopiuj nazwę wdrożenia, której chcesz użyć.
2. Otwórz portal internetowy usługi Azure AI Video Indexer na innej karcie lub w innym oknie i zaloguj się.
   1. Przejdź do strony biblioteki, wybierz wideo, a następnie kliknij go prawym przyciskiem myszy dla identyfikatora pliku wideo.
3. Otwórz interfejs API usługi Azure AI Video Indexer na innej karcie lub w innym oknie i zaloguj się.

Sieć Web

Generowanie podsumowania tekstu z ramkami kluczowymi lub bez

Aby podsumować tekst, możesz użyć portalu internetowego usługi Azure AI Video Indexer.

1. Jeśli nie masz jeszcze otwartego portalu internetowego, otwórz portal internetowy usługi Azure AI Video Indexer.
2. Przekaż plik i zaczekaj na indeksowanie.
3. Wybierz wideo, aby przejść do strony multimediów.
4. Jeśli chcesz użyć ramek kluczowych do utworzenia podsumowania, zaznacz pole wyboru Uwzględnij szczegółowe informacje o ramce kluczy wizualizacji, aby uzyskać podsumowanie lepszej jakości.
5. Wybierz pozycję Generuj podsumowanie. Zostanie wygenerowane podsumowanie tekstowe.

Uwaga

Jeśli nie widzisz przycisku Generuj podsumowanie, możesz użyć konta wersji próbnej. Utwórz konto standardowe do korzystania z tej funkcji.

Dostosowania podsumowania

Po wygenerowaniu podsumowania możesz wprowadzić zmiany, dostosowując styl podsumowania lub zmieniając wdrożenie modelu.

Dostosowywanie stylu podsumowania

Podsumowanie można również dostosować, wybierając ikonę Dostosuj podsumowanie . Możesz wybrać jedną z opcji Krótkie, **Średnie lub Długie długości podsumowania, a jako styl podsumowania możesz wybrać opcję Neutral, Casual lub Formal. Po podjęciu wyborów wybierz pozycję Generuj ponownie.

Zmienianie wdrożenia modelu

1. Wybierz ikonę Dostosuj podsumowanie .
2. Wybierz wdrożenie modelu, którego chcesz użyć z listy rozwijanej Wdrażanie modelu.
3. Wybierz pozycję Generuj ponownie.

Uwaga

Należy pamiętać, że wdrożenie modelu jest kombinacją modelu i filtrów. Ponadto za każdym razem, gdy dostosujesz podsumowanie tekstu, reprezentuje żądanie PUT interfejsu API.

API

Tworzenie podsumowania wideo

Generowanie tokenu dostępu

Wygeneruj token dostępu w witrynie Azure Portal:

1. Przejdź do swojego konta usługi Azure AI Video Indexer.
2. Z menu wybierz pozycję Zarządzanie , a następnie pozycję Interfejs API zarządzania.
3. Z listy rozwijanej Typ uprawnień wybierz pozycję Współautor.
4. Z listy rozwijanej Zakres wybierz pozycję Konto.
5. Wybierz Generuj. Token dostępu jest generowany.
6. Skopiuj token dostępu do schowka.

Wszystkie parametry potrzebne do utworzenia podsumowania wideo powinny być gotowe do użycia w edytorze tekstów.

1. Na stronie interfejsu API usługi Azure AI Video Indexer wyszukaj podsumowanie.
2. Wybierz przycisk Wypróbuj obok pozycji Utwórz podsumowanie wideo. Zostanie otwarte okienko Parametry interfejsu API.
3. Wklej token dostępu w schowku do pola accessToken .
4. Wybierz lokalizację z listy rozwijanej lokalizacja .
5. Skopiuj i wklej identyfikator konta VI w polu accountId .
6. Skopiuj identyfikator pliku wideo i wklej go w polu videoId .
7. Wybierz długość podsumowania, średniego, krótkiego lub długiego z listy rozwijanej długość .
8. Wybierz styl, neutralny, swobodny lub formalny z listy rozwijanej stylu .
9. Wybierz Wyślij.

W odpowiedzi znajduje się identyfikator podsumowania. Skopiuj ten identyfikator do schowka.

Pobieranie podsumowania wideo

Najpierw sprawdź stan podsumowania. Dopóki zadanie sumaryczne nie zostanie zakończone, wartość stanu będzie zawierać wartość "Przetwarzanie", ale w odpowiedzi nie ma podsumowania. Po zakończeniu zadania sumaryczne podsumowanie zostanie wyświetlone w odpowiedzi.

1. Wybierz pozycję POBIERZ podsumowanie wideo.
2. Wprowadź identyfikator konta, identyfikator wideo, identyfikator podsumowania i token dostępu do odpowiednich pól.
3. Wybierz Wyślij.

Uwaga

Zawsze istnieje zastrzeżenie dostępne w odpowiedzi na temat podsumowania. Ponadto w nagłówku Lokalizacja znajduje się link do interfejsu API stanu zadania.

Wyświetlanie podsumowań wideo

Możesz wyświetlić listę podsumowań wideo według strony. Wybierz pozycję GET List Video Summaries (Pobierz podsumowania wideo listy) i użyj tych samych parametrów, które zostały już opisane. Jeśli istnieje duża lista podsumowań, użyj parametrów strony, aby zwrócić odpowiedź na stronach. Użyj identyfikatora podsumowania dla żądania GET Podsumowania wideo.

Usuwanie podsumowania wideo

Usunięcie podsumowania wideo jest tak proste, jak wybranie opcji DEL Usuń podsumowanie wideo przy użyciu tych samych parametrów i wybranie pozycji Wyślij.

Kody błędów

Żądanie	Kod stanu	Komunikat o błędzie	Typ błędu	Przyczyna	Czynności zapobiegawcze
Create-Video-Summary	400	Konto nie jest połączone z usługą Azure OpenAI	INVALID_INPUT		Przejdź do witryny Azure Portal i połącz konto.
Create-Video-Summary	400	Nie znaleziono wdrożenia o tej nazwie: {deploymentName}	INVALID_INPUT		Sprawdź ciąg nazwy wdrożenia.
Create-Video-Summary	400	Ten model nie obsługuje generowania podsumowań.	INVALID_INPUT		Wybieranie innego modelu
Create-Video-Summary	400	Nie można wygenerować podsumowania, ponieważ model sztucznej inteligencji musi mieć dodane filtry zawartości, aby uniknąć wyświetlania szkodliwej zawartości. " + $"Dodaj następujące zasady: {string. Join(",", Enum.GetValues<FilterType>(). Where(type => type != FilterType.JailBreak))}." + $"Ustaw wartość allowedContentLevel na co najmniej {AllowedContentLevel.Medium} dla obu źródeł {FilterSource.Prompt} i {FilterSource.Completion}	SUMMARY_FILTERS_NOT_FOUND		Zobacz komunikat o błędzie.
Create-Video-Summary	400	Nie znaleziono wideo	VIDEO_NOT_FOUND
Create-Video-Summary	400	Indeksowanie wideo nie zostało jeszcze zakończone pomyślnie	VIDEO_ALREADY_IN_PROGRESS
Create-Video-Summary	400	Nieprawidłowa wartość długości podsumowania "{length}"	INVALID_INPUT
Create-Video-Summary	400	Nieprawidłowa wartość stylu podsumowania "{style}	INVALID_INPUT
Get-Video-Summary	200	ND	ND
Get-Video-Summary	404	Nie można odnaleźć podsumowania "{summaryId}" dla wideo "{videoId}"	NOT_FOUND
Get-Video-Summary	200	Nie można wygenerować podsumowania, ponieważ zawartość wideo została oznaczona jako szkodliwa. Aby uzyskać szczegółowe informacje, zobacz Filtry zawartości	NA	Wszystkie sekcje w filmie wideo wyzwoliły filtr zawartości.	Nie ma rozwiązania dla konkretnego filmu wideo.
Get-Video-Summary	200	Za mało informacji w celu wygenerowania podsumowania.	NA	Szczegółowe informacje wideo nie zawierają wystarczającej ilości informacji, aby utworzyć monity dotyczące usługi Azure OpenAI	Jeśli ustawienie wstępne wideo nie zawiera wszystkich modeli, ponowne indeksowanie z bardziej zaawansowanym ustawieniem wstępnym zawierającym dźwięk może pomóc.
Get-Video-Summary	200	Nie można pobrać wdrożeń usługi Azure OpenAI dla zasobu {_resourceName}
Get-Video-Summary	200	Wdrożenie {DeploymentName} nie istnieje
Get-Video-Summary	200	Nie można uzyskać dostępu do usługi Azure OpenAI. Spróbuj ponownie uruchomić podsumowanie później.			Spróbuj ponownie wykonać zadanie podsumowania później.
Create-Video-Summary				Brak przypisania roli
Get-Video-Summary				Brak przypisania roli

Rozwiązywanie problemów

Przed wyszukaniem konkretnych rozwiązań upewnij się, że zasoby zostały utworzone w sekcji Wymagania wstępne dokumentu.

Generowanie podsumowania nie jest wyświetlane

Być może nie połączono konta usługi Azure OpenAI z kontem usługi Azure AI Video Indexer.

Nie można wygenerować podsumowania

• Aby uniknąć wyświetlania szkodliwej zawartości, należy dodać filtry zawartości do wdrożenia. Wróć do programu Azure OpenAI Studio i dodaj filtry do wdrożenia.
• Być może utworzono filtr zawartości permissive pod kątem zawartości zawierającej zawartość wrażliwą lub szkodliwą. Filtr zawartości musi być co najmniej średni. Jeśli ustawisz filtr zawartości na Średnia i szkodliwa zawartość pozostanie w klipie wideo, filtr zostanie wyzwolony. W tym przypadku nie ma rozwiązania.
• Być może nie poproszono cię o transkrypcję lub w procesie indeksowania może być za mało informacji wygenerowanych.
• Być może używasz zaawansowanego ustawienia wstępnego.
• Film wideo może nie mieć wystarczającej ilości dźwięku, aby utworzyć przekształcenie.

Nie można użyć wdrożenia modelu lub wdrożenia

• Być może nie utworzono wdrożenia.
• Ktoś mógł zmienić lub usunąć wdrożony model.

Ograniczanie przepływności

Do VI może być wysyłanych zbyt wiele żądań. Zaczekaj kilka minut i spróbuj ponownie.

Zostanie wyświetlony błąd "nie znaleziono filtru"

Jeśli zostanie wyświetlony błąd nie znaleziono filtru, zostanie wyświetlony szczegółowy błąd opisujący brakujące elementy. Błąd wygląda podobnie do tego, ale może zawierać szczegółowe informacje o innych brakujących elementach:

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

Uwaga

Filtr jailbreak jest wymagany tylko w przypadku używania podsumowania opartego na ramkach kluczowych lub regularnego podsumowania, od 1 listopada 2024 r.

Aby rozwiązać problem z jailbreakiem:

1. Wybierz pozycję Przejdź do usługi Azure Open AI Studio.
2. Wybierz pozycję Wdrożenia.
3. Wybierz wdrożenie, z którym pracujesz.
4. Zaznacz Edytuj.
5. Skonfiguruj filtry tak, aby miały co najmniej średni poziom dla każdej kategorii.
6. Zastosuj osłony monitów o ataki zabezpieczeń systemu.
7. Wybierz pozycję Utwórz filtr.

Inne uwagi

Zaleca się utworzenie kont usługi Azure AI Video Indexer i usługi Azure OpenAI w tym samym regionie lub mogą wystąpić problemy z wydajnością.