Usare il riepilogo testuale (anteprima)

Questo articolo illustra come usare il riepilogo testuale con Azure AI Video Indexer. Questo esempio usa le distribuzioni del modello OpenAI di Azure.

Nota

Questa funzionalità funziona solo con un account standard. Creare un account standard.

Prerequisiti

Esaminare la panoramica del riepilogo testuale e dei seguenti prerequisiti.

Cloud

• Un account Di Azure AI Video Indexer connesso a un account Azure OpenAI.

• Accesso concesso ad Azure OpenAI nella sottoscrizione di Azure desiderata. Attualmente, l'accesso a questo servizio viene concesso dall'applicazione. È possibile richiedere l'accesso ad Azure OpenAI compilando il modulo.

• Una distribuzione di Azure OpenAI GPT-35-Turbo, GPT-4 o GPT-4o. Per trarre vantaggio dai riepiloghi basati su fotogrammi chiave, è necessario selezionare un modello OpenAI di Azure che accetta l'input visivo. Per altre informazioni, vedere Modelli di servizio OpenAI di Azure.

• Il filtro Prompt Shields for direct attacks (jailbreak) deve essere aggiunto alla distribuzione. Altre informazioni sono disponibili qui: Usare i filtri di contenuto (anteprima) con il servizio OpenAI di Azure.

• È consigliabile configurare filtri di contenuto dannosi per categorie come "Violenza", "Odio", "Sessuale" e "Autolesionismo". Anche se questi filtri non sono obbligatori, è consigliabile impostarli su "Medio" o "Basso" per escludere il contenuto di almeno il livello medio di dannosità. Questa impostazione garantisce che il contenuto con una classificazione di dannosità media o superiore venga bloccato. Per una maggiore sicurezza, è possibile optare per un'impostazione più restrittiva. Dopo la configurazione, salvare le impostazioni del filtro contenuto.

• Video caricato nella libreria di Video Indexer di Intelligenza artificiale di Azure.

Nota

Video Indexer di Intelligenza artificiale di Azure non è in grado di connettersi a modelli ottimizzati.

Dispositivi perimetrali

Video Indexer di Intelligenza artificiale di Azure abilitato da Arc consente di usare Video Indexer di Intelligenza artificiale di Azure nei dispositivi perimetrali. Di seguito sono riportati i requisiti tecnici per questo caso d'uso:

• Video Indexer Abilitato da Arc del numero di versione 1.1.23 o versione successiva.
• Requisiti hardware: GPU o CPU Intel. Non è consigliabile eseguire su CPU a causa della lentezza. È consigliabile usare GPU Nvidia V100 o versioni successive. Se sono presenti più nodi GPU, è possibile aggiungere un selettore di nodo per selezionare il nodo desiderato.
• L'uso di fotogrammi chiave come parte del riepilogo richiede Nvidia A100 o versione successiva.
• Il riepilogo video testuale sull'edge utilizza esclusivamente il modello Phi3.5. Per altre informazioni sull'hardware, vedere le informazioni sulla versione ufficiale di Phi 3.5.

Aprire pagine Web nel browser

Se sono già aperte le pagine Web necessarie, è più semplice seguire queste istruzioni. Copiare e incollare i parametri seguenti nell'editor di testo preferito. Ecco un elenco per iniziare:

• ID account VI:
• ID file video:
• nome distribuzione:
• token di accesso:

1. Aprire il portale di Azure in una scheda o in una finestra e accedere.
   1. Passare alla pagina dell'account Azure AI Video Indexer per l'ID account.
   2. Passare alla pagina dell'account OpenAI di Azure
      1. Dal menu selezionare Distribuzioni di modelli, quindi selezionare Gestisci distribuzioni. Si apre Azure OpenAI Studio. Copiare il nome della distribuzione da usare.
2. Aprire il portale Web di Azure AI Video Indexer in un'altra scheda o finestra ed eseguire l'accesso.
   1. Passare alla pagina della raccolta, scegliere un video, quindi fare clic con il pulsante destro del mouse su di esso per l'ID file video.
3. Aprire l'API Video Indexer di Azure per intelligenza artificiale in un'altra scheda o finestra ed eseguire l'accesso.

Web

Generare un riepilogo di testo con o senza fotogrammi chiave

È possibile usare il portale Web di Video Indexer di Azure per intelligenza artificiale per riepilogare il testo.

1. Se il portale Web non è già aperto, aprire il portale Web di Azure AI Video Indexer.
2. Caricare un file e attendere che venga indicizzato.
3. Selezionare il video per passare alla pagina multimediale.
4. Per usare i fotogrammi chiave per produrre il riepilogo, selezionare la casella di controllo Includi informazioni dettagliate sui fotogrammi chiave visivi per ottenere un riepilogo qualitativo migliore.
5. Selezionare Genera riepilogo. Viene generato il riepilogo testuale.

Nota

Se non viene visualizzato il pulsante Genera riepilogo, potresti usare un account di valutazione. Creare un account standard per usare questa funzionalità.

Personalizzazioni di riepilogo

Dopo aver generato il riepilogo, è possibile apportare modifiche personalizzando lo stile di riepilogo o modificando la distribuzione del modello.

Personalizzare lo stile di riepilogo

È anche possibile personalizzare il riepilogo selezionando l'icona Personalizza riepilogo . È possibile scegliere tra lunghezze di riepilogo breve, **medio o lungo ed è possibile scegliere Neutral, Casual o Formal come stile di riepilogo. Dopo aver scelto, selezionare di nuovo Genera.

Modificare la distribuzione del modello

1. Selezionare l'icona Personalizza riepilogo .
2. Selezionare la distribuzione del modello da usare nell'elenco a discesa Distribuzione modello .
3. Selezionare di nuovo Genera.

Nota

Tenere presente che la distribuzione del modello è una combinazione del modello e dei filtri. Inoltre, ogni volta che si personalizza il riepilogo del testo rappresenta una richiesta PUT API.

API

Creare un riepilogo video

Generare un token di accesso

Generare un token di accesso nel portale di Azure:

1. Passare all'account video indexer di Azure per intelligenza artificiale.
2. Dal menu selezionare Gestione e quindi API di gestione.
3. Nell'elenco a discesa Tipo di autorizzazione selezionare Collaboratore.
4. Nell'elenco a discesa Ambito selezionare Account.
5. Selezionare Genera. Viene generato il token di accesso.
6. Copiare il token di accesso negli Appunti.

È necessario disporre di tutti i parametri necessari per creare un riepilogo video pronto per l'uso nell'editor di testo.

1. Nella pagina DELL'API Video Indexer di Azure per intelligenza artificiale cercare riepilogo.
2. Selezionare il pulsante Prova accanto a Crea riepilogo video. Viene visualizzato il riquadro Parametri API.
3. Incollare il token di accesso negli Appunti nel campo accessToken .
4. Selezionare la posizione dall'elenco a discesa località.
5. Copiare e incollare l'ID account VI nel campo accountId .
6. Copiare l'ID del file video e incollarlo nel campo videoId .
7. Scegliere la lunghezza del riepilogo, medio, breve o lungo nell'elenco a discesa della lunghezza .
8. Scegli lo stile, neutrale, casual o formale nell'elenco a discesa stile .
9. Selezionare Invia.

Nella risposta è presente un ID riepilogo. Copiare l'ID negli Appunti.

Ottenere un riepilogo video

Prima di tutto, controllare lo stato di riepilogo. Fino al termine del processo di riepilogo, il valore dello stato mostra "Elaborazione", ma non è presente alcun riepilogo nella risposta. Al termine del processo di riepilogo, il riepilogo viene visualizzato nella risposta.

1. Selezionare GET Video Summary (Riepilogo video GET).
2. Immettere l'ID account, l'ID video, l'ID di riepilogo e il token di accesso nei campi appropriati.
3. Selezionare Invia.

Nota

Nella risposta è sempre disponibile una dichiarazione di non responsabilità relativa al riepilogo. È anche disponibile un collegamento all'API dello stato del lavoro nell'intestazione Percorso.

Elencare i riepiloghi video

È possibile elencare i riepiloghi video per pagina. Selezionare GET List Video Summaries (Riepiloghi video elenco GET) e usare gli stessi parametri già descritti. Se è presente un elenco di riepiloghi di grandi dimensioni, usare i parametri della pagina per restituire la risposta nelle pagine. Usare l'ID di riepilogo per la richiesta GET Video Summary.

Eliminare un riepilogo video

L'eliminazione del riepilogo video è semplice come selezionare DEL Delete Video Summary (Riepilogo video elimina DEL), usando gli stessi parametri e selezionando Send ( Invia).

Codici di errore

Richiedi	Codice di stato	Messaggio di errore	Tipo di errore	Motivo	Strategia di riduzione del rischio
Create-Video-Summary	400	L'account non è connesso ad Azure OpenAI	INVALID_INPUT		Passare alla portale di Azure e connettere un account.
Create-Video-Summary	400	Nessuna distribuzione trovata con questo nome: {deploymentName}	INVALID_INPUT		Controllare la stringa del nome della distribuzione.
Create-Video-Summary	400	Questo modello non supporta la generazione di riepiloghi.	INVALID_INPUT		Scegliere un modello diverso
Create-Video-Summary	400	Non è stato possibile generare un riepilogo perché il modello di intelligenza artificiale deve avere filtri di contenuto aggiunti per evitare di visualizzare contenuto dannoso. " + $"Aggiungere i criteri seguenti: {string. Join(",", Enum.GetValues<FilterType>(). Where(type => type != FilterType.JailBreak)}." + $"Impostare AllowedContentLevel su almeno {AllowedContentLevel.Medium} per entrambe le origini {FilterSource.Prompt} e {FilterSource.Completion}	SUMMARY_FILTERS_NOT_FOUND		Vedere il messaggio di errore.
Create-Video-Summary	400	Video non trovato	VIDEO_NOT_FOUND
Create-Video-Summary	400	L'indicizzazione video non è ancora stata completata	VIDEO_ALREADY_IN_PROGRESS
Create-Video-Summary	400	Valore di lunghezza riepilogo non valido '{length}'	INVALID_INPUT
Create-Video-Summary	400	Valore dello stile di riepilogo non valido '{style}	INVALID_INPUT
Get-Video-Summary	200	N/D	N/D
Get-Video-Summary	404	Riepilogo '{summaryId}' non trovato per il video '{videoId}'	NOT_FOUND
Get-Video-Summary	200	Impossibile generare un riepilogo perché il contenuto video è stato contrassegnato come dannoso. Per informazioni dettagliate, vedere Filtri del contenuto	N/D	Tutte le sezioni del video hanno attivato il filtro del contenuto.	Non esiste alcuna soluzione per il video specifico.
Get-Video-Summary	200	Informazioni non sufficienti per generare un riepilogo.	N/D	Le informazioni dettagliate video non contengono informazioni sufficienti per creare richieste per Azure OpenAI	Se il set di impostazioni del video non contiene tutti i modelli, la reindicizzazione con un set di impostazioni più avanzato che contiene audio potrebbe risultare utile.
Get-Video-Summary	200	Non è stato possibile ottenere distribuzioni OpenAI di Azure per la risorsa {_resourceName}
Get-Video-Summary	200	La distribuzione {DeploymentName} non esiste
Get-Video-Summary	200	Non è stato possibile raggiungere Azure OpenAI. Provare a eseguire di nuovo il riepilogo in un secondo momento.			Provare di nuovo il processo di riepilogo in un secondo momento.
Create-Video-Summary				Nessuna assegnazione di ruolo
Get-Video-Summary				Nessuna assegnazione di ruolo

Risoluzione dei problemi

Prima di cercare soluzioni specifiche, assicurarsi di aver creato le risorse nella sezione Prerequisiti del documento.

Genera riepilogo non viene visualizzato

È possibile che l'account Azure OpenAI non sia stato connesso correttamente all'account Di Azure AI Video Indexer.

Impossibile generare il riepilogo

• È necessario aggiungere filtri di contenuto alla distribuzione per evitare di visualizzare contenuto dannoso. Tornare ad Azure OpenAI Studio e aggiungere filtri alla distribuzione.
• È possibile che sia stato creato un filtro di contenuto permissivo per il contenuto con contenuto sensibile o dannoso. Il filtro contenuto deve essere almeno Medio. Se si imposta il filtro contenuto su Contenuto medio E dannoso rimane nel video, il filtro viene attivato. In questo caso, non c'è soluzione.
• È possibile che non sia stata richiesta una trascrizione o che non siano presenti informazioni sufficienti generate durante il processo di indicizzazione.
• È possibile usare un set di impostazioni avanzato.
• Il video potrebbe non avere abbastanza audio in esso per creare una trasformazione.

Impossibile usare una distribuzione del modello o una distribuzione mancante

• È possibile che non sia stata creata una distribuzione.
• Un utente potrebbe aver modificato o eliminato il modello distribuito.

Limitazione

Potrebbero esserci troppe richieste inviate a VI. Attendi alcuni minuti e riprova.

Viene visualizzato l'errore "Filtro non trovato"

Se appare un errore di filtro non trovato, verrà visualizzato un messaggio dettagliato che spiega cosa manca. L'errore è simile al seguente, ma potrebbe avere informazioni dettagliate su altri elementi mancanti:

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

Nota

Il filtro jailbreak è obbligatorio solo quando si utilizza un riepilogo basato su fotogrammi chiave o un riepilogo regolare, a partire dal 1° novembre 2024.

Per risolvere il problema di jailbreak:

1. Selezionare Vai ad Azure Open AI Studio.
2. Selezionare Distribuzioni.
3. Selezionare la distribuzione con cui si sta lavorando.
4. Seleziona Modifica
5. Configurare i filtri in modo che abbiano almeno un livello medio per ogni categoria.
6. Applica scudi di richiesta per attacchi jailbreak.
7. Selezionare Crea filtro.

Altre considerazioni

È consigliabile creare gli account Azure AI Video Indexer e Azure OpenAI nella stessa area oppure si potrebbero riscontrare problemi di prestazioni.