Utiliser une synthèse textuelle (préversion)

Cet article vous montre comment utiliser une synthèse textuelle avec Azure AI Video Indexer. Cet exemple utilise des déploiements de modèles Azure OpenAI.

Remarque

Cette fonctionnalité fonctionne uniquement avec un compte standard. Créez un compte standard.

Prérequis

• Passez en revue la vue d’ensemble de la synthèse texuelle.

Cloud

• Un compte Azure AI Video Indexer connecté à un compte Azure OpenAI.

• Accès accordé à Azure OpenAI dans l’abonnement Azure souhaité. L’accès à ce service n’est accordé qu’à l’application. Vous pouvez demander l’accès à Azure OpenAI en complétant le formulaire.

• Un déploiement Azure OpenAI gpt-35-turbo ou gpt-4 . Pour tirer parti des résumés basés sur des images clés, vous devez sélectionner un modèle Azure Open AI qui accepte l’entrée visuelle. Pour plus d’informations, consultez les modèles azure OpenAI Service.

• Le filtre Prompt Shields for direct attacks (jailbreak) doit être ajouté au déploiement. En savoir plus ici : Utilisez des filtres de contenu (préversion) avec Azure OpenAI Service.

• Il est recommandé de configurer des filtres de contenu dangereux pour les catégories telles que « Violence », « Haine », « Sexuel » et « Auto-préjudice ». Bien que ces filtres ne soient pas obligatoires, vous devez les définir sur « Moyen » ou « Faible » pour filtrer le contenu d’au moins le niveau moyen de danger. Ce paramètre garantit que le contenu avec une évaluation de la gravité moyenne ou supérieure est bloqué. Pour améliorer la sécurité, vous pouvez opter pour un paramètre plus strict. Une fois configuré, enregistrez les paramètres de filtre de contenu.

• Vidéo chargée dans votre bibliothèque Azure AI Video Indexer.

Remarque

Azure AI Video Indexer ne peut pas se connecter à des modèles affinés.

Edge

Azure AI Video Indexer activé par Arc vous permet d’utiliser Azure AI Video Indexer sur les appareils de périphérie. Voici les exigences techniques requises pour ce cas d’usage :

• Video Indexer activé par Arc du numéro de version 1.1.23 ou version ultérieure.
• Configuration matérielle requise : GPU ou processeur Intel. L’exécution sur le processeur peut être très lente et non recommandée. Nous vous recommandons d’utiliser Nvidia V100 ou une version ultérieure. S’il existe plusieurs nœuds GPU, vous pouvez ajouter un sélecteur de nœuds pour sélectionner le nœud souhaité.
• L’utilisation d’images clés dans le cadre du résumé nécessite Nvidia A100 ou une version ultérieure.
• La synthèse vidéo textuelle sur Edge utilise le modèle Phi3.5 uniquement. Pour plus d’informations sur le matériel, reportez-vous aux informations de publication officielle de Phi 3.5.

Ouvrir des pages web dans votre navigateur

Il est plus facile de suivre ces instructions si vous avez déjà ouvert les pages web nécessaires. Copiez et collez les paramètres suivants dans votre éditeur de texte favori. Voici une liste pour vous aider à démarrer :

• ID de compte VI :
• ID de fichier vidéo :
• nom du déploiement :
• jeton d’accès :

1. Ouvrez le Portail Azure dans un onglet ou une fenêtre, puis connectez-vous.
   1. Accédez à la page du compte Azure AI Video Indexer pour l’ID de compte.
   2. Accédez à la page du compte Azure OpenAI
      1. Dans le menu, sélectionnez Déploiements de modèles, puis gérer les déploiements. Azure OpenAI Studio s’ouvre. Copiez le nom du déploiement que vous souhaitez utiliser.
2. Ouvrez le portail web Azure AI Video Indexer dans un autre onglet ou fenêtre et connectez-vous.
   1. Accédez à la page bibliothèque, choisissez une vidéo, puis cliquez dessus avec le bouton droit pour l’ID du fichier vidéo.
3. Ouvrez l’API Azure AI Video Indexer dans un autre onglet ou fenêtre et connectez-vous.

Web

Générer un résumé de texte avec ou sans images clés

Vous pouvez utiliser le portail web Azure AI Video Indexer pour résumer le texte.

1. Si le portail web n’est pas déjà ouvert, ouvrez le portail web Azure AI Video Indexer.
2. Chargez un fichier et attendez qu’il soit indexé.
3. Sélectionnez la vidéo pour accéder à la page multimédia.
4. Si vous souhaitez utiliser des images clés pour produire le résumé, activez la case à cocher Inclure des informations sur les images clés visuelles pour obtenir une meilleure case de synthèse de qualité.
5. Sélectionnez Générer un résumé. Le résumé textuel est généré.

Remarque

Si vous ne voyez pas le bouton Générer un résumé, vous utilisez peut-être un compte d’évaluation. Créez un compte standard pour utiliser cette fonctionnalité.

Personnalisations récapitulatives

Une fois le résumé généré, vous pouvez y apporter des ajustements en personnalisant le style de résumé ou en modifiant le déploiement du modèle.

Personnaliser le style de résumé

Vous pouvez également personnaliser le résumé en sélectionnant l’icône Personnaliser le résumé . Vous pouvez choisir parmi short, **Medium ou Long summary lengths, and you can choose Neutral, Casual, or Formal as a summary style. Une fois que vous avez fait vos choix, sélectionnez Générer à nouveau.

Modifier le déploiement du modèle

1. Sélectionnez l’icône Personnaliser le résumé .
2. Sélectionnez le déploiement de modèle que vous souhaitez utiliser dans la liste déroulante Déploiement de modèle .
3. Sélectionnez Générer à nouveau.

Remarque

N’oubliez pas que le déploiement du modèle est une combinaison du modèle et des filtres. En outre, chaque fois que vous personnalisez le résumé du texte, il représente une requête PUT d’API.

API

Créer un résumé vidéo

Générer un jeton d’accès

Générez un jeton d’accès dans le Portail Azure :

1. Accédez à votre compte Azure AI Video Indexer.
2. Dans le menu, sélectionnez Gestion , puis API Gestion.
3. Dans la liste déroulante Type d’autorisation, sélectionnez Contributeur.
4. Dans la liste déroulante Étendue , sélectionnez Compte.
5. Sélectionnez Générer. Le jeton d’accès est généré.
6. Copiez le jeton d’accès dans votre Presse-papiers.

Vous devez disposer de tous les paramètres nécessaires pour créer un résumé vidéo prêt à être disponible dans votre éditeur de texte.

1. Dans la page de l’API Azure AI Video Indexer, recherchez le résumé.
2. Sélectionnez le bouton Essayer en regard de Créer un résumé vidéo. Le volet paramètres de l’API s’ouvre.
3. Collez le jeton d’accès dans le Presse-papiers dans le champ accessToken .
4. Sélectionnez l’emplacement dans la liste déroulante emplacement .
5. Copiez et collez l’ID de compte VI dans le champ accountId .
6. Copiez l’ID du fichier vidéo et collez-le dans le champ videoId .
7. Choisissez la longueur du résumé, moyen, court ou long, dans la liste déroulante longueur .
8. Choisissez le style, neutre, décontracté ou formel, dans la liste déroulante de style .
9. Sélectionnez Envoyer.

Dans la réponse, il existe un ID de résumé. Copiez cet ID dans votre Presse-papiers.

Obtenir un résumé vidéo

Tout d’abord, vérifiez l’état du résumé. Tant que la tâche récapitulative n’est pas terminée, la valeur d’état indique « Traitement », mais il n’y a pas de résumé dans la réponse. Une fois la tâche récapitulative terminée, le résumé s’affiche dans la réponse.

1. Sélectionnez GET Video Summary.
2. Entrez l’ID de compte, l’ID vidéo, l’ID de résumé et le jeton d’accès dans les champs appropriés.
3. Sélectionnez Envoyer.

Remarque

Il existe toujours une clause d’exclusion de responsabilité disponible dans la réponse concernant le résumé. En outre, il existe un lien vers l’API d’état du travail dans l’en-tête Location .

Répertorier les résumés vidéo

Vous pouvez répertorier les résumés vidéo par page. Sélectionnez les résumés vidéo de liste GET et utilisez les mêmes paramètres déjà décrits. S’il existe une grande liste de résumés, utilisez les paramètres de page pour renvoyer la réponse dans les pages. Utilisez l’ID de résumé pour la requête GET Video Summary.

Supprimer un résumé vidéo

La suppression du résumé vidéo est aussi simple que la sélection du résumé de la vidéo suppr, en utilisant les mêmes paramètres et en sélectionnant Envoyer.

Codes d’erreur

Requête	Code d’état	Message d’erreur	Type d’erreur	Motif	Limitation des risques
Create-Video-Summary	400	Le compte n’est pas connecté à Azure OpenAI	INVALID_INPUT		Accédez au Portail Azure et connectez un compte.
Create-Video-Summary	400	Aucun déploiement trouvé avec ce nom : {deploymentName}	INVALID_INPUT		Vérifiez la chaîne de nom de déploiement.
Create-Video-Summary	400	Ce modèle ne prend pas en charge la génération de résumés.	INVALID_INPUT		Choisir un autre modèle
Create-Video-Summary	400	Impossible de générer un résumé, car le modèle IA doit avoir des filtres de contenu ajoutés pour éviter d’afficher du contenu dangereux. « + $"Ajoutez les stratégies suivantes : {string. Join(« , », Enum.GetValues<FilterType>(). Where(type => type != FilterType.JailBreak)}. + $"Définissez allowedContentLevel sur au moins {AllowedContentLevel.Medium} pour les deux sources {FilterSource.Prompt} et {FilterSource.Completion}	SUMMARY_FILTERS_NOT_FOUND		Consultez le message d’erreur.
Create-Video-Summary	400	Vidéo introuvable	VIDEO_NOT_FOUND
Create-Video-Summary	400	L’indexation de vidéos n’a pas encore été terminée	VIDEO_ALREADY_IN_PROGRESS
Create-Video-Summary	400	Valeur de longueur récapitulative « {length} » non valide	INVALID_INPUT
Create-Video-Summary	400	Valeur de style récapitulative non valide « {style}	INVALID_INPUT
Get-Video-Summary	200	NA	NA
Get-Video-Summary	404	Résumé « {summaryId} » introuvable pour la vidéo « {videoId} »	NOT_FOUND
Get-Video-Summary	200	Impossible de générer un résumé, car le contenu vidéo a été marqué comme dangereux. Pour plus d’informations, consultez Filtres de contenu	NA	Toutes les sections de la vidéo ont déclenché le filtre de contenu.	Il n’existe aucune solution pour la vidéo spécifique.
Get-Video-Summary	200	Informations insuffisantes pour générer un résumé.	NA	Les insights vidéo ne contiennent pas suffisamment d’informations pour créer des invites pour Azure OpenAI	Si la présélection de la vidéo ne contient pas tous les modèles, la réindexation avec une présélection plus avancée qui contient de l’audio peut vous aider.
Get-Video-Summary	200	Impossible d’obtenir des déploiements Azure OpenAI pour la ressource {_resourceName}
Get-Video-Summary	200	Le déploiement {DeploymentName} n’existe pas
Get-Video-Summary	200	Azure OpenAI n’a pas pu être atteint. Réessayez d’exécuter le résumé ultérieurement.			Réessayez de résumer le travail ultérieurement.
Create-Video-Summary				Aucune attribution de rôle
Get-Video-Summary				Aucune attribution de rôle

Dépannage

Avant de rechercher des solutions spécifiques, veillez à créer les ressources dans la section Conditions préalables du document.

Générer un résumé n’apparaît pas

Vous n’avez peut-être pas connecté correctement votre compte Azure OpenAI au compte Azure AI Video Indexer.

Impossible de générer le résumé

• Vous devez ajouter des filtres de contenu au déploiement pour éviter d’afficher du contenu dangereux. Revenez à Azure OpenAI Studio et ajoutez des filtres à votre déploiement.
• Vous avez peut-être créé un filtre de contenu permissif pour le contenu qui a du contenu sensible ou dangereux. Le filtre de contenu doit être au moins moyen. Si vous définissez le filtre de contenu sur Contenu moyen ET dangereux reste dans la vidéo, le filtre est déclenché. Dans ce cas, il n’y a pas de solution.
• Vous n’avez peut-être pas demandé de transcription ou il se peut qu’il n’y ait pas suffisamment d’informations générées pendant le processus d’indexation.
• Vous utilisez peut-être une présélection avancée.
• La vidéo peut ne pas avoir suffisamment d’audio pour créer une transformation.

Impossible d’utiliser un déploiement de modèle ou un déploiement manquant

• Vous n’avez peut-être pas créé de déploiement.
• Quelqu’un a peut-être changé ou supprimé le modèle déployé.

Limitation

Il peut y avoir trop de demandes envoyées à VI. Patientez quelques minutes et réessayez.

Vous recevez l’erreur « filtre introuvable »

Si vous obtenez une erreur de filtre introuvable, vous obtenez une erreur détaillée décrivant ce qui manque. L’erreur ressemble à ceci, mais peut avoir des détails sur d’autres éléments manquants :

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

Remarque

Le filtre de jailbreak n’est nécessaire que lors de l’utilisation d’un résumé basé sur des images clés ou d’un résumé régulier, à compter du 1er novembre 2024.

Pour résoudre le problème de jailbreak :

1. Sélectionnez Accéder à Azure Open AI Studio.
2. Sélectionnez Déploiements.
3. Sélectionnez le déploiement avec lequel vous travaillez.
4. Sélectionnez Modifier.
5. Configurez les filtres pour qu’ils aient au moins un niveau moyen pour chaque catégorie.
6. Appliquez des boucliers d’invite pour les attaques de jailbreak.
7. Sélectionnez Créer un filtre.

Autres considérations

Il est recommandé de créer les comptes Azure AI Video Indexer et Azure OpenAI dans la même région, ou vous pouvez rencontrer des problèmes de performances.