Azure AI Video Indexer met LLM-prompts

Artikel
11/01/2024

Overzicht

Azure AI Video Indexer kan worden geïntegreerd met LLM's (Large Language Models). LLM's zijn AI-modellen in natuurlijke taal die u kunt gebruiken om vragen te stellen over video-inhoud en nog veel meer. Extraheer de inzichten van Azure AI Video Indexer in een promptklare indeling die eenvoudig kan worden gebruikt met LLM's. Het is niet nodig om video's opnieuw te indexeren om de opmaak van de video's te maken die gereed is voor prompts.

Gebruiksvoorbeelden

Een videosamenvatting genereren: u kunt het LLM-model vragen om samenvattingen van hele video's of videosegmenten te genereren. Deze segmenten kunnen worden gecombineerd om verschillende soorten samenvattingen te maken, zoals een informatieve samenvatting, een teaser of een andere samenvatting, afhankelijk van uw behoeften.

Doorzoekbaarheid: Door video-inhoud te converteren naar een op tekst gebaseerde, promptklare indeling, kunt u gedetailleerde, natuurlijke taalzoekopdrachten uitvoeren in uw video-inhoud. Dit kan de detectie binnen grote videobibliotheken aanzienlijk verbeteren op basis van specifieke query's.

Inhoud maken: U kunt een query uitvoeren op uw videobibliotheek voor specifieke momenten in uw video's die zijn gekoppeld aan bepaalde emoties of gebeurtenissen. U kunt bijvoorbeeld 'grappige' of 'verdrietige' momenten ophalen uit een videoserie en deze gebruiken om een promotie of markering te maken. Op dezelfde manier kunt u momenten ophalen die betrekking hebben op specifieke gebeurtenissen van belang, zoals 'afgelopen aardbevingen tijdens het afgelopen decennium'.

Educatieve doeleinden: maak samenvattingen van lesvideo's om het voor leerlingen/studenten gemakkelijker te maken om het materiaal te beoordelen en te begrijpen. Studenten kunnen ook specifieke vragen stellen met betrekking tot het lesmateriaal. U kunt verwijzen naar het exacte deel van de video waarin het artikel wordt besproken, waardoor de leerervaring efficiënter wordt.

Interactieve ervaringen: U kunt interactieve ervaringen maken, zoals chatbots op basis van video's of virtuele assistenten, die gebruikersquery's kunnen beantwoorden op basis van de inhoud van de video.

Hoe het werkt

Om de uitvoer direct gereed te maken, wordt de video gesplitst in coherente secties die zowel de essentie van de video als de promptgrootte passen. De secties zijn onderverdeeld op basis van Segmentatie van Scènesegmentatie van Azure AI Video Indexer en andere inzichten. De resultaten van de promptinhoud worden afzonderlijk geconsolideerd en gegenereerd per segment. Voorbeeld:

Inzichten

De volgende tabel bevat de inzichten die worden gebruikt voor het genereren van prompts.

VI Insight	Tag en opmaak
Videotitel	[Videotitel] <videotitel>
Objectdetectie	[Gedetecteerde objecten] <object 1>, <object 2>, ...
Etiketten	[Visuele labels] <label 1>, <label 2>, ...
OCR	[OCR] <ocr cluster1><ocr cluster2> ...
Transcriptie en sprekers	[Transcript] <sprekernaam>: <transcriptlijnen>\n<sprekernaam>: <transcriptlijnen>\n ...
Gezichten	[Bekende personen] <gezicht 1>, <gezicht 2>, ...
Audio-effecten (AED)	[Audio-effecten] < effect 1>, <effect 2>, ...
Segmentpositie in de video	[Tags] [Begin, Midden, Einde, Rolling credits]

Prompt-inhoud voor een video maken

Gebruik de Inhouds-API prompt op uw geïndexeerde video om de notatie Prompt-Ready per segment op te halen.

Notitie

De inzichten in promptinhoud worden onderworpen aan de specifieke voorinstelling die wordt gebruikt om de video te indexeren.

Als u de PROMPT-inhouds-API wilt genereren, gebruikt u de aanvraag Voor het maken van inhoudsprompts na het maken van een bericht .
Als u de promptinhoud wilt weergeven, gebruikt u de aanvraag PromptContent ophalen.

Voorbeeld van aanvraag

Gebruik uw AVI-account-id en de video-id.

POST https://api.videoindexer.ai/trial/Accounts/{accountId}/Videos/{videoId}/PromptContent

Voorbeeld van een antwoord

index
{
  "algoVersion": "2.0.0",
  "schemaVersion": "0.0.1",
  "partition": null,
  "name": "10_best_dressed_grammy",
  "sections": [
    {
      "id": 0,
      "start": "0:00:00",
      "end": "0:00:40.915875",
      "content": "[Video title] 10_best_dressed_grammy\n[Detected objects] necktie\n[Visual labels] human face, clothing, person, woman, suit, wedding dress, dress, indoor, wall, carpet, rug, fashion, lady, long hair, fashion accessory, fashion design\n[OCR] TROPHy, LIFE, SPECIAL, EDITION, news FEED, BY

 CLEVVER, CLEVVER, @NazPerez, BEST DRESSED CELEBS AT 2018 GRAMMYS\n[Transcript] Check out the 10 best dressed celebs from the 2018 Grammy Awards and don't forget to subscribe to our channel to get all the latest celebrity updates.\nFrom white roses to white hot looks, this year's Grammy Awards was a feast of fashion thanks to so many celebs bringing their A game to the show.\nSo let's kick off this list of the best dress from the red carpet, starting with Lady Gaga.\nGaga looked like a gothic Princess in her dramatic all black ball gown.\nThe Armani Preve dress featured A Lacy bodysuit and billowing black skirt with a huge train.\nAga's black heeled boots were also some of the highest we've ever seen, like ever, but we wouldn't expect anything less from Mama Monster.\nAnother look we love from the carpet was Anna Kendrick's sexy suit by Belmont."
    },
    {
      "id": 1,
      "start": "0:00:40.915875",
      "end": "0:01:17.202125",
      "content": "[Video title] 10_best_dressed_grammy\n[Detected objects] remote\n[Visual labels] human face, clothing, person, dress, carpet, rug, fashion, lady, furniture, female person, fashion model, model, haute couture, smile\n[OCR] TROPHy, LIFE, news FEED, BEST DRESSED CELEBS AT 2018 GRAMMYS, D CELEBS AT 2018 GRAMMYS, BEST DRESSED\n[Transcript] Anna gave the structured look a sexy feminine touch by wearing a Lacy strapless top underneath and some pale pink stilettos.\nHer suit may have said business, but her relaxed WAVY hairstyle said I came to get down.\nNext on our list is the literally red hot Camila Cabello.\nCamila was all glitzing glam in her strapless Vivian Westwood gown.\nThat humped her curves perfectly.\nCamila opted to wear her hair up and accessorized with some serious bling, but it's that plunging neckline that has this unable to look away.\nAnother look we loved came courtesy of Miley Cyrus, who absolutely slayed in this black velvet bodysuit.\nMiley looked beyond chic, from her classic Hollywood hairstyle to her glitter heels."
    },
}

Taakstatus controleren

Het duurt enkele minuten voordat de prompttaak is voltooid. Als u de taakstatus wilt controleren, kunt u de aanvraag Taakstatus ophalen gebruiken.

Keyframes gebruiken om een groot taalmodel visueel te vragen

De aanvraag Inhoud vragen ondersteunt taalmodellen die visuele invoer in prompts kunnen gebruiken. Wanneer u het GPT-4V-model selecteert, kunt u sleutelframes opnemen als onderdeel van de prompt die aan het model wordt verstrekt. De frames die worden geretourneerd in het antwoord van de promptinhoud vertegenwoordigen de sleutelframes uit de video. Deze functie wordt aanbevolen voor video's met beperkte of geen transcriptie in de video of wanneer u meer context wilt bieden aan het taalmodel om de resultaten te verbeteren.

Een aanvraag voor promptinhoud maken en verzenden

Zoals hierboven beschreven, bevindt tekstuele inhoud voor de prompt zich in het JSON-antwoord. Elke tekenreeks in het gedeelte Frames van het JSON-antwoord is de id van het sleutelframe. Gebruik Get Video Thumbnail The ThumbnailId is de FrameId van de prompt-inhoud. Zodra u zowel de tekstuele inhoud als de sleutelframeartefacten hebt, kunt u deze combineren als prompts voor een AI-model van uw keuze.

Beperkingen

De promptfunctie is geoptimaliseerd voor video's die zoveel mogelijk inzichten bevatten.

Delen via