Videolösningar för Azure AI Content Understanding (förhandsversion)

Viktigt!

• Azure AI Content Understanding är tillgängligt som förhandsversion. Offentliga förhandsversioner ger tidig åtkomst till funktioner som är i aktiv utveckling.
• Funktioner, metoder och processer kan ändra eller ha begränsade funktioner, före allmän tillgänglighet (GA).
• Mer information finns i Kompletterande användningsvillkor för Förhandsversioner av Microsoft Azure.

Med Azure AI Content Understanding kan du extrahera och anpassa videometadata. Content Understanding hjälper till att effektivt hantera, kategorisera, hämta och skapa arbetsflöden för videotillgångar. Det förbättrar medietillgångsbiblioteket, stöder arbetsflöden som markeringsgenerering, kategoriserar innehåll och underlättar program som hämtningsförhöjd generation (RAG).

Innehållstolkning för video har många potentiella användningsområden. Du kan till exempel anpassa metadata för att tagga specifika scener i en träningsvideo, vilket gör det enklare för anställda att hitta och gå tillbaka till viktiga avsnitt. Du kan också använda metadataanpassning för att identifiera produktplacering i kampanjvideor, vilket hjälper marknadsföringsteam att analysera varumärkesexponering.

Användningsfall för företag

Azure AI Content Understanding innehåller en rad olika affärsanvändningsfall, bland annat:

• Sända media och underhållning: Hantera stora bibliotek med program, filmer och klipp genom att generera detaljerade metadata för varje tillgång.
• Utbildning och e*Learning: Index och hämta specifika ögonblick i utbildningsvideor eller föreläsningar.
• Företagsträning: Organisera träningsvideor efter viktiga ämnen, scener eller viktiga ögonblick.
• Marknadsföring och reklam: Analysera reklamvideor för att extrahera produktplaceringar, varumärkesframträdanden och viktiga meddelanden.

Funktioner för videotolkning

Content Understanding bearbetar videofiler via en anpassningsbar pipeline som kan utföra både extrahering av innehåll och extrahering av fält. Extrahering av innehåll fokuserar på att analysera videon för att generera grundläggande metadata, medan Fältextrahering använder dessa metadata för att skapa mer detaljerade, anpassade insikter som är skräddarsydda för specifika användningsfall. Att följa är en översikt över varje funktion.

Extrahering av innehåll

Innehållsextrahering för video innehåller transkription, bildidentifiering, extrahering av nyckelramar och ansiktsgruppering. Dessa åtgärder utförs över samplade bildrutor från hela videon och genererar en strukturerad textutdata som representerar videon. Extrahering av innehåll fungerar också som grunddata för generativa funktioner i fältextrahering genom att ge kontext till vad som finns i videon.

Specifika funktioner för extrahering av innehåll:

• Transkription: Konverterar tal till strukturerad, sökbar text via Azure AI Speech, så att användarna kan ange igenkänningsspråk.
• Bildidentifiering: Identifierar segment av videon i linje med skottgränser där det är möjligt, vilket möjliggör exakt redigering och ompaketering av innehåll med pauser exakt på skottgränser.
• Extrahering av nyckelram: Extraherar nyckelramar från videor för att representera varje skott helt, vilket säkerställer att varje skott har tillräckligt med nyckelramar för att fältextrahering ska fungera effektivt.
• Ansiktsgruppering: Grupperade ansikten som visas i en video för att extrahera en representativ ansiktsbild för varje person och tillhandahåller segment där var och en finns. Grupperade ansiktsdata är tillgängliga som metadata och kan användas för att generera anpassade metadatafält.
  • Den här funktionen är begränsad åtkomst och omfattar ansiktsidentifiering och gruppering. kunder måste registrera sig för åtkomst på Ansiktsigenkänning.

Fältextrahering

Fältextrahering möjliggör generering av strukturerade data för varje segment i videon, till exempel taggar, kategorier eller beskrivningar, med hjälp av ett anpassningsbart schema som är anpassat efter dina specifika behov. Dessa strukturerade data gör det enklare att organisera, söka och automatiskt bearbeta videoinnehåll effektivt. Fältextrahering använder en multimodal generativ modell för att extrahera specifika data från videon, med hjälp av nyckelramar och textutdata från innehållsextrahering som indata. Fältextrahering gör det möjligt för den generativa modellen att göra detaljerade insikter baserat på det visuella innehållet som samlas in från bilder, vilket ger detaljerad identifiering.

Exempel på fält för olika branscher:

• Hantering av medietillgångar:

  • Bildtyp: Hjälper redigerare och producenter att organisera innehåll, förenkla redigering och förstå videons visuella språk. Användbart för metadatataggning och snabbare scenhämtning.
  • Färgschema: Förmedlar stämning och atmosfär, viktigt för narrativ konsekvens och läsarengagemang. Genom att identifiera färgteman kan du hitta matchande klipp för snabbare videoredigering.

• Annonsering:

  • Varumärke: Identifierar varumärkesnärvaro, kritisk för att analysera annonspåverkan, varumärkessynlighet och association med produkter. Den här funktionen gör det möjligt för annonsörer att utvärdera varumärkesstatus och säkerställa efterlevnad av varumärkesriktlinjer.
  • Annonskategorier: Kategoriserar annonstyper efter bransch, produkttyp eller målgruppssegment, som stöder riktade annonseringsstrategier, kategorisering och prestandaanalys.

Viktiga fördelar

Content Understanding ger flera viktiga fördelar jämfört med andra lösningar för videoanalys:

• Segmentbaserad analys med flera ramar: Identifiera åtgärder, händelser, ämnen och teman genom att analysera flera bildrutor från varje videosegment i stället för enskilda bildrutor.
• Anpassning: Anpassa de metadata du genererar genom att ändra schemat i enlighet med ditt specifika användningsfall.
• Generativa modeller: Beskriv på naturligt språk vilket innehåll du vill extrahera, och Content Understanding använder generativa modeller för att extrahera dessa metadata.
• Optimerad förbearbetning: Utför flera förbearbetningssteg för innehållsextrahering, till exempel transkription och scenidentifiering, optimerad för att ge omfattande kontext till AI-generativa modeller.

Indatakrav

Detaljerad information om indatadokumentformat som stöds finns på sidan Tjänstkvoter och gränser .

Språk och regioner som stöds

En detaljerad lista över språk och regioner som stöds finns på vår supportsida för Språk och region.

Datasekretess och säkerhet

Precis som med alla Azure AI-tjänster bör utvecklare som använder Content Understanding-tjänsten vara medvetna om Microsofts principer för kunddata. Mer information finns på sidan Data, skydd och sekretess .

Viktigt!

Användare av Content Understanding kan aktivera funktioner som ansiktsgruppering för videor, vilket innebar bearbetning av biometriska data. Om du använder Microsofts produkter eller tjänster för att bearbeta biometriska data ansvarar du för att: (i) meddela registrerade, inklusive med avseende på kvarhållningsperioder och förstörelse; ii) erhålla samtycke från registrerade. och (iii) ta bort biometriska data, allt efter behov och krävs enligt tillämpliga dataskyddskrav. Biometriska data har den innebörd som anges i artikel 4 i GDPR och, om tillämpligt, likvärdiga termer i andra dataskyddskrav. Relaterad information finns i Data och sekretess för Ansikte.

Nästa steg

• Prova att bearbeta ditt videoinnehåll med hjälp av Content Understanding i Azure Portal.
• Lär dig att analysera mallar för analys av videoinnehåll.
• Granska kodexemplet: extrahering av videoinnehåll.
• Granska kodexemplet: videosökning med frågor på naturligt språk.
• Granska kodexempel: analysmallar