Delen via

Videooplossingen voor Azure AI Content Understanding (preview)

  • Artikel

Belangrijk

  • Azure AI Content Understanding is beschikbaar in preview. Openbare preview-versies bieden vroege toegang tot functies die actief zijn in ontwikkeling.
  • Functies, benaderingen en processen kunnen worden gewijzigd of beperkte mogelijkheden hebben, voordat algemene beschikbaarheid (GA) wordt uitgevoerd.
  • ZieAanvullende gebruiksvoorwaarden voor Microsoft Azure Previews voor meer informatie.

Met Azure AI Content Understanding kunt u videometagegevens extraheren en aanpassen. Content Understanding helpt bij het efficiënt beheren, categoriseren, ophalen en bouwen van werkstromen voor videoassets. Het verbetert uw mediaassetbibliotheek, ondersteunt werkstromen zoals het genereren van markeringen, categoriseert inhoud en faciliteert toepassingen zoals het ophalen van augmented generation (RAG).

Inhoudsbegrip voor video biedt brede mogelijkheden. U kunt bijvoorbeeld metagegevens aanpassen om specifieke scènes in een trainingsvideo te taggen, zodat werknemers belangrijke secties gemakkelijker kunnen vinden en bekijken. U kunt ook aanpassing van metagegevens gebruiken om productplaatsing te identificeren in promotievideo's, waardoor marketingteams merkblootstelling kunnen analyseren.

Zakelijke use-cases

Azure AI Content Understanding biedt een reeks zakelijke use cases, waaronder:

  • Media en entertainment uitzenden: beheer grote bibliotheken van shows, films en clips door gedetailleerde metagegevens voor elke asset te genereren.
  • Education en e*Learning: Indexeer en haal specifieke momenten op in educatieve video's of lezingen.
  • Bedrijfstraining: Organiseer trainingsvideo's op belangrijke onderwerpen, scènes of belangrijke momenten.
  • Marketing en reclame: analyseer promotievideo's om productplaatsingen, merkuitingen en belangrijke berichten te extraheren.

Mogelijkheden voor video-inzicht

Schermopname van de videoanalysestroom.

Content Understanding verwerkt videobestanden via een aanpasbare pijplijn waarmee zowel inhoudsextractie - als veldextractietaken kunnen worden uitgevoerd. Inhoudextractie is gericht op het analyseren van de video om fundamentele metagegevens te genereren, terwijl veldextractie die metagegevens gebruikt om gedetailleerdere, aangepaste inzichten te maken die zijn afgestemd op specifieke use cases. Te volgen is een overzicht van elke mogelijkheid.

Inhoudsextractie

Inhoudsextractie voor video omvat transcriptie, opnamedetectie, sleutelframeextractie en gezichtsgroepering. Deze bewerkingen worden uitgevoerd op frames uit de hele video en genereren een gestructureerde tekstuitvoer die de video vertegenwoordigt. Inhoudsextractie fungeert ook als grondgegevens voor generatieve mogelijkheden van Veldextractie door context te bieden over wat in de video is opgenomen.

Specifieke mogelijkheden van inhoudextractie:

  • Transcriptie: converteert spraak naar gestructureerde, doorzoekbare tekst via Azure AI Speech, zodat gebruikers herkenningstalen kunnen opgeven.
  • Opnamedetectie: identificeert segmenten van de video die waar mogelijk zijn uitgelijnd met schotgrenzen, waardoor inhoud nauwkeurig kan worden bewerkt en opnieuw kan worden verpakt met exacte onderbrekingen op schotgrenzen.
  • Sleutelframeextractie: extraheert sleutelframes van video's om elke opname volledig weer te geven, zodat elke opname voldoende sleutelframes heeft om Veldextractie effectief te laten werken.
  • Gezichtsgroepering: gegroepeerde gezichten die in een video worden weergegeven om één representatieve gezichtsafbeelding voor elke persoon te extraheren en segmenten te bieden waarin elk gezicht aanwezig is. De gegroepeerde gezichtsgegevens zijn beschikbaar als metagegevens en kunnen worden gebruikt om aangepaste metagegevensvelden te genereren.
    • Deze functie heeft beperkte toegang en omvat gezichtsidentificatie en groepering; klanten moeten zich registreren voor toegang bij Face Recognition.

Veldextractie

Met veldextractie kunt u gestructureerde gegevens genereren voor elk segment van de video, zoals tags, categorieën of beschrijvingen, met behulp van een aanpasbaar schema dat is afgestemd op uw specifieke behoeften. Deze gestructureerde gegevens maken het eenvoudiger om video-inhoud efficiënt te organiseren, te zoeken en te verwerken. Veldextractie maakt gebruik van een multimodale generatieve model om specifieke gegevens uit de video te extraheren, met behulp van sleutelframes en tekstuitvoer van Inhoudextractie als invoer. Met veldextractie kan het generatieve model gedetailleerde inzichten maken op basis van de visuele inhoud die is vastgelegd op basis van opnamen, waardoor gedetailleerde identificatie wordt geboden.

Voorbeelden van velden voor verschillende branches:

  • Media assetbeheer:

    • Schottype: helpt editors en producenten om inhoud te organiseren, het bewerken te vereenvoudigen en inzicht te krijgen in de visuele taal van de video. Handig voor het taggen van metagegevens en het sneller ophalen van scènes.
    • Kleurenschema: Geeft stemming en sfeer over, essentieel voor verhaalconsistentie en kijkerbetrokkenheid. Het identificeren van kleurthema's helpt bij het vinden van overeenkomende clips voor versnelde videobewerking.

  • Reclame:

    • Merk: Identificeert merk aanwezigheid, essentieel voor het analyseren van advertentie-impact, merkzichtbaarheid en associatie met producten. Met deze mogelijkheid kunnen adverteerders merkstatus beoordelen en naleving van huisstijlrichtlijnen garanderen.
    • Advertentiecategorieën: Categoriseert advertentietypen op branche, producttype of doelgroepsegment, dat ondersteuning biedt voor gerichte advertentiestrategieën, categorisatie en prestatieanalyse.

Belangrijkste voordelen

Content Understanding biedt verschillende belangrijke voordelen in vergelijking met andere oplossingen voor videoanalyse:

  • Analyse van meerdere frames op basis van segmenten: acties, gebeurtenissen, onderwerpen en thema's identificeren door meerdere frames uit elk videosegment te analyseren in plaats van afzonderlijke frames.
  • Aanpassing: Pas de metagegevens die u genereert aan door het schema te wijzigen in overeenstemming met uw specifieke use-case.
  • Generatieve modellen: beschrijven in natuurlijke taal welke inhoud u wilt extraheren en Content Understanding maakt gebruik van generatieve modellen om die metagegevens te extraheren.
  • Geoptimaliseerde voorverwerking: voer verschillende stappen voor het extraheren van inhoud uit, zoals transcriptie en scènedetectie, geoptimaliseerd om rijke context te bieden aan AI-generatieve modellen.

Vereisten voor invoer

Raadpleeg onze pagina Servicequota en limieten voor gedetailleerde informatie over ondersteunde indelingen voor invoerdocument.

Ondersteunde talen en regio's

Ga naar onze ondersteuningspagina voor talen en regio's voor een gedetailleerde lijst met ondersteunde talen en regio's.

Gegevensprivacy en -beveiliging

Net als bij alle Azure AI-services moeten ontwikkelaars die de Content Understanding-service gebruiken zich bewust zijn van het beleid van Microsoft voor klantgegevens. Zie onze pagina Gegevens, beveiliging en privacy voor meer informatie.

Belangrijk

Gebruikers van Content Understanding kunnen functies zoals Face Grouping inschakelen voor video's, waarbij biometrische gegevens worden verwerkt. Als u Microsoft-producten of -services gebruikt om biometrische gegevens te verwerken, bent u verantwoordelijk voor: (i) het verstrekken van kennisgeving aan betrokkenen, waaronder met betrekking tot retentieperioden en vernietiging; ii) toestemming te krijgen van betrokkenen; en (iii) het verwijderen van de biometrische gegevens, allemaal indien van toepassing en vereist onder toepasselijke vereisten voor gegevensbescherming. "Biometrische gegevens" heeft de betekenis die is geformuleerd in artikel 4 van de AVG en, indien van toepassing, gelijkwaardige termen in andere vereisten voor gegevensbescherming. Zie Gegevens en privacy voor Face voor gerelateerde informatie.

Volgende stappen