Delen via

Een Azure AI-afbeeldings- en videoverwerkingstechnologie kiezen

  • Artikel

Azure AI-services helpen ontwikkelaars en organisaties intelligente, geavanceerde, marktklare en verantwoordelijke toepassingen te maken met kant-en-klare en vooraf samengestelde en aanpasbare API's en modellen.

In dit artikel worden Azure AI-services behandeld die video- en afbeeldingsverwerkingsmogelijkheden bieden, zoals visuele analyse en het genereren van afbeeldingen, objectdetectie, afbeeldingsclassificatie en gezichtsherkenning.

Services

De volgende services bieden mogelijkheden voor video- en afbeeldingsverwerking voor Azure AI-services:

  • Azure OpenAI

    • Gebruik Azure OpenAI voor het genereren van afbeeldingen uit natuurlijke taal met vooraf getrainde generatieve imaging-modellen. Bijvoorbeeld het genereren van aangepaste kunst op aanvraag.
    • Gebruik Azure OpenAI wanneer u een niet-specifieke, brede analyse van afbeeldingen moet uitvoeren. Bijvoorbeeld het genereren van toegankelijkheidsbeschrijvingen.
    • Gebruik Azure OpenAI niet als u opensource-modellen voor het genereren van installatiekopieën wilt gebruiken die beschikbaar zijn in Azure Machine Learning.
    • Gebruik Azure OpenAI niet als u specifieke typen afbeeldingsverwerking wilt uitvoeren, zoals het extraheren van formulieren, gezichtsherkenning of domeingespecialiseerde detectie van afbeeldingskenmerken. Voor deze scenario's gebruikt of bouwt u AI-oplossingen die speciaal zijn getraind voor deze doeleinden.

  • Azure AI Vision

    • Gebruik de Vision-service wanneer u ocr (basic optical character recognition), afbeeldingsanalyse of basisvideoanalyse nodig hebt om beweging en andere gebeurtenissen te detecteren.
    • Gebruik de Vision-service niet voor analyse die grote, multimodale basismodellen al ondersteunen.
    • Gebruik de Vision-service niet om inhoud te modereren. Gebruik in plaats daarvan de Content Safety-service.

  • Azure AI Custom Vision

    • Gebruik de service wanneer u specifieke vereisten hebt die de afbeeldingsanalyse van de Basic Vision-service niet kan bieden. Het is bijvoorbeeld handig om ongebruikelijke objecten, productiefouten te herkennen of gedetailleerde aangepaste classificaties te bieden.
    • Gebruik de service niet als u basisobjectdetectie of gezichtsdetectie nodig hebt. Gebruik in plaats daarvan Face- of Vision-services.
    • Gebruik de service niet voor eenvoudige visuele analyse. Gebruik in plaats daarvan vision-compatibele modellen van Azure OpenAI of opensource-modellen in Azure Machine Learning.

  • Azure AI Face

    • Gebruik de Face-service wanneer u wilt controleren of gezichten live of vervalst of vervalst zijn, of om vergelijkbare gezichten te identificeren, te groeperen of te vinden.
    • Gebruik de Face-service niet om emoties in gezichten te detecteren of andere redenen op hoog niveau over gezichten uit te voeren. Gebruik in plaats daarvan multimodale taalmodellen voor deze taken.

  • Azure AI Video Indexer

    • Gebruik de Azure Video Indexer-service voor geavanceerdere taken met betrekking tot videoanalyses die de basisvideoanalyse van de Vision-service niet kan bieden.
    • Gebruik de Azure Video Indexer-service niet voor eenvoudige videoanalysetaken, zoals mensen die tellen en beweging en gebeurtenisdetectie. De basisvideoanalyse van de Vision-service is rendabeler voor deze taken.

Azure OpenAI

Azure OpenAI biedt toegang tot de krachtige taalmodellen van OpenAI, waaronder de nieuwste generatie GPT-modellen. Deze bieden ondersteuning voor visuele analyse en generaties van afbeeldingen en DALL-E ondersteunt het genereren van afbeeldingen.

Azure AI Vision

Azure AI Vision biedt geavanceerde algoritmen waarmee afbeeldingen worden verwerkt en informatie wordt geretourneerd op basis van de visuele functies waarin u geïnteresseerd bent. Het biedt vier services: OCR, Face-service, afbeelding en ruimtelijke analyse.

Functies

De volgende tabel bevat een lijst met mogelijkheden die beschikbaar zijn in de Azure AI Vision-service.

Mogelijkheid Beschrijving
Optische tekenherkenning (OCR) De OCR-service (Optical Character Recognition) extraheert tekst uit afbeeldingen. U kunt de Read-API gebruiken om gedrukte en handgeschreven tekst uit foto's en documenten te extraheren. Het maakt gebruik van op deep learning gebaseerde modellen en werkt met tekst op verschillende oppervlakken en achtergronden. Dit zijn zakelijke documenten, facturen, ontvangstbewijzen, posters, visitekaartjes, brieven en whiteboards. De OCR-API's ondersteunen het extraheren van afgedrukte tekst in verschillende talen.
Afbeeldingsanalyse De Image Analysis-service extraheert veel visuele functies uit afbeeldingen, zoals objecten, gezichten en automatisch gegenereerde tekstbeschrijvingen. Met Afbeeldingsanalyse 4.0, die is gebaseerd op het Florence-basismodel, kunt u ook aangepaste modellen voor beeldherkenning creëren.
Videoanalyse Videoanalyse bevat videogerelateerde functies, zoals ruimtelijke analyse en het ophalen van video's. Ruimtelijke analyse analyseert de aanwezigheid en beweging van personen op een videofeed en produceert gebeurtenissen waarop andere systemen kunnen reageren.

Azure AI Aangepaste Visie

Azure AI Custom Vision-service is een service voor afbeeldingsherkenning waarmee u uw eigen afbeeldings-id-modellen kunt bouwen, implementeren en verbeteren. Een afbeeldings-id past labels toe op afbeeldingen, afhankelijk van hun visuele kenmerken. Elk label vertegenwoordigt een classificatie of object. Met Custom Vision kunt u uw eigen labels opgeven en aangepaste modellen trainen om ze te detecteren.

De Custom Vision-service maakt gebruik van een machine learning-algoritme om afbeeldingen voor aangepaste functies te analyseren. U verzendt sets afbeeldingen die wel en niet over de visuele kenmerken beschikken die u zoekt. Vervolgens labelt u de afbeeldingen met uw eigen labels (tags) op het moment van indiening. Het algoritme traint naar deze gegevens en berekent zijn eigen nauwkeurigheid door zichzelf op dezelfde afbeeldingen te testen. Zodra u uw model hebt getraind, kunt u het testen, opnieuw trainen en uiteindelijk gebruiken in uw app voor afbeeldingsherkenning om afbeeldingen te classificeren of objecten te detecteren. U kunt het model ook exporteren voor offlinegebruik.

Functies

De volgende tabel bevat een lijst met mogelijkheden die beschikbaar zijn in de Azure AI Custom Vision-service.

Mogelijkheid Beschrijving
Afbeeldingsclassificatie Voorspel een categorie of klasse op basis van een set invoerwaarden, die functies worden genoemd. Bereken een waarschijnlijkheidsscore voor elke mogelijke klasse en retourneer een label dat de klasse aangeeft waartoe het object waarschijnlijk behoort. Als u dit model wilt gebruiken, hebt u gegevens nodig die bestaan uit functies en hun labels.
Objectdetectie Haal de coördinaten van een object in een afbeelding op. Als u dit model wilt gebruiken, hebt u gegevens nodig die bestaan uit functies en hun labels

Gebruiksgevallen

De volgende tabel bevat een lijst met mogelijke gebruiksvoorbeelden voor de Azure AI Custom Vision-service.

Gebruiksscenario Beschrijving
Custom Vision gebruiken met een IoT-apparaat om visuele statussen te rapporteren Gebruik Custom Vision om een apparaat met een camera te trainen om visuele statussen te detecteren. U kunt dit detectiescenario uitvoeren op een IoT-apparaat met behulp van een geëxporteerd ONNX-model. Een visuele toestand beschrijft de inhoud van een afbeelding: een lege kamer of een kamer met mensen, een lege oprit of een oprit met een vrachtwagen, enzovoort.
Logo's herkennen in camerafoto's Analyseer foto's, op zoek naar specifieke logo's.

Azure AI Face

Azure AI Face-service biedt AI-algoritmen waarmee menselijke gezichten in afbeeldingen worden gedetecteerd, herkend en geanalyseerd. Gezichtsherkenningssoftware is belangrijk in veel scenario's, zoals identificatie, aanraakloos toegangsbeheer en automatische gezichtsvervaging voor privacy.

Functies

De volgende tabel bevat een lijst met mogelijkheden die beschikbaar zijn in de Azure AI Face-service.

Mogelijkheid Beschrijving
Gezichtsdetectie en -analyse Identificeer de regio's van een afbeelding die een menselijk gezicht bevatten, meestal door begrenzingsvakcoördinaten te retourneren die een rechthoek rond het gezicht vormen.
Vergelijkbare gezichten zoeken Met de bewerking Vergelijkbare zoeken worden gezichten gevonden die overeenkomen tussen een doel gezicht en een set kandidaat gezichten, waarbij een kleinere set gezichten wordt gevonden die er ongeveer uitzien als het doel gezicht. Dit is handig voor het zoeken van een gezicht binnen een afbeelding.
Gezichten groeperen De groepsbewerking verdeelt een set onbekende gezichten in verschillende kleinere groepen op basis van gelijkenis. Elke groep is een niet-aaneengesloten juiste subset van de oorspronkelijke set van gezichten. Het retourneert ook één 'rommeligeGroup'-matrix die de gezichts-id's bevat waarvoor geen overeenkomsten zijn gevonden.
Kenmerk Gezichtsidentificatie kan 'een-op-veel'-vergelijking van één gezicht in een afbeelding aanpakken op een set gezichten in een beveiligde opslagplaats. Overeenkomende kandidaten worden geretourneerd op basis van hoe nauw hun gezichtsgegevens overeenkomen met het querygezicht.
Gezichtsherkenningsbewerkingen Moderne ondernemingen en apps kunnen gebruikmaken van de technologieën voor gezichtsherkenning, waaronder gezichtsverificatie ('een-op-een'-overeenkomst) en gezichtsidentificatie ('een-op-veel'-overeenkomst) om te bevestigen dat een gebruiker is wie hij of zij beweert te zijn.
Detectie van liveness Detectie van liveness is een anti-adresvervalsingsfunctie waarmee wordt gecontroleerd of een gebruiker fysiek voor de camera aanwezig is. Het wordt gebruikt om spoofingaanvallen te voorkomen met behulp van een afgedrukte foto, opgenomen video of een 3D-masker van het gezicht van de gebruiker.

Gebruiksgevallen

De volgende tabel bevat een lijst met mogelijke gebruiksvoorbeelden voor de Azure AI Face-service.

Gebruiksscenario Beschrijving
Controleer de gebruikersidentiteit. Een persoon verifiëren op basis van een vertrouwde gezichtsafbeelding. Deze verificatie kan worden gebruikt om toegang te verlenen tot digitale of fysieke eigenschappen. In de meeste gevallen kan het vertrouwde gezichtsafbeelding afkomstig zijn van een door de overheid uitgegeven id, zoals een paspoort of rijbewijs, of het kan afkomstig zijn van een persoonlijke inschrijvingsfoto. Tijdens de verificatie kan detectie van liveness een belangrijke rol spelen bij het controleren of de afbeelding afkomstig is van een echte persoon, niet van een afgedrukte foto of masker.
Gezichten onherkenbaar maken Gedetecteerde gezichten van personen die in een video zijn opgenomen, redacteren of vervagen om hun privacy te beschermen.
Aanraakloos toegangsbeheer. Vergeleken met methoden zoals kaarten of tickets, zorgt opt-in gezichtsidentificatie voor een verbeterde ervaring met toegangsbeheer, terwijl de hygiëne- en beveiligingsrisico's van het delen, verlies of diefstal van fysieke media worden verminderd. Gezichtsherkenning helpt het incheckproces met een mens in de lus voor check-ins op luchthavens, stadions, themaparken, gebouwen, receptie kiosken bij kantoren, ziekenhuizen, fitnessruimtes, clubs of scholen.

Azure AI Video Indexer

Azure AI Video Indexer is een cloudtoepassing, onderdeel van Azure AI-services, gebouwd op Azure AI-services (zoals Face, Translator, Azure AI Vision en Speech). Hiermee kunt u de inzichten uit uw video's extraheren met behulp van video- en audiomodellen van Azure AI Video Indexer.

Functies

De volgende tabel bevat een lijst met enkele van de mogelijkheden die beschikbaar zijn in de Azure AI Video Indexer-service.

Mogelijkheid Beschrijving
Spraakidentificatie en transcriptie in meerdere talen Identificeert de gesproken taal in verschillende segmenten van audio. Elke segment van het mediabestand wordt verzonden voor een transcriptie en deze transcripties worden vervolgens gecombineerd in één uniforme transcriptie.
Gezichtsdetectie Detecteert en groepeert gezichten die worden weergegeven in de video.
Identificatie van beroemdheden Identificeert meer dan 1 miljoen beroemdheden, zoals wereldberoemde leiders, acteurs, kunstenaars, atleten, onderzoekers, bedrijven en technische leiders over de hele wereld. De gegevens over deze beroemdheden zijn ook te vinden op verschillende websites (IMDB, Wikipedia, enzovoort.)
Gezichtsidentificatie op basis van accounts Traint een model voor een specifiek account. Vervolgens worden gezichten in de video herkend op basis van het getrainde model.
Geobserveerde personen bijhouden (preview) Detecteert waargenomen personen in video's en biedt informatie zoals de locatie van de persoon in het videoframe (met begrenzingsvakken) en de exacte tijdstempel (begin, einde) en het vertrouwen wanneer een persoon wordt weergegeven.
Audiotranscriptie Converteert spraak naar tekst in meer dan 50 talen en staat extensies toe.
Taaldetectie Identificeert de dominante gesproken taal.
Ruisonderdrukking Hiermee worden telefoonaudio- of ruisopnamen gewist (op basis van Skype-filters).
Omzetting Hiermee maakt u vertalingen van het audiotranscriptie naar veel verschillende talen.

Zie de documentatie van Azure AI Video Indexer voor meer mogelijkheden van de Azure AI Video Indexer-service.

Gebruiksgevallen

De volgende tabel bevat een lijst met mogelijke gebruiksvoorbeelden voor de Azure AI Video Indexer-service.

Gebruiksscenario Beschrijving
Uitgebreide zoekactie Gebruik de inzichten die zijn geëxtraheerd uit de video om de zoekervaring in een videobibliotheek te verbeteren. Het indexeren van gesproken woorden en gezichten kan bijvoorbeeld de zoekervaring van het vinden van momenten in een video mogelijk maken waarin een persoon bepaalde woorden sprak of wanneer twee personen samen werden gezien. Zoeken op basis van dergelijke inzichten van video's is van toepassing op nieuwsbureaus, onderwijsinstituten, omroepen, eigenaren van entertainmentinhoud, zakelijke LOB-apps en in het algemeen op elke branche met een videobibliotheek waarop gebruikers moeten zoeken.
Contentcreatie Maak trailers, markeer rollen, sociale media-inhoud of nieuwsclips op basis van de inzichten die Azure AI Video Indexer uit uw inhoud haalt. Keyframes, scènemarkeringen en tijdstempels van de personen en labelweergaven maken het maken soepeler en eenvoudiger, zodat u eenvoudig de onderdelen van de video kunt openen die u nodig hebt bij het maken van inhoud.
Toegankelijkheid Of u nu inhoud beschikbaar wilt maken voor mensen met een beperking of als u wilt dat uw inhoud in verschillende regio's wordt gedistribueerd met behulp van verschillende talen, kunt u de transcriptie en vertaling van Azure AI Video Indexer in meerdere talen gebruiken.
Inkomsten genereren Azure AI Video Indexer kan helpen de waarde van video's te verhogen. Branches die afhankelijk zijn van advertentie-omzet (nieuwsmedia, sociale media, enzovoort) kunnen bijvoorbeeld relevante advertenties leveren met behulp van de geëxtraheerde inzichten als extra signalen voor de advertentieserver.
Inhoudsmoderatie Gebruik tekst- en visuele con tentmodus ratiemodellen om uw gebruikers te beschermen tegen ongepaste inhoud en te controleren of de inhoud die u publiceert overeenkomt met de waarden van uw organisatie. U kunt bepaalde video's automatisch blokkeren of uw gebruikers waarschuwen over de inhoud.
Aanbevelingen Video-inzichten kunnen worden gebruikt om de betrokkenheid van gebruikers te verbeteren door de relevante videomomenten voor gebruikers te markeren. Door elke video te taggen met extra metagegevens, kunt u gebruikers de meest relevante video's aanbevelen en de delen van de video markeren die aan hun behoeften voldoen.

Volgende stappen