Bewerken

Delen via

Afbeeldingsclassificatie in Azure

Azure Blob Storage
Azure Computer Vision
Azure Cosmos DB
Azure Event Grid
Azure Functions

ideeën voor oplossing

In dit artikel wordt een oplossingsidee beschreven. Uw cloudarchitect kan deze richtlijnen gebruiken om de belangrijkste onderdelen te visualiseren voor een typische implementatie van deze architectuur. Gebruik dit artikel als uitgangspunt om een goed ontworpen oplossing te ontwerpen die overeenkomt met de specifieke vereisten van uw workload.

Met behulp van Azure-services, zoals de Computer Vision-API en Azure Functions, kunnen bedrijven de noodzaak van het beheren van afzonderlijke servers elimineren, terwijl ze de kosten verlagen en gebruikmaken van de expertise die Microsoft al heeft ontwikkeld met het verwerken van afbeeldingen met Azure AI-services. Dit oplossingsidee heeft specifiek betrekking op een gebruiksscenario voor afbeeldingsverwerking. Als u verschillende AI-behoeften hebt, kunt u de volledige suite met Azure AI-servicesoverwegen.

Architectuur

diagram van een architectuur die wordt gebruikt voor afbeeldingsclassificatietaken.

Download een Visio-bestand van dit oplossingsidee.

Gegevensstroom

In dit scenario worden de back-endonderdelen van een web- of mobiele toepassing behandeld. Gegevens stromen als volgt door het scenario:

  1. Als u nieuwe bestanden (afbeeldingsuploads) toevoegt in Blob Storage, wordt een gebeurtenis geactiveerd in Azure Event Grid. Het uploadproces kan worden ingedeeld via internet of een mobiele toepassing. U kunt ook afbeeldingen afzonderlijk uploaden naar de Azure Blob-opslag.
  2. Event Grid verzendt een melding waarmee de Azure-functies worden geactiveerd.
  3. Azure Functions roept de Azure AI Vision-API aan om de zojuist geüploade afbeelding te analyseren. Azure AI Vision opent de afbeelding via de blob-URL die wordt geparseerd door Azure Functions.
  4. Azure Functions behoudt het ANTWOORD van de AI Vision-API in Azure Cosmos DB. Dit antwoord bevat de resultaten van de analyse, samen met de metagegevens van de afbeelding.
  5. De resultaten kunnen worden gebruikt en weerspiegeld op het web of mobiele front-end. Houd er rekening mee dat met deze methode de resultaten van de classificatie worden opgehaald, maar niet de geüploade afbeelding.

Onderdelen

  • Azure AI Vision- maakt deel uit van de Azure AI-servicessuite en wordt gebruikt om informatie over elke afbeelding op te halen.
  • Azure Functions- biedt de back-end-API voor de webtoepassing. Dit platform biedt ook gebeurtenisverwerking voor geüploade afbeeldingen.
  • Azure Event Grid een gebeurtenis activeert wanneer een nieuwe afbeelding wordt geüpload naar blobopslag. De installatiekopieën worden vervolgens verwerkt met Azure Functions.
  • Azure Blob Storage alle afbeeldingsbestanden opgeslagen die worden geüpload naar de webtoepassing, evenals statische bestanden die door de webtoepassing worden gebruikt.
  • Azure Cosmos DB metagegevens opslaat over elke afbeelding die wordt geüpload, inclusief de resultaten van de verwerking van de Computer Vision-API.

Alternatieven

  • Azure OpenAI GPT-4o en GPT-4o-mini-. GPT-4o en GPT-4o-mini zijn multimodale chatmodellen van OpenAI die algemene vragen kunnen beantwoorden over wat er aanwezig is in de afbeeldingen die u opgeeft.
  • Custom Vision Service. De Computer Vision-API retourneert een set op taxonomie gebaseerde categorieën. Als u informatie wilt verwerken die niet wordt geretourneerd door de Computer Vision-API, kunt u de Custom Vision-service gebruiken, waarmee u aangepaste afbeeldingsclassificaties kunt maken. Volg de quickstart Een afbeeldingsclassificatiemodel maken met de Custom Vision-voor meer informatie over deze service.
  • Azure AI Search-. Als uw use-case betrekking heeft op het uitvoeren van query's op de metagegevens om afbeeldingen te vinden die voldoen aan specifieke criteria, kunt u overwegen Om Azure AI Search te gebruiken. Azure AI Search deze werkstroom naadloos integreert.
  • Logic Apps-. Als u niet in realtime hoeft te reageren op toegevoegde bestanden in een blob, kunt u overwegen Logic Apps te gebruiken. Een logische app die kan controleren of een bestand is toegevoegd, kan worden gestart door de terugkeerpatroontrigger of schuifvenstertrigger.
  • Als u afbeeldingen in documenten hebt ingesloten, gebruikt u Azure AI Document Intelligence om deze afbeeldingen te vinden. Met deze informatie kunt u verdere computer vision-taken extraheren en uitvoeren op de ingesloten afbeeldingen. Gebruik Document Intelligence om gegevens over deze ingesloten afbeeldingen te verzamelen, zoals paginanummer of bijschrifttekst die samen met de andere metagegevens van de afbeeldingen kan worden opgeslagen die via de Computer Vision-API worden ontvangen. Als uw afbeeldingen voornamelijk foto's of scans van documenten zijn, gebruikt u de aangepaste classificatiemodellen van Document Intelligence om een classificatie van een invoerbestand één pagina tegelijk uit te voeren om de documenten te identificeren. Deze benadering kan ook meerdere documenten of meerdere exemplaren van één document in een invoerbestand identificeren.

Scenariodetails

Dit scenario is relevant voor bedrijven die afbeeldingen moeten verwerken.

Mogelijke toepassingen omvatten het classificeren van afbeeldingen voor een modewebsite, het analyseren van tekst en afbeeldingen voor verzekeringsclaims of het begrijpen van telemetriegegevens uit gameschermafbeeldingen. Normaal gesproken moeten bedrijven expertise ontwikkelen in machine learning-modellen, de modellen trainen en ten slotte de installatiekopieën uitvoeren via hun aangepaste proces om de gegevens uit de installatiekopieën te halen.

Mogelijke gebruiksvoorbeelden

Deze oplossing is ideaal voor de detailhandel, game, financiën en verzekeringen. Andere relevante use cases zijn:

  • Afbeeldingen classificeren op een modewebsite. Afbeeldingsclassificatie kan worden gebruikt door verkopers tijdens het uploaden van afbeeldingen van producten op het platform dat te koop is. Vervolgens kunnen ze de bijbehorende handmatige taggen automatiseren. De klanten kunnen ook door de visuele indruk van de producten zoeken.

  • Telemetriegegevens classificeren uit schermopnamen van games. De classificatie van videogames uit schermopnamen ontwikkelt zich in een relevant probleem in sociale media, in combinatie met computer vision. Wanneer Twitch streamers bijvoorbeeld verschillende games achter elkaar spelen, kunnen ze hun streamgegevens handmatig bijwerken. Het bijwerken van streamgegevens kan leiden tot een onjuiste classificatie van streams in zoekopdrachten van gebruikers en kan leiden tot het verlies van potentiële kijkers voor zowel de makers van inhoud als de streamingplatforms. Tijdens het introduceren van nieuwe games kan een aangepaste modelroute handig zijn om de mogelijkheid te introduceren om nieuwe afbeeldingen van die games te detecteren.

  • Afbeeldingen voor verzekeringsclaims classificeren. Afbeeldingsclassificatie kan helpen bij het verminderen van de tijd en kosten voor het verwerken en onderschrijven van claims. Het kan helpen bij het analyseren van natuurrampschade, voertuigschade en het identificeren van woningen en commerciële eigenschappen.

Volgende stappen

Productdocumentatie

Zie voor een begeleid leertraject: