Modifica

Condividi tramite

Classificazione delle immagini in Azure

Archiviazione BLOB di Azure
Visione artificiale di Azure
Azure Cosmos DB
Griglia di eventi di Azure
Funzioni di Azure

idee per soluzione

Questo articolo descrive un'idea di soluzione. L'architetto cloud può usare queste linee guida per visualizzare i componenti principali per un'implementazione tipica di questa architettura. Usare questo articolo come punto di partenza per progettare una soluzione ben progettata in linea con i requisiti specifici del carico di lavoro.

Usando i servizi di Azure, ad esempio l'API Visione artificiale e Funzioni di Azure, le aziende possono eliminare la necessità di gestire singoli server, riducendo al contempo i costi e sfruttando le competenze già sviluppate da Microsoft con l'elaborazione di immagini con i servizi di intelligenza artificiale di Azure. Questa soluzione risolve in modo specifico un caso d'uso per l'elaborazione delle immagini. Se si hanno esigenze di intelligenza artificiale diverse, prendere in considerazione la suite completa di servizi di intelligenza artificiale di Azure .

Architettura

Diagramma di un'architettura per le attività di classificazione delle immagini.

Scaricare un file di Visio di questa soluzione.

Flusso

Questo scenario illustra i componenti back-end di un'applicazione Web o per dispositivi mobili. I dati passano attraverso lo scenario come segue:

  1. L'aggiunta di nuovi file (caricamenti di immagini) nell'archivio BLOB attiva un evento in Griglia di eventi di Azure. Il processo di caricamento può essere orchestrato tramite il Web o un'applicazione per dispositivi mobili. In alternativa, le immagini possono essere caricate separatamente nell'archivio BLOB di Azure.
  2. Griglia di eventi invia una notifica che attiva le funzioni di Azure.
  3. Funzioni di Azure chiama l'API Visione artificiale di Azure per analizzare l'immagine appena caricata. Visione artificiale di Azure accede all'immagine tramite l'URL del BLOB analizzato da Funzioni di Azure.
  4. Funzioni di Azure rende persistente la risposta dell'API Visione artificiale in Azure Cosmos DB. Questa risposta include i risultati dell'analisi, insieme ai metadati dell'immagine.
  5. I risultati possono essere utilizzati e riflessi sul Web o sul front-end mobile. Si noti che questo approccio recupera i risultati della classificazione, ma non l'immagine caricata.

Componenti

  • visione artificiale di Azure fa parte della suite di servizi di intelligenza artificiale di Azure e viene usata per recuperare informazioni su ogni immagine.
  • Funzioni di Azure fornisce l'API back-end per l'applicazione Web. Questa piattaforma fornisce anche l'elaborazione degli eventi per le immagini caricate.
  • Griglia di eventi di Azure attiva un evento quando viene caricata una nuova immagine nell'archivio BLOB. L'immagine viene quindi elaborata con Funzioni di Azure.
  • archiviazione BLOB di Azure archivia tutti i file di immagine caricati nell'applicazione Web, nonché tutti i file statici usati dall'applicazione Web.
  • Azure Cosmos DB archivia i metadati relativi a ogni immagine caricata, inclusi i risultati dell'elaborazione dall'API Visione artificiale.

Alternative

  • azure OpenAI GPT-4o e GPT-4o-mini. GPT-4o e GPT-4o-mini sono modelli di chat bidirezionali di OpenAI che possono rispondere a domande generali su ciò che è presente nelle immagini fornite.
  • servizio Visione personalizzata. L'API Visione artificiale restituisce un set di categorie basate su tassonomia . Se è necessario elaborare le informazioni non restituite dall'API Visione artificiale, prendere in considerazione il servizio Visione personalizzata, che consente di creare classificatori di immagini personalizzati. Per informazioni su questo servizio, seguire la guida introduttiva Creare un modello di classificazione delle immagini con Visione personalizzata.
  • ricerca di intelligenza artificiale di Azure. Se il caso d'uso prevede l'esecuzione di query sui metadati per trovare immagini che soddisfano criteri specifici, è consigliabile usare Ricerca di intelligenza artificiale di Azure. ricerca di intelligenza artificiale di Azure integra perfettamente questo flusso di lavoro.
  • App per la logica. Se non è necessario reagire in tempo reale sui file aggiunti a un BLOB, è consigliabile usare App per la logica. Un'app per la logica che può verificare se un file è stato aggiunto potrebbe essere avviato dal trigger di ricorrenza o dal trigger di finestre scorrevoli.
  • Se sono presenti immagini incorporate nei documenti, usare di Intelligence per i documenti di Intelligenza artificiale di Azure per individuare tali immagini. Con queste informazioni, è possibile estrarre ed eseguire ulteriori attività di visione artificiale sulle immagini incorporate. Usare Document Intelligence per raccogliere dati su tali immagini incorporate, ad esempio il numero di pagina o il testo della didascalia che possono essere archiviati insieme agli altri metadati delle immagini ricevuti tramite l'API Visione artificiale. Se le immagini sono principalmente foto o scansioni di documenti, usare i modelli di classificazione personalizzati di Document Intelligence per eseguire la classificazione di un file di input una pagina alla volta per identificare i documenti all'interno. Questo approccio può anche identificare più documenti o più istanze di un singolo documento all'interno di un file di input.

Dettagli dello scenario

Questo scenario è rilevante per le aziende che devono elaborare le immagini.

Le potenziali applicazioni includono la classificazione delle immagini per un sito Web di moda, l'analisi di testo e immagini per le attestazioni assicurative o la comprensione dei dati di telemetria dagli screenshot del gioco. Tradizionalmente, le aziende devono sviluppare competenze nei modelli di Machine Learning, eseguire il training dei modelli e infine eseguire le immagini tramite il processo personalizzato per ottenere i dati dalle immagini.

Casi d'uso potenziali

Questa soluzione è ideale per i settori retail, game, finance e insurance. Altri casi d'uso pertinenti includono:

  • Classificazione delle immagini in un sito Web di moda. La classificazione delle immagini può essere usata dai venditori durante il caricamento di immagini di prodotti nella piattaforma per la vendita. Possono quindi automatizzare il conseguente assegnazione di tag manuali coinvolti. I clienti possono anche cercare l'impressione visiva dei prodotti.

  • Classificazione dei dati di telemetria dagli screenshot dei giochi. La classificazione dei videogiochi dagli screenshot si sta evolvendo in un problema rilevante nei social media, insieme alla visione artificiale. Ad esempio, quando gli streamer Twitch giocano diversi giochi in successione, potrebbero ignorare l'aggiornamento manuale delle informazioni sul flusso. L'impossibilità di aggiornare le informazioni sul flusso potrebbe comportare la classificazione errata dei flussi nelle ricerche degli utenti e potrebbe causare la perdita di potenziali visualizzazioni sia per i creatori di contenuti che per le piattaforme di streaming. Durante l'introduzione di nuovi giochi, una route modello personalizzata potrebbe essere utile per introdurre la capacità di rilevare nuove immagini da tali giochi.

  • Classificazione delle immagini per le attestazioni assicurative. La classificazione delle immagini consente di ridurre il tempo e il costo dell'elaborazione e della scrittura delle attestazioni. Potrebbe aiutare ad analizzare danni naturali di emergenza, danni ai veicoli e identificare le proprietà residenziali e commerciali.

Passaggi successivi

Documentazione del prodotto

Per un percorso di apprendimento guidato, vedere: