Esercizio - Moderazione delle immagini

  • 4 minuti

Contoso Camping Store offre ai clienti la possibilità di caricare foto per integrare le recensioni dei prodotti. I clienti trovano questa funzionalità utile perché fornisce informazioni dettagliate su come i prodotti appaiono e funzionano al di fuori delle immagini generiche di marketing. È possibile applicare un modello di intelligenza artificiale per rilevare se le immagini pubblicate dai clienti sono dannose e poi usare i risultati del rilevamento per implementare le precauzioni necessarie.

Contenuto sicuro

Testiamo prima di tutto un'immagine di una famiglia in campeggio!

  1. Nella pagina Sicurezza dei contenuti selezionare Modera contenuto immagine.

  2. Selezionare Cerca un file e caricare il file family-builds-campfire.JPG.

  3. Impostare tutti i livelli di soglia su Medio.

    Screenshot dell'anteprima dell'immagine e della configurazione del filtro per la moderazione delle immagini.

  4. Selezionare Esegui test.

Come previsto, il contenuto dell'immagine è Consentito e il livello di gravità è Sicuro in tutte le categorie.

Screenshot dei risultati della moderazione delle immagini. Il contenuto è consentito. Il livello di gravità è Sicuro in tutte le categorie. La soglia per tutte le categorie è media. Il giudizio in tutte le categorie è Consentito.

Contenuto violento

Dovremmo anche anticipare la possibilità che i clienti pubblichino immagini con contenuti dannosi. Per assicurarsi di tenere conto di questo scenario, testare il rilevamento delle immagini con contenuti dannosi.

Nota

L'immagine usata per il test contiene un rilevamento grafico dell'attacco di un orso. L'immagine è sfocata per impostazione predefinita nell'anteprima dell'immagine. Tuttavia, è possibile usare l'interruttore Sfoca immagine per modificare questa impostazione.

  1. Selezionare Cerca un file e caricare il file bear-attack-blood.JPG.
  2. Impostare tutti i livelli di soglia su Medio.
  3. Selezionare Esegui test.

Giustamente, il contenuto è Bloccato ed è stato rifiutato dal filtro Violenza che ha un livello di gravità elevato.

Screenshot dei risultati della moderazione delle immagini. Il contenuto è bloccato. La gravità della violenza è elevata. Il giudizio per la violenza è Bloccato.

Eseguire un test in blocco

Finora abbiamo testato il contenuto delle immagini per singole immagini isolate. Tuttavia, se si dispone di un set di dati di immagini in blocco, è possibile testare il set di dati in blocco contemporaneamente e ricevere le metriche in base alle prestazioni del modello.

È disponibile un set di dati di immagini in blocco fornito dai clienti. Il set di dati include anche immagini dannose di esempio per testare la capacità del modello di rilevare contenuto dannoso. Ogni record nel set di dati include un'etichetta per indicare se il contenuto è dannoso. Si eseguirà un altro round di test, ma questa volta con il set di dati.

  1. Passare alla scheda Esegui un test in blocco.

  2. Selezionare Cerca un file e caricare il file bulk-image-moderation-dataset.zip.

  3. Nella sezione Anteprima set di dati, esaminare i recorde l'etichetta corrispondente. Un valore 0 indica che il contenuto è accettabile (non dannoso). Un valore 1 indica che il contenuto non è accettabile (contenuto dannoso).

    Screenshot dell'anteprima del set di dati per la moderazione delle immagini in blocco. Un elenco di record di immagine visualizzati insieme alle relative etichette. I filtri di configurazione per le soglie di gravità sono tutti impostati su medio.

  4. Impostare tutti i Livelli soglia su Medio.

  5. Selezionare Esegui test.

Screenshot dei risultati della moderazione delle immagini in blocco.

In base ai risultati, ci sono margini di miglioramento? In tal caso, modificare i livelli soglia fino a quando le metriche precisione, richiamo e punteggio F1 sono più vicine a 1.