Cvičení – moderování obrázků

  • 4 min

Contoso Camping Store poskytuje zákazníkům možnost nahrávat fotky, aby mohli doplnit recenze produktů. Zákazníci najdou tuto funkci užitečnou, protože poskytuje přehled o tom, jak produkty vypadají a fungují mimo obecné marketingové obrázky. Mohli bychom použít model AI, abychom zjistili, jestli jsou obrázky publikované našimi zákazníky škodlivé, a později použít výsledky detekce k implementaci nezbytných opatření.

Bezpečný obsah

Nejdřív otestujeme obrázek rodinného kempu!

  1. Na stránce Zabezpečení obsahu vyberte Moderovat obsah obrázku.

  2. Vyberte Vyhledat soubor a nahrajte ho family-builds-campfire.JPG .

  3. Nastavte všechny úrovně prahových hodnot na střední.

    Snímek obrazovky s náhledem obrázku a konfigurací filtru pro moderování obrázků

  4. Vyberte Spustit test.

Podle očekávání je obsah tohoto obrázku povolený a úroveň závažnosti je pro všechny kategorie bezpečná .

Snímek obrazovky s výsledky moderování obrázků Obsah je povolený. Úroveň závažnosti ve všech kategoriích je bezpečná. Prahová hodnota pro všechny kategorie je střední. Rozhodnutí ve všech kategoriích je povolené.

Násilné obsah

Měli bychom také očekávat, že zákazníci potenciálně publikuje škodlivý obsah obrázku. Abychom zajistili, že takový scénář započítáme, otestujeme detekci škodlivého obsahu obrázku.

Poznámka:

Obrázek použitý k testování obsahuje grafickou detekci útoku medvěda. Ve výchozím nastavení je obrázek v náhledu obrázku rozmazaný. Můžete ale toto nastavení změnit pomocí přepínače Rozostření obrázku.

  1. Vyberte Vyhledat soubor a nahrajte ho bear-attack-blood.JPG .
  2. Nastavte všechny úrovně prahových hodnot na střední.
  3. Vyberte Spustit test.

Obsah je naštěstí blokován a byl odmítnut filtrem Násilí, který má úroveň závažnosti Vysoká.

Snímek obrazovky s výsledky moderování obrázků Obsah je zablokovaný. závažnost násilí je vysoká. Soud o násilí je zablokovaný.

Spuštění hromadného testu

Zatím jsme otestovali obsah obrázků pro izolované obrázky v jednotném čísle. Pokud ale máme hromadnou datovou sadu obsahu obrázku, mohli bychom hromadnou datovou sadu otestovat najednou a přijímat metriky na základě výkonu modelu.

Máme hromadnou datovou sadu obrázků poskytovaných zákazníky. Datová sada obsahuje také ukázkové škodlivé obrázky, které testují schopnost modelu detekovat škodlivý obsah. Každý záznam v datové sadě obsahuje popisek označující, jestli je obsah škodlivý. Pojďme udělat další testovací kolo, ale tentokrát s datovou sadou!

  1. Přepněte na kartu Spustit hromadný test .

  2. Vyberte Vyhledat soubor a nahrajte ho bulk-image-moderation-dataset.zip .

  3. V části Náhled datové sady projděte záznamy a odpovídající popisek. Hodnota 0 označuje, že obsah je přijatelný (není škodlivý). A 1 označuje, že obsah je nepřijatelný (škodlivý obsah).

    Snímek obrazovky s náhledem datové sady pro moderování hromadného obrázku Vedle popisků se zobrazí seznam záznamů obrázků. Konfigurátory pro prahové hodnoty závažnosti jsou nastaveny na střední.

  4. Nastavte všechny úrovně prahových hodnot na střední.

  5. Vyberte Spustit test.

Snímek obrazovky s výsledky hromadného moderování obrázků

Na základě výsledků existuje prostor pro zlepšení? Pokud ano, upravte úrovně prahové hodnoty tak, aby metriky přesnosti, úplnosti a F1 skóre byly blíže 1.