Upravit

Sdílet prostřednictvím

Klasifikace obrázků v Azure

Azure Blob Storage
Azure Computer Vision
Azure Cosmos DB
Azure Event Grid
Azure Functions

Nápady na řešení

Tento článek popisuje myšlenku řešení. Váš cloudový architekt může pomocí těchto pokynů vizualizovat hlavní komponenty pro typickou implementaci této architektury. Tento článek slouží jako výchozí bod k návrhu dobře navrženého řešení, které odpovídá konkrétním požadavkům vaší úlohy.

Díky používání služeb Azure, jako jsou rozhraní API Počítačové zpracování obrazu a Azure Functions, můžou společnosti eliminovat potřebu správy jednotlivých serverů a zároveň snížit náklady a využívat odborné znalosti, které Microsoft už vyvinul se zpracováním imagí pomocí služeb Azure AI. Tento nápad řešení konkrétně řeší případ použití zpracování obrázků. Pokud máte jiné potřeby umělé inteligence, zvažte úplnou sadu služeb Azure AI.

Architektura

Diagram architektury pro použití pro úlohy klasifikace obrázků

Stáhněte si soubor Visia tohoto řešení.

Tok dat

Tento scénář se zabývá back-endovými komponentami webové nebo mobilní aplikace. Data procházejí tímto scénářem:

  1. Přidání nových souborů (nahrávání obrázků) v úložišti objektů blob aktivuje událost v Azure Event Gridu. Proces nahrávání je možné orchestrovat prostřednictvím webu nebo mobilní aplikace. Alternativně je možné obrázky nahrát samostatně do úložiště objektů blob v Azure.
  2. Event Grid odešle oznámení, které aktivuje funkce Azure.
  3. Azure Functions volá rozhraní API služby Azure AI Vision k analýze nově nahraného obrázku. Azure AI Vision přistupuje k obrázku prostřednictvím adresy URL objektu blob, která je parsovaná službou Azure Functions.
  4. Azure Functions zachovává odpověď rozhraní API pro zpracování obrazu AI ve službě Azure Cosmos DB. Tato odpověď zahrnuje výsledky analýzy spolu s metadaty obrázků.
  5. Výsledky je možné využívat a promítnout do webového nebo mobilního front-endu. Všimněte si, že tento přístup načte výsledky klasifikace, ale nenahraný obrázek.

Komponenty

  • Azure AI Vision je součástí sady služeb Azure AI a slouží k načtení informací o jednotlivých imagí.
  • Azure Functions poskytuje back-endové rozhraní API pro webovou aplikaci. Tato platforma také poskytuje zpracování událostí pro nahrané obrázky.
  • Azure Event Grid aktivuje událost při nahrání nového obrázku do úložiště objektů blob. Image se pak zpracuje pomocí Azure Functions.
  • Azure Blob Storage ukládá všechny soubory obrázků nahrané do webové aplikace a všechny statické soubory, které webová aplikace využívá.
  • Azure Cosmos DB ukládá metadata o jednotlivých nahraných imagích, včetně výsledků zpracování z rozhraní POČÍTAČOVÉ ZPRACOVÁNÍ OBRAZU API.

Alternativy

  • Azure OpenAI GPT-4 Turbo s vision (Preview) GPT-4 Turbo with Vision je multimodální model, který dokáže analyzovat obrázky a odpovídat na otázky ohledně nich.
  • Custom Vision Service. Rozhraní API Počítačové zpracování obrazu vrátí sadu kategorií založených na taxonomii. Pokud potřebujete zpracovat informace, které nevrácené rozhraním API Počítačové zpracování obrazu, zvažte službu Custom Vision Service, která umožňuje vytvářet vlastní klasifikátory obrázků.
  • Azure AI Search (dříve Azure Search). Pokud váš případ použití zahrnuje dotazování metadat na vyhledání obrázků, které splňují konkrétní kritéria, zvažte použití služby Azure AI Search. Azure AI search bezproblémově integruje tento pracovní postup.
  • Logic Apps. Pokud nepotřebujete reagovat v reálném čase na přidané soubory do objektu blob, můžete zvážit použití Logic Apps. Aplikace logiky, která může zkontrolovat, jestli byl soubor přidán, může začínat triggerem opakování nebo aktivační událostí posuvného okna.
  • Pokud máte obrázky vložené do dokumentů, vyhledejte tyto obrázky pomocí funkce Azure AI Document Intelligence . Tyto informace vám pomůžou extrahovat a provádět další úlohy počítačového zpracování obrazu na vložených obrázcích. Pomocí funkce Document Intelligence můžete shromažďovat data o těchto vložených obrázcích, jako je číslo stránky nebo text titulku, který lze uložit spolu s dalšími metadaty obrázků přijatými prostřednictvím rozhraní API Počítačové zpracování obrazu.

Podrobnosti scénáře

Tento scénář je relevantní pro firmy, které potřebují zpracovávat obrázky.

Mezi potenciální aplikace patří klasifikace obrázků pro módní web, analýza textu a obrázků pro pojistné nároky nebo pochopení telemetrických dat ze herních snímků obrazovky. Tradičně by společnosti potřebovaly rozvíjet odborné znalosti v modelech strojového učení, trénovat modely a nakonec spouštět image prostřednictvím vlastního procesu, aby získaly data z obrázků.

Potenciální případy použití

Toto řešení je ideální pro maloobchodní, herní, finanční a pojišťovací odvětví. Mezi další relevantní případy použití patří:

  • Klasifikace obrázků na módním webu Klasifikaci obrázků můžou používat prodejci při nahrávání obrázků produktů na platformě k prodeji. Potom mohou automatizovat následné ruční označování. Zákazníci si také můžou prohledat vizuální dojem produktů.

  • Klasifikace telemetrických dat ze snímků obrazovky her Klasifikace videoher ze snímků obrazovky se vyvíjí v relevantním problému v sociálních médiích v kombinaci s počítačového zpracování obrazu. Například když streameři Streamerů Streamerů hrají různé hry po sobě, můžou přeskočit ruční aktualizaci informací o streamu. Při aktualizaci informací o streamu může dojít k nesprávné klasifikaci datových proudů při vyhledávání uživatelů a může dojít ke ztrátě potenciálního prohlížejícího pro tvůrce obsahu i platformy streamování. Při zavádění nových her by mohla být užitečná trasa vlastního modelu, která představuje schopnost detekovat nové obrázky z těchto her.

  • Klasifikace obrázků pro pojistné nároky Klasifikace obrázků může pomoct zkrátit čas a náklady na zpracování a přepsání deklarací identity. Může pomoct analyzovat přírodní katastrofy, poškození vozidel a identifikovat obytné a komerční vlastnosti.

Další kroky

Produktová dokumentace

Studijní program s asistencí najdete tady:

Použití rozšiřování AI s obrázkem a zpracováním textu