Sdílet prostřednictvím

Volba technologie zpracování obrázků a videí Azure AI

  • Článek

Služby Azure AI pomáhají vývojářům a organizacím vytvářet inteligentní, nejmodernější, připravené a zodpovědné aplikace s předem připravenými a předem připravenými a přizpůsobitelnými rozhraními API a modely.

Tento článek se zabývá službami Azure AI, které nabízejí možnosti zpracování videa a obrázků, jako je vizuální analýza a generování obrázků, detekce objektů, klasifikace obrázků a rozpoznávání obličeje.

Služby

Následující služby poskytují možnosti zpracování videa a obrázků pro služby Azure AI:

  • Azure OpenAI

    • Azure OpenAI můžete použít ke generování obrázků z přirozeného jazyka pomocí předem natrénovaných modelů generování bitové kopie. Například generování vlastních umění na vyžádání.
    • Azure OpenAI použijte v případě, že potřebujete provádět nespecifické rozsáhlé analýzy imagí. Například generování popisů přístupnosti.
    • Pokud chcete používat modely generování opensourcových imagí dostupných ve službě Azure Machine Learning, nepoužívejte Azure OpenAI.
    • Azure OpenAI nepoužívejte , pokud potřebujete provádět konkrétní typy zpracování obrázků, jako je extrakce formulářů, rozpoznávání tváře nebo detekce charakteristik obrázků specializovaných na doménu. V těchto scénářích použijte nebo sestavte řešení AI navržená speciálně pro tyto účely.

  • Azure AI Vision

    • Službu Vision použijte , když potřebujete základní optické rozpoznávání znaků (OCR), analýzu obrázků nebo základní analýzu videa k detekci pohybu a dalších událostí.
    • Nepoužívejte službu Vision k analýze, kterou už podporují velké, multimodální základní modely.
    • Nepoužívejte službu Vision k moderování obsahu. Místo toho použijte službu Zabezpečení obsahu.

  • Azure AI Custom Vision

    • Tuto službu použijte , pokud máte specifické požadavky, které základní analýza obrázků služby Vision nemůže poskytnout. Je například vhodné rozpoznat neobvyklé objekty, výrobní vady nebo poskytnout podrobné vlastní klasifikace.
    • Službu nepoužívejte , pokud potřebujete základní detekci objektů nebo rozpoznávání tváře. Místo toho používejte služby rozpoznávání tváře nebo zpracování obrazu.
    • Nepoužívejte službu pro základní analýzu vizuálů. Místo toho používejte modely podporující zpracování obrazu z Azure OpenAI nebo opensourcových modelů ve službě Azure Machine Learning.

  • Azure AI Face

    • Službu Rozpoznávání tváře použijte, když potřebujete zkontrolovat, jestli jsou tváře živé nebo falšované nebo falešné, nebo jestli chcete identifikovat, seskupit nebo najít podobné tváře.
    • Nepoužívejte službu Rozpoznávání tváře k detekci emocí ve tvářích nebo k provádění jiných důležitých úvah o tvářích. Místo toho pro tyto úlohy používejte multimodální jazykové modely.

  • Azure AI Video Indexer

    • Pomocí služby Azure Video Indexer můžete provádět pokročilejší úlohy související s analýzou videa, které základní analýza videa ve službě Vision neposkytuje.
    • Nepoužívejte službu Azure Video Indexer pro základní úlohy analýzy videa, jako je počítání lidí a detekce pohybu a událostí. Základní analýza videa služby Vision je nákladově efektivnější pro tyto úlohy.

Azure OpenAI

Azure OpenAI poskytuje přístup k výkonným jazykovým modelům OpenAI, včetně nejnovější generace modelů GPT. Tyto podporují vizuální analýzu a generace obrázků a DALL-E podporuje generování obrázků.

Azure AI Vision

Azure AI Vision poskytuje pokročilé algoritmy, které zpracovávají obrázky a vracejí informace na základě vizuálních funkcí, které vás zajímají. Poskytuje čtyři služby: OCR, Službu rozpoznávání tváře, image a prostorovou analýzu.

Možnosti

Následující tabulka obsahuje seznam funkcí dostupných ve službě Azure AI Vision.

Schopnost Popis
Optické rozpoznávání znaků (OCR) Služba optického rozpoznávání znaků (OCR) extrahuje text z obrázků. Pomocí rozhraní API pro čtení můžete extrahovat tištěný a ručně psaný text z fotek a dokumentů. Používá modely založené na hlubokém učení a pracuje s textem na různých plochách a pozadích. Patří sem obchodní dokumenty, faktury, účtenky, plakáty, vizitky, dopisy a tabule. Rozhraní API OCR podporují extrakci tištěného textu v několika jazycích.
Analýza obrázků Služba Analýza obrázků extrahuje mnoho vizuálních funkcí z obrázků, jako jsou objekty, tváře a automaticky generované popisy textu. S analýzou obrázků 4.0 , která je založená na základním modelu Florencie, můžete také vytvořit vlastní modely identifikátorů obrázků.
Analýza videa Analýza videa zahrnuje funkce související s videem, jako je prostorová analýza a načítání videa. Prostorová analýza analyzuje přítomnost a pohyb lidí v informačním kanálu videa a vytváří události, na které můžou reagovat jiné systémy.

Azure AI Custom Vision

Azure AI Custom Vision je služba pro rozpoznávání obrázků, která umožňuje vytvářet, nasazovat a vylepšovat vlastní modely identifikátorů obrázků. Identifikátor obrázku použije popisky na obrázky podle jejich vizuálních charakteristik. Každý popisek představuje klasifikaci nebo objekt. Custom Vision umožňuje zadat vlastní popisky a trénovat vlastní modely, aby je detekovaly.

Služba Custom Vision používá algoritmus strojového učení k analýze obrázků pro vlastní funkce. Odešlete sady obrázků, které dělají a nemají vizuální charakteristiky, které hledáte. Pak obrázky označíte vlastními štítky (značkami) v době odeslání. Algoritmus trénuje na tato data a vypočítá svou vlastní přesnost testováním na stejných obrázcích. Jakmile model vytrénujete, můžete otestovat, znovu natrénovat a nakonec ho použít v aplikaci pro rozpoznávání obrázků ke klasifikaci obrázků nebo detekci objektů. Model můžete také exportovat pro offline použití.

Možnosti

Následující tabulka obsahuje seznam funkcí dostupných ve službě Azure AI Custom Vision.

Schopnost Popis
Klasifikace obrázků Predikce kategorie nebo třídy na základě sady vstupů, které se nazývají funkce. Vypočítat skóre pravděpodobnosti pro každou možnou třídu a vrátit popisek, který označuje třídu, do které objekt s největší pravděpodobností patří. K použití tohoto modelu potřebujete data, která se skládají z funkcí a jejich popisků.
Rozpoznávání objektů Získá souřadnice objektu na obrázku. K použití tohoto modelu potřebujete data, která se skládají z funkcí a jejich popisků.

Případy použití

Následující tabulka obsahuje seznam možných případů použití služby Azure AI Custom Vision.

Případ použití Popis
Použití služby Custom Vision se zařízením IoT k hlášení stavů vizuálů Pomocí služby Custom Vision můžete vytrénovat zařízení s fotoaparátem k detekci vizuálních stavů. Tento scénář detekce můžete spustit na zařízení IoT pomocí exportovaného modelu ONNX. Vizuální stav popisuje obsah obrázku: prázdná místnost nebo místnost s lidmi, prázdná cesta nebo příjezdová cesta s nákladním vozem atd.
Rozpoznávání log v obrázcích z fotoaparátu Analyzujte fotky a vyhledejte konkrétní loga.

Azure AI Face

Služba Azure AI Face poskytuje algoritmy umělé inteligence, které rozpoznávají, rozpoznávají a analyzují lidské tváře na obrázcích. Software pro rozpoznávání obličeje je důležitý v mnoha scénářích, jako je identifikace, bezdotykové řízení přístupu a automatické rozmazaní obličeje pro ochranu osobních údajů.

Možnosti

Následující tabulka obsahuje seznam funkcí dostupných ve službě Azure AI Face.

Schopnost Popis
Detekce a analýza tváří Identifikujte oblasti obrázku, které obsahují lidskou tvář, obvykle vrácením souřadnic ohraničujícího rámečku, které tvoří obdélník kolem tváře.
Vyhledání podobných tváří Operace Najít podobné provede porovnávání tváří mezi cílovou tváří a sadou kandidátských tváří a najde menší sadu tváří, které vypadají podobně jako cílová tvář. To je užitečné při hledání tváří podle obrázku.
Seskupovat tváře Operace Skupina rozdělí sadu neznámých tváří do několika menších skupin na základě podobnosti. Každá skupina je vlastní disjunktní podmnožina původní sady tváří. Vrátí také jedno pole "messyGroup", které obsahuje ID tváří, pro které nebyly nalezeny žádné podobnosti.
Identifikace Identifikace tváře může adresovat "1:N" párování jedné tváře na obrázku se sadou tváří v zabezpečeném úložišti. Porovnávání kandidátů se vrátí na základě toho, jak přesně odpovídají jejich datům tváře.
Operace rozpoznávání tváře Moderní podniky a aplikace můžou používat technologie rozpoznávání tváře, včetně ověřování tváře (párování 1:1) a identifikace tváře (párování 1:N), aby bylo možné ověřit, že uživatel je tím, za koho se tvrdí.
Detekce živé aktivity Detekce živého stavu je funkce proti falšování identity, která kontroluje, jestli je uživatel fyzicky přítomný před kamerou. Používá se k zabránění útokům na falšování identity pomocí tištěné fotky, nahraného videa nebo 3D masky tváře uživatele.

Případy použití

Následující tabulka obsahuje seznam možných případů použití služby Azure AI Face Service.

Případ použití Popis
Ověřte identitu uživatele. Ověřte osobu proti důvěryhodnému obrázku tváře. Toto ověření lze použít k udělení přístupu k digitálním nebo fyzickým vlastnostem. Ve většině případů může důvěryhodný obrázek tváře pocházet z id vydaného vládou, jako je cestovní pas nebo řidičská licence, nebo může pocházet z fotky pořízené osobně. Během ověřování může detekce živé aktivity hrát důležitou roli při ověřování, že obrázek pochází od skutečné osoby, nikoli vytištěné fotky nebo masky.
Rozmazání obličejů Redact or blured detected faces of people recorded in a video to protect their privacy.
Bezdotykové řízení přístupu. Ve srovnání s metodami, jako jsou karty nebo lístky, identifikace obličeje umožňuje lepší možnosti řízení přístupu a zároveň snižuje hygienu a bezpečnostní rizika při sdílení fyzických médií, ztrátě nebo krádeži. Rozpoznávání obličeje pomáhá při check-inu člověkem ve smyčce pro check-in na letištích, stadionech, zábavních parkech, budovách, recepčních terminálech v kancelářích, nemocnicích, posilovnách, klubech nebo školách.

Azure AI Video Indexer

Azure AI Video Indexer je cloudová aplikace, která je součástí služeb Azure AI, která je založená na službách Azure AI (například Face, Translator, Azure AI Vision a Speech). Díky tomu můžete extrahovat přehledy z videí pomocí videomodelů a zvukových modelů Azure AI Video Indexeru.

Možnosti

Následující tabulka obsahuje seznam některých funkcí dostupných ve službě Azure AI Video Indexer.

Schopnost Popis
Identifikace a přepis řeči ve více jazycích Identifikuje mluvený jazyk v různých segmentech od zvuku. Jednotlivé části mediálního souboru se odešlou k přepisu a tyto části přepisu se pak znovu spojí v jeden ucelený přepis.
Rozpoznávání tváře Rozpozná a seskupí tváře zobrazené ve videu.
Identifikace celebrit Identifikuje více než 1 milion celebrit – jako jsou světoví vedoucí, herci, umělci, sportovci, vědci, obchodní a tech manažeři po celém světě. Data o těchto celebritách najdete také na různých webech (IMDB, Wikipedie atd.).
Identifikace tváře na základě účtu Trénuje model pro konkrétní účet. Pak rozpozná tváře ve videu na základě natrénovaného modelu.
Sledování pozorovaných lidí (Preview) Detekuje pozorované osoby ve videích a poskytuje informace, jako je umístění osoby v rámečku videa (pomocí ohraničujících polí) a přesné časové razítko (začátek, konec) a spolehlivost, když se zobrazí osoba.
Přepis zvuku Převede řeč na text přes 50 jazyků a umožňuje rozšíření.
Detekce jazyka Identifikuje dominantní mluvený jazyk.
Snížení šumu Vymaže telefonní zvuk nebo hlučné nahrávky (na základě filtrů Skypu).
Překlad FCreates překlady zvukového přepisu do mnoha různých jazyků.

Další možnosti služby Azure AI Video Indexer najdete v dokumentaci k Azure AI Video Indexeru.

Případy použití

Následující tabulka obsahuje seznam možných případů použití služby Azure AI Video Indexer.

Případ použití Popis
Hloubkové vyhledávání Pomocí přehledů extrahovaných z videa můžete vylepšit vyhledávání v knihovně videí. Například indexování mluvených slov a tváří může umožnit hledání momentů ve videu, ve kterém osoba mluvila určitá slova nebo kdy byli dva lidé vidět společně. Vyhledávání založené na těchto přehledech z videí se vztahuje na informační agentury, vzdělávací instituce, vysílání, vlastníky zábavního obsahu, podnikové obchodní aplikace a obecně pro jakékoli odvětví, které má knihovnu videí, kterou uživatelé potřebují hledat.
Vytvoření obsahu Vytvářejte přívěsy, zvýrazněte kotouče, obsah sociálních médií nebo informační klipy na základě přehledů, které Azure AI Video Indexer extrahuje z vašeho obsahu. Klíčové snímky, značky scén a časová razítka lidí a popisků usnadňují proces vytváření a usnadňující přístup k částem videa, které potřebujete při vytváření obsahu.
Usnadnění Ať už chcete obsah zpřístupnit osobám s postižením, nebo pokud chcete, aby byl obsah distribuován do různých oblastí pomocí různých jazyků, můžete použít přepis a překlad poskytovaný službou Azure AI Video Indexer ve více jazycích.
Finanční zhodnocení Azure AI Video Indexer vám může pomoct zvýšit hodnotu videí. Například odvětví, která spoléhají na výnosy z reklam (informační média, sociální média atd.), můžou poskytovat relevantní reklamy pomocí extrahovaných přehledů jako dalších signálů pro reklamní server.
Moderování obsahu Používejte textové a vizuální kon režim stanu rační modely, abyste uživatelům zabránili v bezpečí před nevhodným obsahem a ověřili, že obsah, který publikujete, odpovídá hodnotám vaší organizace. Můžete automaticky blokovat určitá videa nebo upozornit uživatele na obsah.
Doporučení Přehledy videí se dají použít ke zlepšení zapojení uživatelů tím, že uživatelům zvýrazní relevantní video momenty. Označováním jednotlivých videí s dalšími metadaty můžete uživatelům doporučit nejrelevantnější videa a zvýraznit části videa, které odpovídají jejich potřebám.

Další kroky