Extrahování textu z objektů pomocí Power Automate a AI Builderu

Tento článek představuje řešení pro extrakci textu z obrázků, aby bylo možné ho indexovat a načíst v SharePointu. Pomocí AI Builderu a Azure AI Document Intelligence můžete nakonfigurovat pracovní postup Power Automate tak, aby pomocí natrénovaného modelu extrahovali text z obrázku. Po nakonfigurování pracovního postupu můžete rychle hledat v dokumentech smysluplný text, který je vložený do obrazců a objektů.

Architektura

Stáhněte si soubor aplikace Visio s touto architekturou.

Workflow

1. Model rozpoznávání objektů je v AI Builderu trénován tak, aby rozpoznával objekty, které uživatel určuje.
2. Nový dokument zadá knihovnu dokumentů SharePointu, OneDrive nebo Teams.
3. Přijetí dokumentu aktivuje událost Power Automate. Tato událost:
   1. Spustí model AI Builderu. AI Builder vrátí soubor JSON, který obsahuje souřadnice pixelů všech zadaných objektů.
   2. Odešle dokument do funkce Document Intelligence pro úplnou kontrolu optického rozpoznávání znaků (OCR). Funkce Document Intelligence vrátí soubor JSON, který obsahuje naskenované textové a pixelové souřadnice textu.
   3. Spustí funkci ve službě Azure Functions. Funkce analyzuje souřadnice pixelů ve výstupních souborech AI Builderu a funkce Document Intelligence. Pokud se zjištěné objekty protínají s naskenovaným textem, vrátí funkce odpovídající data v souboru JSON.
   4. Do knihovny dokumentů zadá metadata nebo text z zjištěných objektů.
4. Metadata se zaznamenávají v indexu vyhledávání SharePointu.
5. Uživatelé hledají metadata pomocí webových částí moderního vyhledávání PnP.

Komponenty

• AI Builder je funkce Microsoft Power Platform. Pomocí AI Builderu můžete trénovat modely k rozpoznávání objektů v obrázcích. AI Builder také nabízí předem připravené modely pro detekci objektů.
• Rozpoznávání formulářů používá modely strojového učení k extrakci a analýze polí formulářů, textu a tabulek z dokumentů.
• Power Automate je součástí intuitivních řešení microsoft Power Platform bez kódu nebo s nízkými kódy. Power Automate je online služba pracovních postupů, která automatizuje akce napříč aplikacemi a službami.
• Azure Functions je bezserverová výpočetní platforma řízená událostmi. Azure Functions běží na vyžádání a ve velkém měřítku v cloudu.
• Moderní řešení PnP Modern Search je sada SharePointu v moderních webových částech Microsoftu 365. Pomocí těchto nástrojů můžete vytvářet vysoce flexibilní a přizpůsobená vyhledávací prostředí.

Alternativy

• Služby Azure AI můžou provádět úplnou kontrolu OCR dokumentů s výslednými metadaty uloženými v SharePointu.
• SharePoint může spouštět kontroly OCR na dokumentech a přidávat výstup obsahu do indexu pro načtení. Pomocí technik vyhledávání můžete cílit na klíčové informace v dokumentech.
• Pokud chcete zpracovat vysokou míru dokumentů, zvažte použití Azure Logic Apps ke konfiguraci komponent. Azure Logic Apps vám brání v dosažení limitů spotřeby ve vašem tenantovi a je nákladově efektivní. Další informace najdete v tématu Azure Logic Apps.

Podrobnosti scénáře

Schématické a průmyslové diagramy často obsahují objekty, které obsahují text. Ruční prohledávání dokumentů pro příslušný text může být pracné a časově náročné.

Potenciální případy použití

Mezi případy použití patří:

• Složité inženýrské schématické diagramy, které obsahují různé typy objektů. Pomocí tohoto řešení můžete rychle vyhledat konkrétní komponenty v diagramu. Přístup k vloženým textům v objektech je užitečný pro vyšetřování, zveřejnění nedostatku nebo hledání oznámení o odvolání a selhání.
• Průmyslové diagramy, které znázorňují komponenty ve výrobní sestavě. Toto řešení okamžitě identifikuje čerpadla, ventily, automatizované přepínače a další komponenty. Identifikace komponent pomáhá s preventivní údržbou, izolováním nebezpečných komponent a zvýšením viditelnosti řízení rizik ve vaší organizaci.

Důležité informace

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.

Při analýze a zpracování dokumentů zvažte tyto body:

• AI Builder může zachytit pouze čtvercové souřadnice při použití natrénovaného modelu. Objekty s textem mimo jejich hranice, jako jsou trojúhelníky a kruhy, můžou potenciálně přidávat nežádoucí a nepotřebné informace.
• Metadata, která jsou výstupem služby Azure Functions, můžou obsahovat další znaky, pokud je text mimo hranice objektu.
• Proces vytváření AI Builderu může označit více než jeden objekt. Výsledný soubor JSON z Azure Functions obsahuje všechny typy objektů a text. Aplikace využívá metadata a potřebuje analyzovat a zpracovávat výsledky.

Spolehlivost

Spolehlivost zajišťuje, že vaše aplikace může splňovat závazky, které uděláte pro vaše zákazníky. Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro spolehlivost.

Azure replikuje data, aby se zajistila stálost a vysoká dostupnost. Redundance dat chrání před plánovanými a neplánovanými událostmi, včetně přechodných selhání hardwaru, výpadků sítě nebo napájení a přírodních katastrof. Zvolte replikaci dat ve stejném datacentru, mezi zónovými datacentry ve stejné oblasti nebo napříč geograficky oddělenými oblastmi.

Zabezpečení

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace najdete v kontrolním seznamu pro kontrolu návrhu zabezpečení.

Pro součásti, které používáte, a pro knihovnu dokumentů SharePointu, do které ukládáte metadata, použijte standardní postupy zabezpečení.

Funkce Document Intelligence je navržená s ohledem na dodržování předpisů, ochranu osobních údajů a zabezpečení. Ověřuje přístup pomocí klíče rozhraní API, šifruje data během přenosu a úložiště a vrací výsledky pomocí klíče rozhraní API. Další informace najdete v tématu Data, ochrana osobních údajů a zabezpečení funkce Document Intelligence.

AI Builder spoléhá na zabezpečení prostředí a role zabezpečení Dataverse a oprávnění k udělení přístupu k funkcím AI v Power Apps. Oprávnění jsou ve výchozím nastavení nastavena v Dataverse. Správci systému můžou bez dalších akcí používat výchozí předdefinované role zabezpečení. Další informace najdete v článku Přehled zabezpečení.

Optimalizace nákladů

Optimalizacenákladůch Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro optimalizaci nákladů.

• V Případě Power Automate se ujistěte, že licence, které jste zakoupili a přiřadili, odpovídají objemu dokumentů, které zpracováváte. Zahrňte konektor HTTP Premium pro volání funkce Document Intelligence a Azure Functions.
• Nákup kreditů AI Builderu na základě očekávaného využití modelu
• Pokud chcete odhadnout náklady na produkty a konfigurace Azure, použijte cenovou kalkulačku Azure.

Efektivita výkonu

Efektivita výkonu je schopnost vaší úlohy škálovat tak, aby splňovala požadavky, které na ni mají uživatelé efektivním způsobem. Další informace najdete v kontrolním seznamu pro kontrolu návrhu týkajícího se efektivity výkonu.

Služba Azure Functions je vysoce škálovatelná. Tato platforma nabízí více plánů, které se automaticky škálují na vyžádání při aktivaci událostí. Další informace najdete v tématu Škálování řízené událostmi.

Azure Functions má limit 200 instancí. Pokud potřebujete škálovat nad rámec tohoto limitu, přidejte více oblastí nebo plánů aplikací.

Nasazení tohoto scénáře

Další informace o nasazení tohoto scénáře najdete v blogu komunity Power Automate a v úložišti Extrahovat text z objektů Na GitHubu.

Přispěvatelé

Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autor:

• Steve Pucelik | Sr. Specialista

Další kroky

• Seznamte se s typy dokumentů, které by pro toto řešení byly vhodné. Mezi typické dokumenty patří schématické diagramy, procesy řízení výroby a diagramy, které obsahují mnoho obrazců, které je potřeba izolovat. Další informace najdete v tématu Vlastní modely funkce Document Intelligence.
• Seznamte se s možnostmi, které AI Builder nabízí. Další informace najdete v přehledu AI Builderu v Power Automate.
• Definujte architekturu informací, která může přijímat a zpracovávat vaše metadata. Další informace najdete v tématu Sada dovedností kognitivního vyhledávání.
• Informace o tom, jak řešení funguje a zda je vhodné pro případy použití, najdete v tématu Extrakce textu z objektů.