Vlastní neurální model funkce Document Intelligence

Tento obsah se vztahuje na: v4.0 (GA) | Předchozí verze: v3.1 (GA) v3.0 (GA) ::: moniker-end

Vlastní modely neurálních dokumentů nebo neurální modely jsou hloubkově naučený typ modelu, který kombinuje funkce rozložení a jazyka a přesně extrahuje popisovaná pole z dokumentů. Základní vlastní neurální model je trénován na různých typech dokumentů, díky čemuž je vhodný k trénování pro extrakci polí ze strukturovaných a částečně strukturovaných dokumentů. Vlastní neurální modely jsou k dispozici v modelech verze 3.0 a novějších s V4.0, vlastní neurální model teď podporuje detekci podpisu. Následující tabulka uvádí běžné typy dokumentů pro každou kategorii:

Dokumenty	Příklady
Strukturovaná	průzkumy, dotazníky
Částečně strukturovaná	faktury, nákupní objednávky

Vlastní neurální modely sdílejí stejný formát a strategii popisování jako vlastní modely šablon . Vlastní neurální modely v současné době podporují pouze podmnožinu typů polí podporovaných vlastními modely šablon.

Možnosti modelu

Důležité

Vlastní neurální model v4.0 2024-11-30 (GA) podporuje překrývající se pole a spolehlivost buněk tabulky.

Vlastní neurální modely v současné době podporují páry klíč-hodnota a značky výběru a strukturovaná pole (tabulky).

Pole formuláře	Značky výběru	Tabulková pole	Podpis	Popisování oblastí	Překrývající se pole
Podporováno	Podporováno	Podporováno	Podporováno	Podporováno 1	Podporováno 2

¹ Popisky oblastí ve vlastních neurálních modelech používají výsledky z rozhraní API rozložení pro zadanou oblast. Tato funkce se liší od modelů šablon, kde v případě, že není k dispozici žádná hodnota, text se vygeneruje v době trénování.
^{U rozhraní REST API verze 2024-11-30 (GA) jsou podporována 2} překrývající se pole. Překrývající se pole mají určitá omezení. Další informace najdete v překrývajících se polích.

Režim sestavení

Operace Build podporuje šablony a neurální vlastní modely. Předchozí verze rozhraní REST API a klientských knihoven podporovaly pouze jeden režim sestavení, který se teď označuje jako režim šablony .

Neurální modely podporují dokumenty, které mají stejné informace, ale různé struktury stránek. Mezi příklady těchto dokumentů patří formuláře USA W2, které sdílejí stejné informace, ale můžou se lišit vzhledem napříč společnostmi. Další informace najdete v tématu Režim sestavení vlastního modelu.

Překrývající se pole

Vlastní neurální model v4.0 2024-11-30 (GA) podporuje překrývající se pole:

Pokud chcete použít překrývající se pole, musí vaše datová sada obsahovat aspoň jednu ukázku s očekávaným překrytím. Chcete-li označit překrývající se oblast, použijte popisování oblastí k určení každého rozsahu obsahu (s překrývajícím se) pro každé pole. Označení překrývající se s výběrem pole (zvýrazněním hodnoty) v sadě Studio selže, protože popisování oblastí je jediným podporovaným nástrojem pro označení překrývajících se polí. Podpora překrývání zahrnuje:

• Dokončete překrytí. Stejná sada tokenů je označená pro dvě různá pole.
• Částečné překrytí. Některé tokeny patří do obou polí, ale existují tokeny, které jsou pouze součástí jednoho pole nebo druhého.

Překrývající se pole mají určitá omezení:

• Jakýkoli token nebo slovo lze označit pouze jako dvě pole.
• překrývající se pole v tabulce nemohou přesahovat řádky tabulky.
• Překrývající se pole je možné rozpoznat pouze v případě, že nejméně jeden vzorek v datové sadě obsahuje překrývající se popisky těchto polí.

Pokud chcete použít překrývající se pole, označte datovou sadu překrytím a vytrénujte model pomocí verze **2024-11-30 (GA)**rozhraní API .

Tabulková pole

Vlastní neurální v4.0 2024-11-30 (GA) podporuje tabulková pole (tabulky) k analýze dat tabulky, řádků a buněk s větší jistotou:

• Modely natrénované pomocí rozhraní API verze 2022-06-30-preview nebo novější přijímají popisky tabulkových polí.
• Dokumenty analyzované pomocí vlastních neurálních modelů pomocí rozhraní API verze 2022-06-30-preview nebo novější vytvoří tabulková pole agregovaná napříč tabulkami.
• Výsledky lze najít v poli objektu analyzeResult documents , který je vrácen po operaci analýzy.

Tabulková pole ve výchozím nastavení podporují křížové tabulky :

• Pokud chcete označit tabulku, která zahrnuje více stránek, označte každý řádek tabulky napříč různými stránkami v jedné tabulce.
• Osvědčeným postupem je zajistit, aby vaše datová sada obsahovala několik ukázek očekávaných variant. Zahrňte například ukázky, kde je celá tabulka na jedné stránce a kde tabulky zabírají dvě nebo více stránek.

Tabulková pole jsou užitečná také při extrahování opakujících se informací v dokumentu, který není rozpoznán jako tabulka. Například opakující se část pracovních zkušeností v životopisu může být označena a extrahována jako tabulkové pole.

Tabulková pole poskytují spolehlivost tabulek, řádků a buněk pomocí **2024-11-30 (GA)** rozhraní API:

• Pevné nebo dynamické tabulky přidávají podporu spolehlivosti pro následující prvky:

  • Spolehlivost tabulky– míra, jak přesně je rozpoznána celá tabulka.
  • Spolehlivost řádků, míra rozpoznávání jednotlivých řádků.
  • Spolehlivost buněk, míra rozpoznávání jednotlivých buněk.

• Doporučeným přístupem je zkontrolovat přesnost shora dolů počínaje tabulkou, za kterou následuje řádek a potom buňka. Další informaceoch

Podporované jazyky a národní prostředí

Úplný seznam podporovaných jazyků najdete v naší jazykové podpoře – vlastní modely .

Podporované oblasti

Od 18. října 2022 bude trénování vlastního neurálního modelu Document Intelligence k dispozici pouze v následujících oblastech Azure, dokud si ještě nevšimnete:

• Austrálie – východ
• Brazílie – jih
• Střední Kanada
• Indie – střed
• USA – střed
• Východní Asie
• East US
• USA – východ 2
• Francie – střed
• Japonsko – východ
• Středojižní USA
• Southeast Asia
• Velká Británie – jih
• Západní Evropa
• USA – západ 2
• US Gov – Arizona
• US Gov – Virginie

Tip

Model vytrénovaný v jedné z vybraných oblastí můžete zkopírovat do jakékoli jiné oblasti a odpovídajícím způsobem ho použít.

Ke zkopírování modelu do jiné oblasti použijte rozhraní REST API nebo Document Intelligence Studio.

Požadavky na vstup

• Nejlepšíchvýsledkůch

• Podporované formáty souborů:

  Model	PDF	Obrázek: jpeg/jpg, png, bmp, tiff, heif	systém Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx) a HTML
  Čteno	✔	✔	✔
  Rozložení	✔	✔	✔
  Obecný dokument	✔	✔
  Předpřipravený	✔	✔
  Vlastní neurální	✔	✔

  ✱ systém Microsoft Office soubory nejsou v současné době podporovány pro jiné modely nebo verze.

• U SOUBORŮ PDF a TIFF je možné zpracovat až 2 000 stránek (s předplatným úrovně Free se zpracuje pouze první dvě stránky).

• Velikost souboru pro analýzu dokumentů je 500 MB pro placenou úroveň (S0) a 4 MB pro bezplatnou úroveň (F0).

• Rozměry obrázku musí být mezi 50 x 50 pixelů a 10 000 px x 10 000 pixelů.

• Pokud jsou soubory PDF uzamčené heslem, musíte před odesláním toto uzamčení odebrat.

• Minimální výška extrahovaného textu je 12 pixelů pro obrázek o velikosti 1024 x 768 pixelů. Tato dimenze odpovídá hodnotě 8-point text v 150 bodech na paleč.

• Pro trénování vlastního modelu je maximální počet stránek pro trénovací data 500 pro vlastní model šablony a 50 000 pro vlastní neurální model.

• Pro trénování vlastního modelu extrakce je celková velikost trénovacích dat 50 MB pro model šablony a 1G MB pro neurální model.

• Pro trénování modelu vlastní klasifikace je 1GB celková velikost trénovacích dat s maximálně 10 000 stránkami.

Osvědčené postupy

Vlastní neurální modely se liší od vlastních modelů šablon několika různými způsoby. Vlastní šablona nebo model závisí na konzistentní vizuální šabloně k extrahování označených dat. Vlastní neurální modely podporují strukturovaná a částečně strukturovaná pro extrakci polí. Při výběru mezi typy modelů začněte neurálním modelem a otestujte, jestli podporuje vaše funkční potřeby.

• Práce s variantami – Vlastní neurální modely se dají generalizovat v různých formátech jednoho typu dokumentu. Osvědčeným postupem je vytvořit jeden model pro všechny varianty typu dokumentu. Přidejte alespoň pět ukázek s popiskem pro každou z různých variant do trénovací datové sady.
• Pojmenování polí – Když označíte data, popisek pole, které je relevantní pro hodnotu, zlepší přesnost extrahovaných párů klíč-hodnota. Například pro hodnotu pole obsahující ID dodavatele zvažte pojmenování pole supplier_id. Názvy polí by měly být v jazyce dokumentu.
• Popisování souvislých hodnot – Tokeny hodnot/slova jednoho pole musí být buď:
  • V po sobě jdoucí sekvenci v přirozeném pořadí čtení bez prokládání s jinými poli
  • V oblasti, která nepokrývají žádná jiná pole
• Reprezentativní data – Hodnoty v trénovacích případech by měly být různorodé a reprezentativní. Pokud je například pole pojmenované datum, měly by být hodnoty pro toto pole datem. Syntetická hodnota, jako je náhodný řetězec, může ovlivnit výkon modelu.

Aktuální omezení

• Vlastní neurální model nerozpozná hodnoty rozdělené mezi hranice stránek.
• Vlastní neurální nepodporované typy polí se ignorují, pokud se k trénování vlastního neurálního modelu používá datová sada označená pro vlastní modely šablon.
• Vlastní neurální modely jsou omezené na 20 operací sestavení za měsíc. Pokud potřebujete zvýšit limit, otevřete žádost o podporu. Další informace najdete v tématu Kvóty a omezení služby Document Intelligence.

Trénování modelu

Vlastní neurální modely jsou k dispozici v modelech verze 3.0 a novějších.

Typ dokumentu	REST API	Sada SDK	Popisky a testovací modely
Vlastní dokument	Funkce Document Intelligence 3.1	Document Intelligence SDK	Document Intelligence Studio

Operace Build pro trénování modelu podporuje novou buildMode vlastnost, pro trénování vlastního neurálního modelu, nastavte buildMode na neuralhodnotu .

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-11-30

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Fakturace

Ve verzi v4.0 2024-11-30 (GA)můžete vytrénovat vlastní neurální model na delší dobu, než je standardní 30 minut. Předchozí verze jsou omezené na 30 minut na instanci trénování, přičemž celkem 20 bezplatných trénovacích instancí za měsíc. S verzí v4.0 2024-11-30 (GA)můžete získat 10 hodin bezplatného trénování modelu a trénovat model po dobu 10 hodin.

Na jednom sestavení modelu s velkou sadou dat můžete strávit všech 10 bezplatných hodin nebo ho můžete využít ve více buildech tak, že upravíte maximální hodnotu build doby trvání operace zadáním maxTrainingHours:

POST https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-11-30

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  ...,
  "maxTrainingHours": 10
}

Důležité

• Pokud chcete trénovat další neurální modely nebo trénovat modely na delší časové období, které překračují 10 hodin, platí poplatky za fakturaci. Podrobnosti o fakturačních poplatcích najdete na stránce s cenami.
• Pro tuto placenou trénovací službu se můžete rozhodnout nastavením maxTrainingHours požadovaného maximálního počtu hodin. Volání rozhraní API bez rozpočtu, ale se maxTrainingHours sadou, která je nastavená na více než 10 hodin, selže.
• Vzhledem k tomu, že každé sestavení trvá různě dlouho v závislosti na typu a velikosti trénovací datové sady, počítá se fakturace za skutečný čas strávený trénováním neurálního modelu s minimálním počtem 30 minut na trénovací úlohu.
• Tato placená funkce trénování umožňuje trénovat větší datové sady po delší dobu s flexibilitou v hodinách trénování.

GET /documentModels/{myCustomModel}
{
  "modelId": "myCustomModel",
  "trainingHours": 0.23,
  "docTypes": { ... },
  ...
}

Poznámka:

U verzí v3.1 (2023-07-31) Document Intelligence a v3.0 (2022-08-31)placené trénování vlastního neurálního modelu není povolené. Pro dvě starší verze získáte maximální dobu trénování 30 minut na model. Pokud chcete trénovat více než 20 instancí modelu, můžete vytvořit lístek podpora Azure, který zvýší limit trénování.

Další kroky

Naučte se vytvářet a vytvářet vlastní modely:

Vytvoření vlastního modeluPro vytváření vlastních modelů