Пользовательская нейронная модель аналитики документов

Это содержимое относится к: версии 4.0 (GA) | Предыдущие версии:v3.1 (GA) версии 3.0 (GA)

Пользовательские модели нейронных документов или нейронные модели — это тип модели глубокого обучения, который объединяет функции макета и языка для точного извлечения помеченных полей из документов. Базовая настраиваемая нейронная модель обучена различным типам документов, что позволяет обученным для извлечения полей из структурированных и полуструктурированных документов. Пользовательские нейронные модели доступны в моделях версии 3.0 и более поздних версий с помощью версии 4.0, настраиваемая нейронная модель теперь поддерживает обнаружение подписей. В следующей таблице перечислены распространенные типы документов для каждой категории:

Документы	Примеры
структурированные	Опросы, анкеты
частично структурированные	Счета, заказы на покупку

Пользовательские нейронные модели используют те же формат меток и стратегию, что и модели пользовательских шаблонов. В настоящее время пользовательские нейронные модели поддерживают только подмножество типов полей, поддерживаемых пользовательскими моделями шаблонов.

Возможности модели

Внимание

Пользовательская модель нейронной версии 4.0 2024-11-30 (GA) поддерживает обнаружение подписей, доверие к ячейкам таблицы и перекрывающиеся поля.

Пользовательские нейронные модели в настоящее время поддерживают пары "ключ-значение" и метки выбора и структурированные поля (таблицы).

Поля формы	Метки выделения	Табличные поля	Подпись	Метки регионов	Перекрывающиеся поля
Поддерживается	Поддерживаемые	Поддерживаемые	Поддерживается	Поддерживается 1	Поддерживается 2

¹ Метки регионов в пользовательских нейронных моделях используют результаты из API макета для указанного региона. Эта функция отличается от моделей шаблонов, в которых при отсутствии значения текст создается во время обучения.
² Перекрывающиеся поля поддерживаются в REST API версии 2024-11-30 (GA). Перекрывающиеся поля имеют некоторые ограничения. Дополнительные сведения см . в перекрывающихся полях.

Режим создания

Операция Build поддерживает шаблонные и нейронные пользовательские модели. Предыдущие версии REST API и клиентских библиотек поддерживают только один режим сборки, который теперь называется режимом шаблона .

Нейронные модели поддерживают документы с одинаковыми сведениями, но разной структурой страниц. Примеры этих документов включают США формы W2, которые имеют одинаковую информацию, но могут различаться в разных компаниях. Дополнительные сведения см. в разделе"Режим сборки пользовательской модели".

Обнаружение сигнатуры

Пользовательская модель нейронной версии 4.0 2024-11-30 (GA) поддерживает обнаружение подписей. Чтобы пометить подпись, используйте тип поля в качестве подписи и нарисуйте регионы для подписи. Поле подписи поддерживает только один регион рисования для каждого поля. Чтобы обучить пользовательскую нейронную модель с обнаружением подписей, необходимо использовать по крайней мере пять примеров с подписью, помеченную вместе с вариантами, чтобы получить наиболее точные результаты.

Табличные поля

Пользовательская модель нейронной версии 4.0 2024-11-30 (GA) поддерживает табличные поля (таблицы) для анализа данных таблицы, строки и ячейки с добавленной уверенностью:

• Модели, обученные с помощью API версии 2022-06-30-preview или более поздней, будут принимать метки табличных полей.
• Документы, проанализированные с помощью пользовательских нейронных моделей с использованием API версии 2022-06-30-preview или более поздней, будут создавать табличные поля, агрегированные по таблицам.
• Результаты можно найти в массиве documents объекта analyzeResult, который возвращается после операции анализа.

Табличные поля поддерживают межстраничные таблицы по умолчанию:

• Чтобы пометить таблицу, охватывающую несколько страниц, пометьте каждую строку таблицы на разных страницах в одной таблице.
• Рекомендуется убедиться, что набор данных содержит несколько примеров ожидаемых вариантов. Например, включите образцы, в которых вся таблица находится на одной странице, и в которых таблицы занимают две или более страниц.

Табличные поля также полезны при извлечении повторяющихся данных в документе, который не распознается как таблица. Например, повторяющийся раздел об опыте работы в резюме можно пометить и извлечь как табличное поле.

Табличные поля предоставляют доверие к таблицам, строкам и ячейкам 2024-11-30 (GA) с помощью API:

• Исправленные или динамические таблицы добавляют поддержку достоверности для следующих элементов:

  • Достоверность таблицы— мера точного распознавания всей таблицы.
  • Достоверность строк— мера распознавания отдельной строки.
  • Достоверность ячеек— мера распознавания отдельной ячейки.

• Рекомендуемый подход — проверить точность в начале таблицы, а затем строку, а затем ячейку. Ознакомьтесь с оценками достоверности и точности, чтобы узнать больше о таблице, строке и достоверности ячеек.

Перекрывающиеся поля

Пользовательская модель нейронной версии 4.0 2024-11-30 (GA) поддерживает перекрывающиеся поля:

Чтобы использовать перекрывающиеся поля, набор данных должен содержать по крайней мере один пример с ожидаемым перекрытием. Чтобы пометить перекрытие, используйте метку регионов для обозначения каждого диапазона содержимого (с перекрытием) для каждого поля. Сбой при выделении поля (выделение значения) в Студии, так как метка региона является единственным поддерживаемым средством маркировки для указания перекрытия полей. Поддержка перекрытия включает:

• Полное перекрытие. Один и тот же набор маркеров помечен для двух разных полей.
• Частичное перекрытие. Некоторые маркеры относятся к обоим полям, но есть маркеры, которые являются только частью одного поля или другого.

Перекрывающиеся поля имеют некоторые ограничения:

• Любой маркер или слово можно пометить только как два поля.
• Перекрывающиеся поля в таблице не могут охватывать строки таблицы.
• Перекрывающиеся поля можно распознать только в том случае, если хотя бы один пример в наборе данных содержит перекрывающиеся метки для этих полей.

Чтобы использовать перекрывающиеся поля, пометьте набор данных с перекрывающимися данными и обучите модель версией **2024-11-30 (GA)**API.

Поддерживаемые языки и языковые стандарты

Ознакомьтесь со службой поддержки языка — пользовательскими моделями для полного списка поддерживаемых языков.

Поддерживаемые регионы

По состоянию на 18 октября 2022 г. обучение пользовательской нейронной модели аналитики документов будет доступно только в следующих регионах Azure до дальнейшего уведомления:

• Восточная Австралия
• Южная Бразилия
• Центральная Канада
• Центральная Индия
• Центральная часть США
• Восточная Азия
• Восточная часть США
• восточная часть США 2
• Центральная Франция
• Восточная Япония
• Центрально-южная часть США
• Юго-Восточная Азия
• южная часть Соединенного Королевства
• Западная Европа
• западная часть США 2
• US Gov (Аризона)
• US Gov (Вирджиния)

Совет

Вы можете скопировать модель , обученную в одном из регионов выбора, перечисленных в любом другом регионе , и использовать ее соответствующим образом.

Используйте REST API или Document Intelligence Studio для копирования модели в другой регион.

Требования к входным данным

• Для получения наилучших результатов предоставьте одну четкую фотографию или скан-копию документа высокого качества.

• Поддерживаемые форматы файлов:

  Модель	PDF	Изображение: jpeg/jpg, png, bmp, tiffheif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx) и HTML
  Читать	✔	✔	✔
  Макет	✔	✔	✔
  Документ общего назначения	✔	✔
  Готовое	✔	✔
  Настраиваемая нейронная модель	✔	✔

  ✱ Файлы Microsoft Office сейчас не поддерживаются в других моделях или версиях.

• Для PDF и TIFF можно обрабатывать до 2000 страниц (с подпиской на бесплатный уровень только первые две страницы обрабатываются).

• Размер файла для анализа документов составляет 500 МБ для платного уровня (S0) и 4 МБ для бесплатного уровня (F0).

• Изображения должны иметь размеры в пределах от 50 x 50 до 10 000 x 10 000 пикселей.

• Если PDF-файлы заблокированы паролем, перед отправкой необходимо снять блокировку.

• Минимальная высота извлекаемого текста составляет 12 пикселей для изображения размером 1024 x 768 пикселей. Это измерение соответствует тексту около 8точки в 150 точек на дюйм.

• Для обучения пользовательской модели максимальный объем обучающих данных составляет 500 страниц для пользовательской модели шаблона и 50 000 страниц для пользовательской нейронной модели.

• Для обучения пользовательской модели извлечения общий размер обучающих данных составляет 50 МБ для модели шаблона и 1G-МБ для нейронной модели.

• Для обучения пользовательской модели классификации общий размер обучающих данных составляет 1GB не более 10 000 страниц.

Рекомендации

Пользовательские нейронные модели имеют несколько отличий от пользовательских моделей шаблонов. Настраиваемый шаблон или модель полагаются на единообразный визуальный шаблон для извлечения помеченных данных. Пользовательские нейронные модели поддерживают структурированные и частично структурированные для извлечения полей. При выборе между типами моделей начните с нейронной модели и проверьте, поддерживает ли она свои функциональные потребности.

• Работа с вариантами . Пользовательские нейронные модели могут обобщение в разных форматах одного типа документа. Рекомендуется создать единую модель для всех вариантов типа документа. Следует добавить по крайней мере пять образцов с метками для каждого из вариантов набора данных для обучения.
• Именование полей . При метках данных метка поля, относящееся к значению, повышает точность извлеченных пар "ключ-значение". Например, для значения поля, содержащего идентификатор поставщика, рассмотрите возможность именования поля supplier_id. Имена полей должны быть на языке документа.
• Метка смежных значений — маркеры или слова одного поля должны иметь следующие значения :
  • Последовательная последовательность в естественном порядке чтения без переключения с другими полями
  • Находятся в области, не перекрывающей какие-либо другие поля.
• Репрезентативные данные . Значения в учебных случаях должны быть разнообразными и репрезентативными. Например, если поле называется датой, значения для этого поля должны быть датой. Искусственное значение, например случайная строка, может повлиять на производительность модели.

Текущие ограничения

• Пользовательская нейронная модель не распознает значения, разделенные по границам страницы.
• Пользовательские неподдерживаемые типы полей игнорируются, если набор данных, помеченный для пользовательских моделей шаблонов, используется для обучения пользовательской нейронной модели.
• Пользовательские нейронные модели ограничены 20 операциями сборки в месяц для версий 3.x. Если нужно увеличить этот лимит, отправьте запрос в службу поддержки. Дополнительные сведения см. в разделе "Квоты и ограничения службы аналитики документов".

Обучение модели

Пользовательские нейронные модели доступны в моделях версии 3.0 и более поздних версий.

Тип документа	REST API	SDK	Создание меток и тестирование моделей
Пользовательский документ	Аналитика документов 3.1	Пакет SDK для аналитики документов	Document Intelligence Studio

Операция Build обучения модели поддерживает новое buildMode свойство, чтобы обучить пользовательскую нейронную модель, задать значение buildModeneural.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-11-30

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Выставление счетов

С версией v4.0 2024-11-30 (GA)вы можете обучить настраиваемую нейронную модель дольше, чем стандартная 30 минут. Предыдущие версии ограничены 30 минутами на экземпляр обучения, в общей сложности 20 бесплатных экземпляров обучения в месяц. С версией v4.0 2024-11-30 (GA)вы можете получить 10 часов бесплатного обучения модели и обучить модель до 10 часов.

Вы можете потратить все 10 бесплатных часов на одну сборку модели с большим набором данных или использовать ее в нескольких сборках, изменив максимальное значение длительности для build операции, указав maxTrainingHours:

POST https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-11-30

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  ...,
  "maxTrainingHours": 10
}

Внимание

• Если вы хотите обучить больше нейронных моделей или обучить модели в течение более длительного периода времени, превышающего 10 часов, взимается плата за выставление счетов. Дополнительные сведения о расходах на выставление счетов см. на странице цен.
• Вы можете выбрать эту платную службу обучения, задав maxTrainingHours требуемое максимальное количество часов. Вызовы API без бюджета, но с набором maxTrainingHours более 10 часов завершается сбоем.
• Каждая сборка занимает разное время в зависимости от типа и размера обучающего набора данных. Выставление счетов вычисляется за фактическое время обучения нейронной модели с минимальным количеством 30 минут на задание обучения.
• Эта платная функция обучения позволяет обучать большие наборы данных на более длительные сроки с гибкостью в учебные часы.

GET /documentModels/{myCustomModel}
{
  "modelId": "myCustomModel",
  "trainingHours": 0.23,
  "docTypes": { ... },
  ...
}

Примечание.

Для версий аналитики v3.1 (2023-07-31) документов и v3.0 (2022-08-31)платного обучения пользовательской нейронной модели не включена. Для двух старых версий на модель приходится не более 30 минут. Если вы хотите обучить более 20 экземпляров модели, можно создать запрос поддержка Azure для увеличения лимита обучения.

Следующие шаги

Создание и объединение настраиваемых моделей:

Создание пользовательской моделиCompose настраиваемых моделей