Извлечение текста из объектов с помощью Power Automate и AI Builder

В этой статье представлено решение для извлечения текста из изображений, чтобы его можно было индексировать и извлечь в SharePoint. С помощью AI Builder и Azure AI Document Intelligence можно настроить рабочий процесс Power Automate для использования обученной модели для извлечения текста из изображения. После настройки рабочего процесса можно быстро искать документы для понятного текста, внедренного в фигуры и объекты.

Архитектура

Скачайте файл Visio для этой архитектуры.

Рабочий процесс

1. Модель обнаружения объектов обучена в AI Builder для распознавания объектов, которые указывает пользователь.
2. Новый документ входит в библиотеку документов SharePoint, OneDrive или Teams.
3. Прибытие документа активирует событие Power Automate. Это событие:
   1. Запускает модель AI Builder. AI Builder возвращает JSON-файл, содержащий координаты пикселей всех указанных объектов.
   2. Отправляет документ в аналитику документов для полного оптического распознавания символов (OCR). Аналитика документов возвращает JSON-файл, содержащий отсканированные текстовые и пиксельные координаты текста.
   3. Выполняет функцию в Функции Azure. Функция анализирует координаты пикселей в выходных файлах AI Builder и Document Intelligence. Если обнаруженные объекты пересекаются с сканированным текстом, функция возвращает соответствующие данные в JSON-файле.
   4. Вводит метаданные или текст из обнаруженных объектов в библиотеку документов.
4. Метаданные записываются в индекс поиска SharePoint.
5. Пользователи ищут метаданные с помощью веб-частей современного поиска PnP.

Компоненты

• AI Builder — это возможность Microsoft Power Platform. Использование AI Builder для обучения моделей для распознавания объектов в изображениях. AI Builder также предлагает предварительно созданные модели для обнаружения объектов.
• Распознаватель документов использует модели машинного обучения для извлечения и анализа полей формы, текста и таблиц из документов.
• Power Automate является частью решений microsoft Power Platform без кода или низкокодовых интуитивно понятных решений. Power Automate — это веб-служба рабочих процессов, которая автоматизирует действия между приложениями и службами.
• Функции Azure — это бессерверная платформа вычислений на основе событий. Функции Azure выполняется по запросу и в масштабе облака.
• Решение PnP Modern Search — это набор SharePoint в современных веб-частях Microsoft 365. С помощью этих средств вы можете создавать гибкие и персонализированные интерфейсы поиска.

Альтернативные варианты

• Службы искусственного интеллекта Azure могут выполнять полную проверку документов OCR с результирующей метаданными, хранящимися в SharePoint.
• SharePoint может выполнять проверки OCR на документах и добавлять выходные данные содержимого в индекс для получения. Используйте методы поиска для целевых ключевых сведений в документах.
• Если вы хотите обработать высокий уровень документов, рассмотрите возможность использования Azure Logic Apps для настройки компонентов. Azure Logic Apps предотвращает превышение ограничений потребления в клиенте и экономии. Дополнительные сведения см. в статье Azure Logic Apps.

Подробности сценария

Схемы и промышленные схемы часто содержат объекты, содержащие текст. Сканирование документов вручную для соответствующего текста может быть трудоемким и трудоемким.

Потенциальные варианты использования

К вариантам использования относятся:

• Сложные схемы проектирования, содержащие различные типы объектов. С помощью этого решения можно быстро искать определенные компоненты на схеме. Наличие доступа к внедренным текстам в объектах полезно для исследований, предоставления нехватки или поиска уведомлений об отзыве и сбоях.
• Промышленные схемы, показывающие компоненты в производственной сборке. Это решение быстро определяет насосы, клапаны, автоматизированные коммутаторы и другие компоненты. Определение компонентов помогает предотвратить обслуживание, изоляцию опасных компонентов и повышение видимости управления рисками в организации.

Рекомендации

Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, которая является набором руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.

При анализе и обработке документов следует учитывать следующие моменты:

• AI Builder может захватывать только квадратные координаты при использовании обученной модели. Объекты с текстом вне границ, например треугольники и круги, могут потенциально добавлять нежелательные и ненужные сведения.
• Метаданные, выходные данные из Функции Azure, могут содержать дополнительные символы, если текст находится за пределами границ объекта.
• Процесс создания AI Builder может пометить несколько объектов. Полученный JSON-файл из Функции Azure содержит все типы объектов и текст. Приложение использует метаданные и необходимо проанализировать и обработать результаты.

Надежность

Надежность гарантирует, что ваше приложение позволит вам выполнить ваши обязательства перед клиентами. Дополнительные сведения см . в контрольном списке проверки конструктора для обеспечения надежности.

Azure реплицирует данные, чтобы обеспечить устойчивость и высокий уровень доступности. Избыточность данных защищает вас от запланированных и незапланированных событий, в том числе временных сбоев оборудования, сетевых сбоев или сбоев питания и стихийных бедствий. Выберите репликацию данных в одном центре обработки данных, между зональными центрами обработки данных в одном регионе или между географически разделенными регионами.

Безопасность

Безопасность обеспечивает гарантии от преднамеренного нападения и злоупотребления ценными данными и системами. Дополнительные сведения см. в контрольном списке проверки конструктора для безопасности.

Используйте стандартные методики безопасности для используемых компонентов и библиотеки документов SharePoint, в которую хранятся метаданные.

Аналитика документов разработана с учетом соответствия требованиям, конфиденциальности и безопасности. Он проверяет подлинность доступа с помощью ключа API, шифрует данные во время передачи и хранения и возвращает результаты с помощью ключа API. Дополнительные сведения см. в разделе "Данные", " Конфиденциальность" и "Безопасность" для аналитики документов.

AI Builder использует роли безопасности среды и роли безопасности Dataverse и привилегии для предоставления доступа к функциям ИИ в Power Apps. Привилегии задаются по умолчанию в Dataverse. Системные администраторы могут использовать встроенные роли безопасности по умолчанию без дальнейших действий. Дополнительные сведения см. в обзоре функций безопасности.

Оптимизация затрат

Оптимизация затрат заключается в том, чтобы подумать о способах сокращения ненужных расходов и повышения эффективности работы. Дополнительные сведения см . в контрольном списке проверки конструктора для оптимизации затрат.

• Для Power Automate убедитесь, что приобретенные и назначенные лицензии достаточно для объема обрабатываемых документов. Включите соединитель HTTP premium для вызова аналитики документов и Функции Azure.
• Приобретение кредитов AI Builder на основе ожидаемого использования модели.
• Чтобы оценить стоимость продуктов и конфигураций Azure, используйте калькулятор цен Azure.

Уровень производительности

Эффективность производительности — это возможность масштабирования рабочей нагрузки в соответствии с требованиями, заданными пользователями. Дополнительные сведения см . в контрольном списке проверки конструктора для повышения эффективности.

Функции Azure является высокомасштабируемым. Эта платформа предлагает несколько планов, которые автоматически масштабируются по запросу при активации событий. Дополнительные сведения см. в статье о масштабировании на основе событий.

Функции Azure имеет ограничение в 200 экземпляров. Если необходимо увеличить масштаб до этого предела, добавьте несколько регионов или планов приложений.

Развертывание этого сценария

Дополнительные сведения о развертывании этого сценария см. в блоге сообщества Power Automate и репозитории Извлечение текста из объектов GitHub.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.

Автор субъекта:

• Стив Pucelik | Старший специалист

Следующие шаги

• Ознакомьтесь с типами документов, которые хорошо подходят для этого решения. К типичным документам относятся схемы, производственные процессы управления и схемы, содержащие множество фигур, которые должны быть изолированы. Дополнительные сведения см. в разделе "Аналитика документов" пользовательских моделей.
• Ознакомьтесь с возможностями, которые предлагает AI Builder. Дополнительные сведения см. в обзоре AI Builder в Power Automate.
• Определите информационную архитектуру, которая может получать и обрабатывать метаданные. Дополнительные сведения см. в разделе "Набор навыков когнитивного поиска".
• Сведения о том, как работает решение и подходит ли оно для вариантов использования, см. в разделе "Извлечение текста из объектов".