Extracción de texto de objetos mediante Power Automate y AI Builder

En este artículo se presenta una solución para extraer texto de imágenes para que se pueda indexar y recuperar en SharePoint. Mediante AI Builder y Documento de inteligencia de Azure AI, puede configurar un flujo de trabajo de Power Automate para usar un modelo entrenado a fin de extraer texto de una imagen. Una vez que haya configurado un flujo de trabajo, puede buscar rápidamente en documentos texto significativo que esté insertado en formas y objetos.

Architecture

Descargue un archivo Visio de esta arquitectura.

Flujo de trabajo

1. Un modelo de detección de objetos se entrena en AI Builder para reconocer los objetos especificados por un usuario.
2. Un nuevo documento entra en una biblioteca de documentos de SharePoint, OneDrive o Teams.
3. La llegada del documento desencadena un evento de Power Automate. Ese evento:
   1. Ejecuta el modelo de AI Builder. AI Builder devuelve un archivo JSON que contiene las coordenadas de píxeles de los objetos especificados.
   2. Envía el documento a Document Intelligence para un análisis completo de reconocimiento óptico de caracteres (OCR). Document Intelligence devuelve un archivo JSON que contiene texto analizado y coordenadas de píxeles del texto.
   3. Ejecuta una función en Azure Functions. La función analiza las coordenadas de píxeles en los archivos de salida de AI Builder y Document Intelligence. Si los objetos detectados forman una intersección con el texto analizado, la función devuelve los datos coincidentes en un archivo JSON.
   4. Introduce los metadatos o el texto de los objetos detectados en una biblioteca de documentos.
4. Los metadatos se capturan en un índice de búsqueda de SharePoint.
5. Los usuarios buscan los metadatos mediante elementos web de PnP Modern Search.

Componentes

• AI Builder es una funcionalidad de Microsoft Power Platform. Use AI Builder para entrenar modelos para reconocer objetos en imágenes. AI Builder también ofrece modelos creados previamente para la detección de objetos.
• Form Recognizer usa modelos de Machine Learning para extraer y analizar campos de formulario, texto y tablas de documentos.
• Power Automate forma parte de las soluciones intuitivas sin código o con poco código de Microsoft Power Platform. Power Automate es un servicio de flujos de trabajo en línea que automatiza acciones entre aplicaciones y servicios.
• Azure Functions es una plataforma de proceso sin servidor basada en eventos. Azure Functions se ejecuta a petición y a gran escala en la nube.
• La solución de PnP Modern Search es un conjunto de elementos web modernos de SharePoint en Microsoft 365. Con estas herramientas, puede crear experiencias de búsqueda muy flexibles y personalizadas.

Alternativas

• Servicios de Azure AI puede realizar un análisis completo de reconocimiento óptico de caracteres, con los metadatos resultantes almacenados en SharePoint.
• SharePoint puede ejecutar exámenes de reconocimiento óptico de caracteres en documentos y agregar la salida del contenido al índice para su recuperación. Use técnicas de búsqueda para seleccionar como destino la información importante de los documentos.
• Si desea procesar una alta tasa de documentos, considere la posibilidad de usar Azure Logic Apps para configurar los componentes. Azure Logic Apps le impide alcanzar los límites de consumo en el inquilino y es rentable. Para más información, consulte Azure Logic Apps.

Detalles del escenario

Los diagramas esquemáticos e industriales suelen tener objetos que contienen texto. El análisis manual de documentos en busca de texto pertinente puede ser laborioso y lento.

Posibles casos de uso

Entre los casos de uso se incluyen los siguientes:

• Diagramas esquemáticos de ingeniería complicados que contienen varios tipos de objetos. Con esta solución, puede buscar rápidamente componentes específicos en un diagrama. Tener acceso al texto incrustado de los objetos es útil para las investigaciones, la exposición de situaciones de escasez o la búsqueda de avisos de recuperación y error.
• Diagramas industriales que muestran los componentes de un ensamblado de fabricación. Esta solución identifica rápidamente las bombas, las válvulas, los conmutadores automatizados y otros componentes. La identificación de los componentes ayuda con el mantenimiento preventivo, aislando los componentes peligrosos y aumentando la visibilidad de la administración de riesgos en su organización.

Consideraciones

Estas consideraciones implementan los pilares del marco de buena arquitectura de Azure, que es un conjunto de principios guía que se pueden usar para mejorar la calidad de una carga de trabajo. Para más información, consulte Marco de buena arquitectura de Microsoft Azure.

Tenga en cuenta estos puntos al analizar y procesar documentos:

• AI Builder solo puede capturar coordenadas cuadradas cuando se usa un modelo entrenado. Los objetos con texto fuera de sus límites, como triángulos y círculos, podrían agregar información no deseada e innecesaria.
• Los metadatos que se obtienen de Azure Functions pueden contener caracteres adicionales si hay texto fuera de los límites del objeto.
• El proceso de creación de AI Builder puede etiquetar más de un objeto. El archivo JSON resultante de Azure Functions contiene todos los tipos de objeto y texto. La aplicación consume los metadatos y debe analizar y procesar los resultados.

Confiabilidad

La confiabilidad garantiza que la aplicación pueda cumplir los compromisos contraídos con los clientes. Para obtener más información, consulte Lista de comprobación de revisión de diseño para confiabilidad.

Azure replica los datos para garantizar su durabilidad y alta disponibilidad. La redundancia de datos le protege frente a eventos previstos e imprevistos, como errores transitorios del hardware, interrupciones del suministro eléctrico o de la red y desastres naturales. Opte por replicar los datos en el mismo centro de datos, en centros de datos zonales que estén en la misma región o en regiones geográficamente separadas.

Seguridad

La seguridad proporciona garantías contra ataques deliberados y el abuso de datos y sistemas valiosos. Para obtener más información, consulte Lista de comprobación de revisión de diseño para seguridad.

Use prácticas de seguridad estándar para los componentes que usa y para la biblioteca de documentos de SharePoint en la que almacena los metadatos.

Document Intelligence se diseñó teniendo en cuenta el cumplimiento, la privacidad y la seguridad. Autentica el acceso mediante una clave de API, cifra los datos durante el tránsito y el almacenamiento, y devuelve los resultados mediante la clave de API. Para obtener más información, consulte Datos, privacidad y seguridad para La inteligencia de documentos.

AI Builder se basa en la seguridad del entorno y los roles y privilegios de seguridad en Dataverse para conceder acceso a las características de IA en Power Apps. Los privilegios se establecen de forma predeterminada en Dataverse. Los administradores del sistema pueden usar los roles de seguridad integrados predeterminados sin necesidad de hacer nada más. Para más información, consulte Introducción a la seguridad.

Optimización de costos

La optimización de costes trata de buscar formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la optimización de costes.

• Para Power Automate, asegúrese de que las licencias que ha adquirido y asignado son adecuadas para el volumen de documentos que procesa. Incluya un conector premium HTTP para llamar a Document Intelligence y Azure Functions.
• Compre créditos de AI Builder basados en el uso esperado del modelo.
• Para calcular el costo de los productos y las configuraciones de Azure, use la calculadora de precios de Azure.

Eficiencia del rendimiento

La eficiencia del rendimiento es la capacidad de la carga de trabajo para escalar con el fin de satisfacer de manera eficiente las demandas que los usuarios hayan ejercido sobre ella. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la eficiencia del rendimiento.

Azure Functions es altamente escalable. Esta plataforma ofrece varios planes que se escalan automáticamente a petición cuando se desencadenan eventos. Para obtener más información, consulte Escalado basado en eventos.

Azure Functions tiene un límite de 200 instancias. Si necesita escalar más allá de este límite, agregue varias regiones o planes de aplicación.

Implementación de este escenario

Para obtener más información sobre cómo implementar este escenario, consulte Power Automate Community Blog y el repositorio de GitHub Extract Text From Objects.

Colaboradores

Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.

Autor principal:

• Steve Pucelik | Especialista sénior

Pasos siguientes

• Comprenda los tipos de documentos que serían adecuados para esta solución. Entre los documentos típicos se incluyen diagramas esquemáticos, procesos de control de fabricación y diagramas que contienen muchas formas que deben aislarse. Para obtener más información, consulte Modelos personalizados de Document Intelligence.
• Familiarícese con las funcionalidades que ofrece AI Builder. Para obtener más información, consulte Información general de AI Builder en Power Automate.
• Defina una arquitectura de información que pueda recibir y procesar los metadatos. Para más información, consulte el conjunto de aptitudes de Cognitive Search.
• Para obtener información sobre cómo funciona la solución y si es adecuada para los casos de uso, consulte Extract text from objects.