Extrahieren von Text aus Objekten mithilfe von Power Automate und AI Builder

In diesem Artikel wird eine Lösung zum Extrahieren von Text aus Bildern beschrieben, damit dieser in SharePoint indiziert und abgerufen werden kann. Mit AI Builder und der Azure KI Dokument Intelligenz können Sie einen Power Automate-Workflow so konfigurieren, dass mit einem trainierten Modell Text aus einem Bild extrahiert wird. Nachdem Sie einen Workflow konfiguriert haben, können Sie Dokumente schnell nach aussagekräftigem Text durchsuchen, der Teil von Formen und Objekten ist.

Aufbau

Laden Sie eine Visio-Datei dieser Architektur herunter.

Workflow

1. Ein Objekterkennungsmodell wird in AI Builder trainiert, um von einem Benutzer angegebene Objekte zu erkennen.
2. Ein neues Dokument erscheint in einer SharePoint-Dokumentbibliothek, OneDrive oder Teams.
3. Die Ankunft des Dokuments löst ein Power Automate-Ereignis aus. Dieses Ereignis umfasst folgende Aktionen:
   1. Das AI Builder-Modell wird ausgeführt. AI Builder gibt eine JSON-Datei zurück, die die Pixelkoordinaten aller angegebenen Objekte enthält.
   2. Das Dokument wird an die Dokument Intelligenz gesendet, die einen vollständigen OCR-Scan (Optical Character Recognition, optische Zeichenerkennung) ausführt. Die Dokument Intelligenz gibt eine JSON-Datei zurück, die gescannten Text und Pixelkoordinaten des Texts enthält.
   3. Eine Azure Functions-Funktion wird ausgeführt. Die Funktion analysiert die Pixelkoordinaten im den AI Builder- und Dokument Intelligenz-Ausgabedateien. Wenn sich erkannte Objekte mit gescanntem Text überschneiden, gibt die Funktion die übereinstimmenden Daten in einer JSON-Datei zurück.
   4. Sie gibt die Metadaten oder den Text erkannter Objekten in eine Dokumentbibliothek ein.
4. Die Metadaten werden in einem SharePoint-Suchindex erfasst.
5. Benutzer suchen mithilfe von PnP Modern Search-Webparts nach den Metadaten.

Komponenten

• AI Builder ist eine Microsoft Power Platform-Funktion. Verwenden Sie AI Builder, um Modelle zum Erkennen von Objekten in Bildern zu trainieren. AI Builder bietet auch vordefinierte Modelle für die Objekterkennung.
• Formularerkennung verwendet Machine Learning-Modelle, um Formularfelder, Text und Tabellen aus Ihren Dokumenten zu extrahieren und zu analysieren.
• Power Automate ist Ein Teil von der intuitiven Microsoft Power Platform-Lösungen mit geringer oder gar keiner Notwendigkeit zum Schreiben von Code. Power Automate ist ein Online-Workflowdienst, der Aktionen für die gängigsten Apps und Dienste automatisiert.
• Azure Functions ist eine ereignisgesteuerte serverlose Computeplattform. Azure Functions wird bedarfsgesteuert und skalierbar in der Cloud ausgeführt.
• Die PnP Modern Search-Lösung ist eine Reihe von modernen SharePoint Microsoft 365-Webparts. Mithilfe dieser Tools können Sie äußerst flexible und personalisierte suchbasierte Erfahrungen erstellen.

Alternativen

• Azure KI Services können eine vollständige OCR-Überprüfung von Dokumenten durchführen, bei der die resultierenden Metadaten im SharePoint gespeichert werden.
• SharePoint kann OCR-Scans von Dokumenten ausführen und dem Index ausgegebene Inhalte zum Abrufen hinzufügen. Verwenden Sie Suchtechniken, um wichtige Informationen in Dokumenten zu finden.
• Wenn Sie eine hohe Rate von Dokumenten verarbeiten möchten, sollten Sie erwägen, die Komponenten mit Azure Logic Apps zu konfigurieren. Azure Logic Apps verhindert, dass Sie die Verbrauchsgrenzwerte in Ihrem Mandanten überschreiten, und ist kostengünstig. Weitere Informationen finden Sie unter Azure Logic Apps.

Szenariodetails

Schematische und industrielle Diagramme enthalten häufig Objekte mit Text. In Dokumenten manuell nach relevantem Text zu suchen, kann mühsam und zeitaufwändig sein.

Mögliche Anwendungsfälle

Zu den Anwendungsfällen zählen:

• Komplizierte technische schematische Diagramme, die verschiedene Objekttypen enthalten. Mit dieser Lösung können Sie schnell nach bestimmten Komponenten in einem Diagramm suchen. Der Zugriff auf eingebetteten Text in Objekten ist hilfreich für Untersuchungen, die Offenlegung von Engpässen oder die Suche nach Rückruf- und Ausfallmeldungen.
• Industriediagramme, die die Komponenten in einer Fertigungsanlage darstellen. Diese Lösung identifiziert sofort Pumpen, Ventile, automatisierte Schalter und andere Komponenten. Das Identifizieren von Komponenten hilft bei der vorbeugenden Wartung, der Isolierung von gefährlichen Komponenten und bietet Durchblick für das Risikomanagement in Ihrer Organisation.

Überlegungen

Diese Überlegungen beruhen auf den Säulen des Azure Well-Architected Frameworks, d. h. einer Reihe von Grundsätzen, mit denen die Qualität von Workloads verbessert werden kann. Weitere Informationen finden Sie unter Microsoft Azure Well-Architected Framework.

Berücksichtigen Sie diese Punkte, wenn Sie Dokumente analysieren und verarbeiten:

• AI Builder kann nur quadratische Koordinaten erfassen, wenn ein trainiertes Modell verwendet wird. Objekte mit Text außerhalb ihrer Grenzen, z. B. Dreiecke und Kreise, können potenziell unerwünschte und unnötige Informationen hinzufügen.
• Die von Azure Functions ausgegebenen Metadaten können zusätzliche Zeichen enthalten, wenn Text außerhalb der Grenzen des Objekts liegt.
• Der Erstellungsprozess von AI Builder kann mehrere Objekte markieren. Die resultierende JSON-Datei aus Azure Functions enthält alle Objekttypen und Text. Die Anwendung verwendet die Metadaten und muss die Ergebnisse analysieren und verarbeiten.

Zuverlässigkeit

Zuverlässigkeit stellt sicher, dass Ihre Anwendung Ihre Verpflichtungen gegenüber den Kunden erfüllen kann. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Zuverlässigkeit.

Azure repliziert Daten, um Dauerhaftigkeit und Hochverfügbarkeit sicherzustellen. Datenredundanz schützt Sie vor geplanten und ungeplanten Ereignissen, z. B. von vorübergehend auftretenden Hardwarefehlern über Netzwerk- oder Stromausfälle bis hin zu Naturkatastrophen. Sie können Ihre Daten wahlweise im selben Rechenzentrum, Rechenzentren in derselben Region und sogar übergreifend über geografisch getrennte Regionen replizieren.

Sicherheit

Sicherheit bietet Schutz vor vorsätzlichen Angriffen und dem Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Sicherheit.

Verwenden Sie Standardsicherheitsmethoden für die von Ihnen verwendeten Komponenten und für die SharePoint-Dokumentbibliothek, in der Sie die Metadaten speichern.

Die Dokument Intelligenz ist für Compliance, Datenschutz und Sicherheit ausgelegt. Sie authentifiziert den Zugriff mithilfe eines API-Schlüssels, verschlüsselt Daten während der Übertragung und Speicherung und gibt Ergebnisse mithilfe des API-Schlüssels zurück. Weitere Informationen finden Sie unter "Daten", "Datenschutz" und "Sicherheit für Document Intelligence".

AI Builder basiert auf Umgebungssicherheits- und Dataverse-Sicherheitsrollen und -berechtigungen, um KI-Features in Power Apps verfügbar zu machen. Berechtigungen werden standardmäßig in Dataverse festgelegt. Systemadministratoren können die integrierten Standardsicherheitsrollen ohne weitere Aktionen verwenden. Weitere Informationen finden Sie unter Sicherheitsübersicht.

Kostenoptimierung

Bei der Kostenoptimierung geht es um die Suche nach Möglichkeiten, unnötige Ausgaben zu reduzieren und die Betriebseffizienz zu verbessern. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Kostenoptimierung.

• Stellen Sie bezüglich Power Automate sicher, ausreichend Lizenzen für die von Ihnen verarbeiteten Dokumente zu erwerben und zuzuweisen. Schließen Sie einen HTTP Premium-Connector ein, um die Dokument Intelligenz und Azure Functions aufzurufen.
• Erwerben Sie AI Builder-Guthaben basierend auf dem erwarteten Verbrauch für die Modelle.
• Nutzen Sie den Azure-Preisrechner, falls Sie eine Kostenschätzung für Azure-Produkte und -Konfigurationen benötigen.

Effiziente Leistung

Die Leistungseffizienz ist die Fähigkeit Ihrer Workload, auf effiziente Weise eine den Anforderungen der Benutzer entsprechende Skalierung auszuführen. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Leistungseffizienz.

Azure Functions ist hochgradig skalierbar. Diese Plattform bietet mehrere Pläne, die bei Bedarf automatisch skaliert werden, wenn Ereignisse ausgelöst werden. Weitere Informationen finden Sie unter Ereignisgesteuerte Skalierung.

Azure Functions ist auf 200 Instanzen begrenzt. Sollten Ihre Skalierungsanforderungen über diesen Grenzwert hinausgehen, sollten Sie mehrere Regionen oder App-Pläne hinzufügen.

Bereitstellen dieses Szenarios

Weitere Informationen zum Bereitstellen dieses Szenarios finden Sie im Power Automate Community Blog und im GitHub-Repository Extract Text From Objects (Extrahieren von Text aus Objekten).

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:

Hauptautor:

• Steve Pucelik | Sr. Specialist

Nächste Schritte

• Machen Sie sich mit den Arten von Dokumenten vertraut, die für diese Lösung gut geeignet sind. Typische Dokumente sind schematische Diagramme, Fertigungskontrollprozesse und Diagramme, die viele Formen enthalten, die isoliert werden müssen. Weitere Informationen finden Sie unter benutzerdefinierten Dokumentintelligenzmodellen.
• Machen Sie sich mit den Funktionen von AI Builder vertraut. Weitere Informationen finden Sie unter AI Builder in Power Automate – Übersicht.
• Definieren Sie eine Informationsarchitektur, die Ihre Metadaten empfangen und verarbeiten kann. Weitere Informationen finden Sie unter Skillsets in Cognitive Search.
• Informationen dazu, wie die Lösung funktioniert und ob sie für Ihre Anwendungsfälle geeignet ist, finden Sie unter Extrahieren von Text aus Objekten.