Tekst extraheren uit objecten met Power Automate en AI Builder

Dit artikel bevat een oplossing voor het extraheren van tekst uit afbeeldingen, zodat deze kan worden geïndexeerd en opgehaald in SharePoint. Met behulp van AI Builder en Azure AI Document Intelligence kunt u een Power Automate-werkstroom configureren om een getraind model te gebruiken om tekst uit een afbeelding te extraheren. Zodra u een werkstroom hebt geconfigureerd, kunt u snel documenten zoeken naar zinvolle tekst die is ingesloten in vormen en objecten.

Architectuur

Een Visio-bestand van deze architectuur downloaden.

Workflow

1. Een objectdetectiemodel wordt getraind in AI Builder om objecten te herkennen die een gebruiker opgeeft.
2. Een nieuw document voert een SharePoint-documentbibliotheek, OneDrive of Teams in.
3. De aankomst van het document activeert een Power Automate-gebeurtenis. Die gebeurtenis:
   1. Hiermee wordt het AI Builder-model uitgevoerd. AI Builder retourneert een JSON-bestand dat de pixelcoördinaten van opgegeven objecten bevat.
   2. Hiermee wordt het document verzonden naar Document Intelligence voor een volledige OCR-scan (Optical Character Recognition). Document Intelligence retourneert een JSON-bestand dat gescande tekst- en pixelcoördinaten van de tekst bevat.
   3. Voert een functie uit in Azure Functions. De functie analyseert de pixelcoördinaten in de AI Builder- en Document Intelligence-uitvoerbestanden. Als gedetecteerde objecten elkaar kruisen met gescande tekst, retourneert de functie de overeenkomende gegevens in een JSON-bestand.
   4. Hiermee voert u de metagegevens of de tekst van gedetecteerde objecten in een documentbibliotheek in.
4. De metagegevens worden vastgelegd in een SharePoint-zoekindex.
5. Gebruikers zoeken naar de metagegevens met behulp van PnP Modern Search-webonderdelen.

Onderdelen

• AI Builder is een Microsoft Power Platform-functie. Gebruik AI Builder om modellen te trainen om objecten in afbeeldingen te herkennen. AI Builder biedt ook vooraf gedefinieerde modellen voor objectdetectie.
• Form Recognizer maakt gebruik van machine learning-modellen voor het extraheren en analyseren van formuliervelden, tekst en tabellen uit uw documenten.
• Power Automate maakt deel uit van intuïtieve oplossingen zonder code of zonder code in Microsoft Power Platform. Power Automate is een onlinewerkstroomservice waarmee acties in apps en services worden geautomatiseerd.
• Azure Functions is een serverloos rekenplatform op basis van gebeurtenissen. Azure Functions wordt op aanvraag en op schaal uitgevoerd in de cloud.
• PnP Modern Search-oplossing is een set SharePoint in moderne webonderdelen van Microsoft 365. Met behulp van deze hulpprogramma's kunt u zeer flexibele en persoonlijke ervaringen op basis van zoekopdrachten maken.

Alternatieven

• Azure AI-services kunnen een volledige OCR-scan van documenten uitvoeren, met de resulterende metagegevens die zijn opgeslagen in SharePoint.
• SharePoint kan OCR-scans uitvoeren op documenten en inhoudsuitvoer toevoegen aan de index voor het ophalen. Gebruik zoektechnieken om belangrijke informatie in documenten te richten.
• Als u een hoge frequentie van documenten wilt verwerken, kunt u Overwegen om Azure Logic Apps te gebruiken om de onderdelen te configureren. Met Azure Logic Apps voorkomt u dat u de verbruikslimieten in uw tenant bereikt en rendabel is. Zie Azure Logic Apps voor meer informatie.

Scenariodetails

Schematische en industriële diagrammen bevatten vaak objecten die tekst bevatten. Het handmatig scannen van documenten op relevante tekst kan tijdrovend en tijdrovend zijn.

Potentiële gebruikscases

Gebruiksvoorbeelden zijn onder andere:

• Gecompliceerde technische schematische diagrammen die verschillende typen objecten bevatten. Met deze oplossing kunt u snel zoeken naar specifieke onderdelen in een diagram. Toegang tot ingesloten tekst in objecten is handig voor onderzoeken, het blootstellen van tekorten of het zoeken naar relevante overeenkomsten en storingsberichten.
• Industriële diagrammen waarin de onderdelen in een productieassembly worden weergegeven. Deze oplossing identificeert onmiddellijk pompen, kleppen, geautomatiseerde schakelaars en andere onderdelen. Het identificeren van onderdelen helpt bij preventief onderhoud, het isoleren van gevaarlijke onderdelen en het vergroten van de zichtbaarheid van risicobeheer in uw organisatie.

Overwegingen

Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.

Houd rekening met deze punten wanneer u documenten analyseert en verwerkt:

• AI Builder kan alleen vierkante coördinaten vastleggen wanneer u een getraind model gebruikt. Objecten met tekst buiten hun grenzen, zoals driehoeken en cirkels, kunnen mogelijk ongewenste en onnodige informatie toevoegen.
• De metagegevens die worden uitgevoerd vanuit Azure Functions kunnen extra tekens bevatten als er tekst buiten de grenzen van het object valt.
• Het proces voor het maken van AI Builder kan meer dan één object taggen. Het resulterende JSON-bestand van Azure Functions bevat alle objecttypen en tekst. De toepassing verbruikt de metagegevens en moet de resultaten parseren en verwerken.

Betrouwbaarheid

Betrouwbaarheid zorgt ervoor dat uw toepassing kan voldoen aan de toezeggingen die u aan uw klanten hebt gedaan. Zie de controlelijst ontwerpbeoordeling voor betrouwbaarheid voor meer informatie.

Azure repliceert gegevens om duurzaamheid en hoge beschikbaarheid te garanderen. Gegevensredundantie beschermt u tegen geplande en ongeplande gebeurtenissen, waaronder tijdelijke hardwarestoringen, netwerk- of stroomstoringen en natuurrampen. Kies ervoor om uw gegevens binnen hetzelfde datacenter, in zonegebonden datacenters binnen dezelfde regio of in geografisch gescheiden regio's te repliceren.

Beveiliging

Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie de controlelijst ontwerpbeoordeling voor beveiliging voor meer informatie.

Gebruik standaardbeveiligingsprocedures voor de onderdelen die u gebruikt en voor de SharePoint-documentbibliotheek waarin u de metagegevens opslaat.

Document Intelligence is ontworpen met naleving, privacy en beveiliging in het achterhoofd. Het verifieert de toegang met behulp van een API-sleutel, versleutelt gegevens tijdens de overdracht en opslag en retourneert resultaten met behulp van de API-sleutel. Zie Gegevens, privacy en beveiliging voor Document Intelligence voor meer informatie.

AI Builder is afhankelijk van omgevingsbeveiliging en Dataverse-beveiligingsrollen en -bevoegdheden om toegang te verlenen tot AI-functies in Power Apps. Bevoegdheden worden standaard ingesteld in Dataverse. Systeembeheerders kunnen de standaard ingebouwde beveiligingsrollen gebruiken zonder verdere acties. Zie Beveiligingsoverzicht voor meer informatie.

Kostenoptimalisatie

Kostenoptimalisatie gaat over manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie de controlelijst ontwerpbeoordeling voor Kostenoptimalisatie voor meer informatie.

• Voor Power Automate moet u ervoor zorgen dat de licenties die u hebt aangeschaft en toegewezen voldoende zijn voor het aantal documenten dat u verwerkt. Neem een HTTP Premium-connector op om Document Intelligence en Azure Functions aan te roepen.
• Koop AI Builder-tegoed op basis van het verwachte modelgebruik.
• Als u de kosten van Azure-producten en -configuraties wilt schatten, gebruikt u de Azure-prijscalculator.

Prestatie-efficiëntie

Prestatie-efficiëntie is de mogelijkheid van uw workload om te schalen om te voldoen aan de eisen die gebruikers op een efficiënte manier stellen. Zie de controlelijst ontwerpbeoordeling voor prestatie-efficiëntie voor meer informatie.

Azure Functions is zeer schaalbaar. Dit platform biedt meerdere abonnementen die automatisch op aanvraag worden geschaald wanneer gebeurtenissen worden geactiveerd. Zie Gebeurtenisgestuurd schalen voor meer informatie.

Azure Functions heeft een limiet van 200 exemplaren. Als u deze limiet wilt overschrijden, voegt u meerdere regio's of app-abonnementen toe.

Dit scenario implementeren

Zie het Power Automate Community-blog en de GitHub-opslagplaats Tekst uit objecten extraheren voor meer informatie over het implementeren van dit scenario.

Medewerkers

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Hoofdauteur:

• Steve Pucelik | Sr. Specialist

Volgende stappen

• Inzicht in de typen documenten die geschikt zijn voor deze oplossing. Typische documenten zijn schematische diagrammen, productiebeheerprocessen en diagrammen die veel shapes bevatten die moeten worden geïsoleerd. Zie Aangepaste modellen voor Document Intelligence voor meer informatie.
• Raak vertrouwd met de mogelijkheden die AI Builder biedt. Zie het overzicht van AI Builder in Power Automate voor meer informatie.
• Definieer een informatiearchitectuur die uw metagegevens kan ontvangen en verwerken. Zie Cognitive Search-vaardighedenset voor meer informatie.
• Zie Tekst uit objecten extraheren voor informatie over hoe de oplossing werkt en of deze geschikt is voor uw use cases.