W tym artykule przedstawiono rozwiązanie do wyodrębniania tekstu z obrazów, dzięki czemu można je indeksować i pobierać w programie SharePoint. Korzystając z narzędzi AI Builder i Azure AI Document Intelligence, możesz skonfigurować przepływ pracy usługi Power Automate, aby użyć wytrenowanego modelu w celu wyodrębnienia tekstu z obrazu. Po skonfigurowaniu przepływu pracy możesz szybko wyszukiwać dokumenty pod kątem znaczącego tekstu osadzonego w kształtach i obiektach.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ pracy
- Model wykrywania obiektów jest trenowany w narzędziu AI Builder w celu rozpoznawania obiektów, które określa użytkownik.
- Nowy dokument wprowadza bibliotekę dokumentów programu SharePoint, usługę OneDrive lub teams.
- Przybycie dokumentu wyzwala zdarzenie usługi Power Automate. To zdarzenie:
- Uruchamia model narzędzia AI Builder. Narzędzie AI Builder zwraca plik JSON zawierający współrzędne pikseli wszystkich określonych obiektów.
- Wysyła dokument do usługi Document Intelligence w celu przeprowadzenia pełnego skanowania optycznego rozpoznawania znaków (OCR). Analiza dokumentów zwraca plik JSON zawierający zeskanowany tekst i współrzędne pikseli tekstu.
- Uruchamia funkcję w usłudze Azure Functions. Funkcja analizuje współrzędne pikseli w plikach wyjściowych narzędzia AI Builder i analizy dokumentów. Jeśli wykryte obiekty przecinają się ze zeskanowanym tekstem, funkcja zwraca dopasowane dane w pliku JSON.
- Wprowadza metadane lub tekst z wykrytych obiektów do biblioteki dokumentów.
- Metadane są przechwytywane w indeksie wyszukiwania programu SharePoint.
- Użytkownicy wyszukują metadane przy użyciu składników Web Part nowoczesnego wyszukiwania PnP.
Składniki
- Narzędzie AI Builder to funkcja platformy Microsoft Power Platform. Używanie narzędzia AI Builder do trenowania modeli w celu rozpoznawania obiektów na obrazach. Narzędzie AI Builder oferuje również wstępnie utworzone modele do wykrywania obiektów.
- Rozpoznawanie formularzy używa modeli uczenia maszynowego do wyodrębniania i analizowania pól formularzy, tekstu i tabel z dokumentów.
- Usługa Power Automate jest częścią intuicyjnego rozwiązania platformy Microsoft Power Platform bez kodu ani z małą ilością kodu. Power Automate to usługa przepływu pracy online, która automatyzuje akcje w aplikacjach i usługach.
- Azure Functions to bezserwerowa platforma obliczeniowa oparta na zdarzeniach. Usługa Azure Functions działa na żądanie i na dużą skalę w chmurze.
- Rozwiązanie PnP Modern Search to zestaw programu SharePoint w nowoczesnych składnikach Web Part platformy Microsoft 365. Za pomocą tych narzędzi można tworzyć wysoce elastyczne i spersonalizowane środowiska oparte na wyszukiwaniu.
Alternatywy
- Usługi azure AI mogą wykonywać pełne skanowanie dokumentów za pomocą OCR z wynikowymi metadanymi przechowywanymi w programie SharePoint.
- Program SharePoint może uruchamiać skanowanie OCR na dokumentach i dodawać dane wyjściowe zawartości do indeksu w celu pobrania. Użyj technik wyszukiwania, aby kierować kluczowe informacje w dokumentach.
- Jeśli chcesz przetworzyć wysoką liczbę dokumentów, rozważ użycie usługi Azure Logic Apps do skonfigurowania składników. Usługa Azure Logic Apps uniemożliwia osiąganie limitów zużycia w dzierżawie i jest opłacalne. Aby uzyskać więcej informacji, zobacz Azure Logic Apps.
Szczegóły scenariusza
Schematowe i przemysłowe diagramy często zawierają obiekty zawierające tekst. Ręczne skanowanie dokumentów pod kątem odpowiedniego tekstu może być czasochłonne i czasochłonne.
Potencjalne przypadki użycia
Przypadki użycia obejmują:
- Skomplikowane diagramy schematu inżynieryjnego, które zawierają różne typy obiektów. Korzystając z tego rozwiązania, można szybko wyszukać określone składniki na diagramie. Dostęp do osadzonego tekstu w obiektach jest przydatny w przypadku badań, ujawniania niedoborów lub wyszukiwania powiadomień o odwołaniu i niepowodzeniu.
- Diagramy przemysłowe, które pokazują składniki w zestawie produkcyjnym. To rozwiązanie szybko identyfikuje pompy, zawory, przełączniki automatyczne i inne elementy. Identyfikowanie składników ułatwia konserwację zapobiegawczą, izolowanie niebezpiecznych składników oraz zwiększanie widoczności zarządzania ryzykiem w organizacji.
Kwestie wymagające rozważenia
Te zagadnienia implementują filary struktury Azure Well-Architected Framework, która jest zestawem wytycznych, które mogą służyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.
Podczas analizowania i przetwarzania dokumentów należy wziąć pod uwagę następujące kwestie:
- Narzędzie AI Builder może przechwytywać współrzędne kwadratowe tylko podczas korzystania z wytrenowanego modelu. Obiekty z tekstem poza ich granicami, takie jak trójkąty i okręgi, mogą potencjalnie dodać niechciane i niepotrzebne informacje.
- Metadane wyjściowe z usługi Azure Functions mogą zawierać dodatkowe znaki, jeśli istnieje tekst poza granicami obiektu.
- Proces tworzenia narzędzia AI Builder może oznaczać więcej niż jeden obiekt. Wynikowy plik JSON z usługi Azure Functions zawiera wszystkie typy obiektów i tekst. Aplikacja korzysta z metadanych i musi analizować i przetwarzać wyniki.
Niezawodność
Niezawodność zapewnia, że aplikacja może spełnić zobowiązania podjęte przez klientów. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca niezawodności.
Platforma Azure replikuje dane w celu zapewnienia trwałości i wysokiej dostępności. Nadmiarowość danych chroni przed zaplanowanymi i nieplanowanymi zdarzeniami, w tym przejściowymi awariami sprzętu, awariami sieci lub zasilania oraz klęskami żywiołowymi. Wybierz replikację danych w tym samym centrum danych, w centrach danych strefowych w tym samym regionie lub w regionach rozdzielonych geograficznie.
Zabezpieczenia
Zabezpieczenia zapewniają ochronę przed celowymi atakami i nadużyciami cennych danych i systemów. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca zabezpieczeń.
Użyj standardowych praktyk zabezpieczeń dla używanych składników oraz biblioteki dokumentów programu SharePoint, w której są przechowywane metadane.
Analiza dokumentów została zaprojektowana z uwzględnieniem zgodności, prywatności i zabezpieczeń. Uwierzytelnia dostęp przy użyciu klucza interfejsu API, szyfruje dane podczas przesyłania i przechowywania oraz zwraca wyniki przy użyciu klucza interfejsu API. Aby uzyskać więcej informacji, zobacz Dane, prywatność i zabezpieczenia analizy dokumentów.
Narzędzie AI Builder opiera się na zabezpieczeniach środowiska i rolach zabezpieczeń usługi Dataverse oraz uprawnieniach w celu udzielenia dostępu do funkcji sztucznej inteligencji w usłudze Power Apps. Uprawnienia są domyślnie ustawiane w usłudze Dataverse. Administratorzy systemu mogą używać domyślnych wbudowanych ról zabezpieczeń bez dalszych akcji. Aby uzyskać więcej informacji, zobacz temat Omówienie zabezpieczeń.
Optymalizacja kosztów
Optymalizacja kosztów dotyczy sposobów zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca optymalizacji kosztów.
- W przypadku usługi Power Automate upewnij się, że zakupione i przypisane licencje są odpowiednie dla ilości przetwarzanych dokumentów. Dołącz łącznik HTTP Premium do wywoływania analizy dokumentów i usługi Azure Functions.
- Zakup środków narzędzia AI Builder na podstawie oczekiwanego użycia modelu.
- Aby oszacować koszt produktów i konfiguracji platformy Azure, skorzystaj z kalkulatora cen platformy Azure.
Efektywność wydajności
Wydajność to możliwość skalowania obciążenia w celu spełnienia wymagań, które są na nim nakładane przez użytkowników w wydajny sposób. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu pod kątem wydajności.
Usługa Azure Functions jest wysoce skalowalna. Ta platforma oferuje wiele planów, które są automatycznie skalowane na żądanie po wyzwoleniu zdarzeń. Aby uzyskać więcej informacji, zobacz Skalowanie sterowane zdarzeniami.
Usługa Azure Functions ma limit 200 wystąpień. Jeśli musisz skalować poza ten limit, dodaj wiele regionów lub planów aplikacji.
Wdrażanie tego scenariusza
Aby uzyskać więcej informacji na temat wdrażania tego scenariusza, zobacz blog społeczności usługi Power Automate i repozytorium GitHub Wyodrębnij tekst z obiektów .
Współautorzy
Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.
Główny autor:
- Steve Pucelik | Starszy specjalista
Następne kroki
- Zapoznaj się z typami dokumentów, które byłyby odpowiednie dla tego rozwiązania. Typowe dokumenty obejmują schematy, procesy kontroli produkcji i diagramy zawierające wiele kształtów, które muszą być odizolowane. Aby uzyskać więcej informacji, zobacz Modele niestandardowe analizy dokumentów.
- Zapoznaj się z możliwościami oferowanymi przez narzędzie AI Builder. Aby uzyskać więcej informacji, zobacz AI Builder w usłudze Power Automate — omówienie.
- Zdefiniuj architekturę informacji, która może odbierać i przetwarzać metadane. Aby uzyskać więcej informacji, zobacz Zestaw umiejętności usługi Cognitive Search.
- Aby uzyskać informacje na temat działania rozwiązania i tego, czy jest ono odpowiednie dla Twoich przypadków użycia, zobacz Wyodrębnianie tekstu z obiektów.