이 문서는 SharePoint에서 인덱싱 및 검색할 수 있도록 이미지의 텍스트를 추출하는 솔루션을 제시합니다. AI Builder 및 Azure AI 문서 인텔리전스를 통해 학습된 모델을 사용하여 이미지에서 텍스트를 추출하도록 Power Automate 워크플로를 구성할 수 있습니다. 워크플로를 구성한 후에는 도형 및 개체에 포함된 의미 있는 텍스트에 대한 문서를 빠르게 검색할 수 있습니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
워크플로
- 사용자가 지정하는 개체를 인식하도록 AI Builder에서 개체 감지 모델이 학습됩니다.
- 새 문서가 SharePoint 문서 라이브러리, OneDrive 또는 Teams에 들어갑니다.
- 문서를 받으면 Power Automate 이벤트를 트리거합니다. 해당 이벤트
- AI Builder 모델을 실행합니다. AI Builder는 지정된 개체의 픽셀 좌표를 포함하는 JSON 파일을 반환합니다.
- 전체 OCR(광학 문자 인식) 검사를 위해 문서를 문서 인텔리전스로 보냅니다. 문서 인텔리전스는 스캔한 텍스트와 텍스트의 픽셀 좌표가 포함된 JSON 파일을 반환합니다.
- Azure Functions에서 함수를 실행합니다. 이 함수는 AI Builder 및 문서 인텔리전스 출력 파일에서 픽셀 좌표를 분석합니다. 검색된 개체가 스캔한 텍스트와 교차하는 경우 이 함수는 JSON 파일에서 일치하는 데이터를 반환합니다.
- 검색된 개체의 텍스트 또는 메타데이터를 문서 라이브러리에 입력합니다.
- 메타데이터는 SharePoint 검색 인덱스에서 캡처됩니다.
- 사용자는 PnP 최신 검색 웹 파트를 사용하여 메타데이터를 검색합니다.
구성 요소
- AI Builder는 Microsoft Power Platform 기능입니다. AI Builder를 사용하여 이미지의 개체를 인식하도록 모델을 학습시킵니다. AI Builder는 개체 감지를 위해 미리 빌드된 모델도 제공합니다.
- Form Recognizer는 기계 학습 모델을 사용하여 문서에서 양식 필드, 텍스트 및 테이블을 추출하고 분석합니다.
- Power Automate는 코드가 없거나 코드가 적은 Microsoft Power Platform의 직관적 솔루션의 일부입니다. Power Automate는 앱 및 서비스에서 작업을 자동화하는 온라인 워크플로 서비스입니다.
- Azure Functions는 이벤트 기반 서버리스 컴퓨팅 플랫폼입니다. Azure Functions는 요청 시 클라우드에서 대규모로 실행됩니다.
- PnP 최신 검색 솔루션은 Microsoft 365 최신 웹 파트에 있는 SharePoint Online 세트입니다. 이러한 도구를 사용하면 매우 유연한 맞춤형 검색 기반 환경을 만들 수 있습니다.
대안
- Azure AI 서비스는 SharePoint에 저장된 결과 메타데이터를 사용하여 문서의 전체 OCR 검사를 수행할 수 있습니다.
- SharePoint는 문서에서 OCR 검사를 실행하고 검색을 위해 인덱스에 콘텐츠 출력을 추가할 수 있습니다. 검색 기술을 사용하여 문서의 주요 정보를 대상으로 지정합니다.
- 높은 비율의 문서를 처리하려면 Azure Logic Apps를 사용하여 구성 요소를 설정하는 것이 좋습니다. Azure Logic Apps는 테넌트에서 소비 한도에 도달하는 것을 방지하며 비용 효율적입니다. 자세한 내용은 Azure Logic Apps를 참조하세요.
시나리오 정보
도식 및 산업 다이어그램에는 텍스트가 포함된 개체가 있는 경우가 많습니다. 관련 텍스트에 대한 문서를 수동으로 검사하는 것은 힘든 작업이고 시간이 오래 걸릴 수 있습니다.
잠재적인 사용 사례
사용 사례는 다음과 같습니다.
- 다양한 유형의 개체를 포함하는 복잡한 엔지니어링 도식 다이어그램. 이 솔루션을 사용하면 다이어그램에서 특정 구성 요소를 빠르게 검색할 수 있습니다. 개체에 포함된 텍스트에 액세스하는 것은 조사, 부족 노출에 유용하며 회수 및 실패 알림을 찾는 데 도움이 됩니다.
- 제조 어셈블리의 구성 요소를 보여 주는 산업 다이어그램. 이 솔루션은 펌프, 밸브, 자동화된 스위치 및 기타 구성 요소를 신속하게 식별합니다. 구성 요소를 식별하면 예방적 유지 관리, 위험한 구성 요소 격리 및 조직의 위험 관리에 대한 가시성 개선에 도움이 됩니다.
고려 사항
이러한 고려 사항은 워크로드의 품질을 향상시키는 데 사용할 수 있는 일단의 지침 원칙인 Azure Well-Architected Framework의 핵심 요소를 구현합니다. 자세한 내용은 Microsoft Azure Well-Architected Framework를 참조하세요.
문서를 분석하고 처리할 때 다음 사항을 고려합니다.
- AI Builder는 학습된 모델을 사용하는 경우에만 정방형 좌표를 캡처할 수 있습니다. 삼각형 및 원과 같이 경계를 벗어난 텍스트가 있는 개체는 원치 않는 불필요한 정보를 추가할 수 있습니다.
- 개체의 경계 밖에 텍스트가 있는 경우 Azure Functions에서 출력되는 메타데이터에 추가 문자가 포함될 수 있습니다.
- AI Builder 만들기 프로세스는 둘 이상의 개체에 태그를 지정할 수 있습니다. Azure Functions의 결과 JSON 파일에는 모든 개체 형식과 텍스트가 포함됩니다. 애플리케이션은 메타데이터를 사용하며 결과를 구문 분석하고 처리해야 합니다.
안정성
안정성은 애플리케이션이 고객에 대한 약속을 충족할 수 있도록 합니다. 자세한 내용은 안정성에 대한 디자인 검토 검사 목록을 참조하세요.
Azure는 데이터를 복제하여 내구성과 고가용성을 보장합니다. 데이터 중복성은 일시적인 하드웨어 오류, 네트워크 또는 정전, 자연 재해 등의 계획되었거나 계획되지 않은 이벤트로부터 사용자를 보호합니다. 동일한 데이터 센터, 동일한 지역 내 영역 데이터 센터 또는 지리적으로 분리된 지역 간에 데이터를 복제하도록 선택합니다.
보안
우수한 보안은 중요한 데이터 및 시스템에 대한 고의적인 공격과 악용을 방어합니다. 자세한 내용은 보안성에 대한 디자인 검토 검사 목록을 참조하세요.
사용하는 구성 요소 및 메타데이터를 저장하는 SharePoint 문서 라이브러리에 표준 보안 사례를 사용합니다.
문서 인텔리전스는 규정 준수, 개인 정보 보호 및 보안을 염두에 두고 설계되었습니다. API 키를 사용하여 액세스를 인증하고, 전송 및 저장 중에 데이터를 암호화하고, API 키를 사용하여 결과를 반환합니다. 자세한 내용은 문서 인텔리전스에 대한 데이터, 개인 정보 및 보안을 참조하세요.
AI Builder는 환경 보안과 Dataverse 보안 역할 및 권한에 의존하여 Power Apps의 AI 기능에 대한 액세스 권한을 부여합니다. 권한은 기본적으로 Dataverse에서 설정됩니다. 시스템 관리자는 추가 작업 없이 기본 제공 보안 역할을 사용할 수 있습니다. 자세한 내용은 보안 개요를 참조하세요.
비용 최적화
비용 최적화는 불필요한 비용을 줄이고 운영 효율성을 높이는 방법을 찾는 것입니다. 자세한 내용은 비용 최적화를 위한 디자인 검토 검사 목록을 참조하세요.
- Power Automate의 경우 구매하고 할당한 라이선스가 처리하는 문서 양에 적합한지 확인합니다. 문서 인텔리전스 및 Azure Functions를 호출하는 HTTP 프리미엄 커넥터를 포함합니다.
- 예상 모델 사용량에 따라 AI Builder 크레딧을 구매합니다.
- Azure 제품 및 구성의 비용을 예상하려면 Azure 가격 책정 계산기를 사용합니다.
성능 효율성
성능 효율성은 사용자가 배치된 요구 사항을 효율적인 방식으로 충족하기 위해 워크로드의 크기를 조정할 수 있는 기능입니다. 자세한 내용은 성능 효율성에 대한 디자인 검토 검사 목록을 참조하세요.
Azure Functions는 확장성이 뛰어납니다. 이 플랫폼은 이벤트가 트리거될 때 요청 시 자동으로 스케일링되는 여러 계획을 제공합니다. 자세한 내용은 이벤트 기반 크기 조정을 참조하세요.
Azure Functions에는 200개의 인스턴스 제한이 있습니다. 이 제한을 초과하여 확장해야 하는 경우 여러 지역 또는 앱 계획을 추가하세요.
시나리오 배포
이 시나리오를 배포하는 방법에 대한 자세한 내용은 Power Automate 커뮤니티 블로그 및 개체에서 텍스트 추출 GitHub 리포지토리를 참조하세요.
참가자
Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.
보안 주체 작성자:
- Steve Pucelik | 선임 전문가
다음 단계
- 이 솔루션에 적합한 문서 유형을 이해합니다. 일반적인 문서에는 도식 다이어그램, 제조 제어 프로세스 및 격리해야 하는 여러 셰이프가 포함된 다이어그램이 포함됩니다. 자세한 내용은 문서 인텔리전스 사용자 지정 모델을 참조 하세요.
- AI Builder에서 제공하는 기능에 익숙해집니다. 자세한 내용은 Power Automate의 AI Builder 개요를 참조하세요.
- 메타데이터를 수신하고 처리할 수 있는 정보 아키텍처를 정의합니다. 자세한 내용은 Cognitive Search 기술 세트를 참조하세요.
- 솔루션의 작동 방식 및 사용 사례에 적합한지 여부에 대한 자세한 내용은 개체에서 텍스트 추출을 참조하세요.