本文提供從圖片擷取文字的解決方案，以便在 SharePoint 中編製索引和擷取。 藉由使用 AI Builder 和 Azure AI 文件智慧服務，您可以設定 Power Automate 工作流程，以使用定型的模型從圖片擷取文字。 設定工作流程之後，您可以快速搜尋檔中內嵌在圖形和物件中的有意義文字。
架構
下載此架構的 Visio 檔案。
工作流程
- 對象偵測模型會在 AI Builder 中定型，以辨識使用者指定的物件。
- 新文件會輸入 SharePoint 文件庫、OneDrive 或 Teams。
- 文件的抵達會觸發 Power Automate 事件。 該事件：
- 執行 AI Builder 模型。 AI Builder 會傳回 JSON 檔案，其中包含任何指定物件的像素座標。
- 將文件傳送至文件智慧服務，以進行完整的光學字元辨識 (OCR) 掃描。 文件智慧服務會傳回 JSON 檔案，其中包含已掃描的文字和文字像素座標。
- 在 Azure Functions 中執行函式。 函式會分析 AI Builder 和 Document Intelligence 輸出檔案中的像素座標。 如果偵測到的對象與掃描的文字交集，函式會傳回 JSON 檔案中的相符資料。
- 將偵測到物件的中繼資料或文字輸入文件庫。
- 中繼資料會在 SharePoint 搜尋索引中擷取。
- 使用者使用 PnP 新式搜尋網頁元件來搜尋中繼資料。
元件
- AI Builder 是一項 Microsoft Power Platform 功能。 使用 AI Builder 將模型定型，以辨識圖片中的物件。 AI Builder 也提供預建模型來偵測物件。
- 表格辨識器使用機器學習模型，從文件擷取和分析表單欄位、文字和表格。
- Power Automate 是 Microsoft Power Platform 無程式碼或低程式碼直覺式解決方案的一部分。 Power Automate 是線上工作流程服務，可在應用程式與服務間將操作自動化。
- Azure Functions 是事件驅動的無伺服器計算平台。 Azure Functions 會隨選執行，並在雲端大規模執行。
- PnP 新式搜尋解決方案是 Microsoft 365 新式 Web 組件中的一組 SharePoint。 藉由使用這些工具，您可以建立高度彈性且個人化的搜尋型體驗。
替代項目
- Azure AI 服務可以執行檔的完整 OCR 掃描，併產生儲存在 SharePoint 中的中繼資料。
- SharePoint 可以在文件上執行 OCR 掃描，並將內容輸出新增至索引以擷取。 使用搜尋技術將檔中的重要資訊設為目標。
- 如果您想要處理高比率的檔，請考慮使用 Azure Logic Apps 來設定元件。 Azure Logic Apps 可防止您在租用戶中達到耗用量限制，而且符合成本效益。 如需詳細資訊，請參閱 Azure Logic Apps。
案例詳細資料
圖解和工業圖表通常有包含文字的物件。 手動掃描相關文字的檔可能很費時又費時。
潛在使用案例
使用案例包括：
- 包含各種物件類型的複雜工程圖解圖。 藉由使用此解決方案，您可以快速搜尋圖表上的特定元件。 存取物件中的內嵌文字有助於調查、暴露短缺，或尋找召回和失敗通知。
- 顯示製造元件中元件的工業圖表。 此解決方案會及時識別泵、閥、自動化開關和其他元件。 識別元件有助於預防維護、隔離危險元件，以及提高組織中風險管理的可見度。
考量
這些考量能實作 Azure Well-Architected Framework 的支柱，其為一組指導原則，可以用來改善工作負載的品質。 如需更多資訊，請參閱 Microsoft Azure 結構完善的架構。
當您分析和處理文件時，請考慮下列幾點：
- AI Builder 只能在使用定型模型時擷取方形座標。 具有超出其界限之文字的物件，例如三角形和圓形，可能會新增不必要的和不必要的資訊。
- 如果物件界限外有文字，則來自 Azure Functions 的中繼資料可以包含額外的字元。
- AI Builder 建立流程可以標記多個物件。 Azure Functions 產生的 JSON 檔案包含所有物件類型和文字。 應用程式會取用中繼資料，而且需要剖析並處理結果。
可靠性
可靠性可確保您的應用程式符合您對客戶的承諾。 如需詳細資訊，請參閱可靠性的設計檢閱檢查清單。
Azure 複製資料以確保持久性和高可用性。 資料備援會保護您不受計劃性和非計劃性事件影響，包括暫時性硬體失敗、網路或電力中斷和天然災害。 選擇在相同資料中心內、相同地區的區域資料中心間，或不同地區間複寫您的資料。
安全性
安全性可提供保證，以避免刻意攻擊和濫用您寶貴的資料和系統。 如需詳細資訊，請參閱安全性的設計檢閱檢查清單。
針對您使用的元件，以及儲存中繼資料的 SharePoint 文件庫，使用標準安全性做法。
文件智慧是以合規性、隱私權和安全性為考慮而設計。 這項功能會使用 API 金鑰來驗證存取、在傳輸和儲存期間加密資料，並使用 API 金鑰傳回結果。 如需詳細資訊，請參閱 檔智慧的數據、隱私權和安全性。
AI Builder 依靠環境安全性和 Dataverse 資訊安全角色與權限，來授予 Power Apps 中 AI 功能的存取權。 權限是根據預設在 Dataverse 中所設定。 系統管理員可以使用預設的內建安全性角色，而無需進一步操作。 如需詳細資訊，請參閱安全性概觀。
成本最佳化
成本最佳化是關於考慮如何減少不必要的費用，並提升營運效率。 如需詳細資訊，請參閱成本最佳化的設計檢閱檢查清單。
- 針對 Power Automate，請確定您已購買並指派的授權足以處理的文件數量。 包含 HTTP 進階連接器以呼叫 Document Intelligence 和 Azure Functions。
- 根據預期的模型使用量購買 AI Builder 點數。
- 若要預估 Azure 產品和設定的成本，請使用 Azure 定價計算機。
效能效率
效能效率可讓您的工作負載進行調整，以有效率的方式符合使用者對其放置的需求。 有關詳細資訊，請參閱效能效率的設計審核清單。
Azure Functions 可高度擴充。 此平台提供多個方案，可在觸發事件時自動依需求進行調整。 如需更多資訊，請參閱事件驅動調整。
Azure Functions 的限制為 200 個執行個體。 如果您需要調整超過此限制，請新增多個區域或應用程式方案。
部署此案例
如需部署此案例的詳細資訊，請參閱 Power Automate 社群部落格和從物件擷取文字 GitHub 存放庫。
參與者
本文由 Microsoft 維護。 原始投稿人如下。
主要作者：
- Steve Pucelik | 資深專家
下一步
- 了解適合此解決方案的檔案類型。 一般檔包括圖解圖、製造控制程式，以及包含需要隔離之許多圖形的圖表。 如需詳細資訊，請參閱 Document Intelligence 自定義模型。
- 熟悉 AI Builder 所提供的功能。 如需詳細資訊，請參閱 Power Automate 中的 AI Builder 概觀。
- 定義可接收及處理中繼資料的資訊架構。 如需詳細資訊，請參閱認知搜尋技能集。
- 如需解決方案運作方式及其是否適合使用案例的資訊，請參閱從物件擷取文字。