編輯

共用方式為


使用健康情況和 Azure OpenAI 服務的文字分析來分析通話中心錄製

Azure AI 語言
Azure Synapse Analytics
Azure AI 服務
Azure Blob 儲存體

近年來,許多醫療保健公司已移至雲端,選擇透過遠端醫療解決方案提供 線上服務。 這項變更導致醫療保健中心音訊數據的數量增加,這些數據可供提供這些服務的公司使用。 手動分析此數據可能會產生有用的見解,例如所指定的治療。 但是,此數據的規模會使手動分析成為耗時的工作。

您可以使用以 Azure 為基礎的工具,將敏感性醫療保健數據的分析自動化。 具體來說,本文說明可用於下列工作的解決方案:

  • 自動轉譯音頻數據
  • 執行該數據的醫療保健特定分析,其中包含醫療術語連結
  • 將數據服務給終端使用者

Apache 和 Apache® Spark 是 美國 和/或其他國家/地區的 Apache Software Foundation 註冊商標或商標。 使用這些標記不會隱含 Apache Software Foundation 的背書。

架構

解決方案包含兩個管線:

  • 將音訊轉換成文字的轉譯管線
  • 可擴充及分析轉譯文字的分析和視覺效果管線

轉譯管線

管線的架構圖表,可自動化轉譯上傳的通話中心錄製程式。

下載此架構的 Visio 檔案

資料流程

  1. 音訊檔案會上傳至 Azure 儲存體 帳戶。 支援的上傳方法包括使用記憶體 SDK、記憶體 API 和 UI 型工具,例如 Azure 儲存體 Explorer。

  2. 上傳至記憶體會觸發 Azure 邏輯應用程式。 邏輯應用程式會存取 Azure 金鑰保存庫 中的任何必要認證,並要求 Azure AI 語音批次轉譯 API。

  3. 邏輯應用程式會將音訊檔案提交至 Azure AI 語音以進行轉譯。 對服務的呼叫會指定說話者聽寫的選擇性設定。

  4. Azure AI 語音會完成批次轉譯,並將轉譯結果載入記憶體帳戶。

醫療保健分析的分析與視覺效果管線

管線的架構圖表,可將摘要和擷取資訊的程式自動化,並擷取來自通話中心錄製的資訊。

下載此架構的 Visio 檔案

資料流程

  1. Azure Synapse Analytics 管線會執行以擷取和處理轉譯的音訊文字。

  2. 管線中的 Azure 函式應用程式會使用 API 呼叫,將處理過的文字傳送至 Azure AI 語言健康情況功能的文字分析。 此功能會執行以醫療保健為中心的文字分析。 分析會擷取下列資訊:

    • 藥物和診斷等實體
    • 醫學系統化名詞(SNOMED)代碼和國際疾病分類(ICD)-10 代碼等相關元數據
    • 功能識別之實體之間的關聯性
  3. Azure Synapse Analytics 管線中的 Azure 函式應用程式會呼叫 Azure OpenAI 服務 API。 該呼叫會使用 GPT 來產生人類可讀取的通話內容摘要。

    • 如有需要,上一個步驟中健康情況特徵擷取的文字分析內容會傳遞至 Open AI 服務,並包含在摘要中。
    • 如果需要機器學習服務的呼叫內容,GPT 會用來擷取機器語言易記的數據表示法。 Azure OpenAI 內嵌 API 用於該擷取。
  4. 已處理的數據會儲存在記憶體帳戶中。

  5. Azure Synapse Analytics 可用來大規模分析數據。

  6. 產生的內容會透過 SQL 專用集區等服務層提供給 Power BI 等視覺效果工具。

元件

  • Azure Data Lake Storage 提供可大幅調整的雲端原生物件記憶體。 Data Lake Storage 是以 Azure Blob 儲存體 為基礎所建置的數據湖,針對分析、機器學習和其他應用程式所使用的數據,提供優化的成本和效能。
  • Azure Functions 是 Azure 原生無伺服器解決方案,可裝載在分析管線中使用的輕量型程序代碼。 函式支援各種語言和架構,包括 .NET、Java 和 Python。 透過使用輕量型虛擬化技術,Functions 可以快速相應放大以支援大量並行要求,同時維護企業級服務等級協定(SLA)。
  • 金鑰保存庫 會儲存令牌、密碼和用戶端金鑰等秘密。 為了協助控制秘密的存取權,金鑰保存庫 提供以Microsoft Entra標識符為基礎的精細授權和驗證。 金鑰保存庫 也支援對許多 Azure 服務的原生整合。
  • Azure AI 語音 提供語音功能,例如語音轉換文字、文字到語音轉換、語音翻譯和說話者辨識服務。 作為 Azure AI 服務的一部分,此語音服務可協助您建立應用程式,方法是提供現成、預先建置、可自定義的 API 和模型。
  • 健康情況文字分析是 Azure AI 語言一項功能,可用來擷取、分類及了解醫療保健檔中的文字。 您可以使用適用於健康情況的文字分析,從涉及醫學的複雜自然語言擷取醫療實體、如 SNOMED 代碼等醫療實體元數據,以及涉及醫學的複雜自然語言的醫療實體關聯性,例如醫療筆記。
  • Azure OpenAI 是一種雲端式服務,可藉由提供 REST API 存取 GPT-3、Codex 和 DALL-E 等 OpenAI 模型,以提供進階語言 AI。 Azure OpenAI API 是使用 OpenAI 所開發,有助於確保與 OpenAI 的相容性。 透過 Azure OpenAI,您可以在模型執行期間受益於 Azure 的安全性功能。 Azure OpenAI 提供私人網路、區域可用性,以及負責任 AI 內容篩選。 完成端點是 API 服務的核心元件。 此 API 可提供存取模型的文字輸入、輸出介面。 當您提供包含英文文字命令的輸入提示時,模型會產生文字完成。
  • Azure Synapse Analytics 是一個功能完整的企業分析平臺,可提供大規模數據擷取、協調流程、處理及服務功能。
  • Power BI 是具有整合式語意模型化功能的商務儀錶板和視覺效果工具。

替代項目

  • 您可以使用 Azure Logic Apps ,而不是 Functions。 特別是,如果您排程作業和批次處理錄製,而不是在您收到記錄時處理每個錄製,則可以使用Logic Apps。
  • 您可以使用 Azure Databricks 進行分析, 而不是 Azure Synapse Analytics
  • 您可以使用 Azure Data Factory ,而不是 Azure Synapse Analytics 管線。
  • 若要處理排程的批次,您可以使用 Data Factory 或 Azure Synapse Analytics 管線,而不是以觸發程式為基礎的方法。
  • 某些分析需要電子健康記錄 (EHR) 數據、儲存在 Azure API for FHIR 或其他數據中的 快速醫療保健互操作性資源 (FHIR) 數據。 在這些案例中,您可以擷取該數據,並將其內嵌到您用於分析的記憶體帳戶或容器中。 在醫療保健分析圖表的分析和視覺效果管線中,該帳戶或容器會顯示在步驟四到五之間。 然後,您可以使用數據作為分析的一部分。
  • 您可以將機器學習方法套用至數據,作為分析的一部分。 在醫療保健分析圖表的分析和視覺效果管線中,分析會顯示為第五個步驟。 您可以使用 Azure Synapse Analytics 直接套用方法,或使用 Azure 機器學習外部服務。

案例詳細資料

此解決方案是以實際的客戶使用案例為基礎。 使用者會先將其音訊數據上傳至記憶體帳戶進行分析。 自動化觸發程式會啟動 Azure 函式應用程式,以使用 Azure AI 語音來轉譯數據。 此步驟會使用儲存在 金鑰保存庫 中的金鑰。 數據轉譯之後,分析管線會從數據擷取關鍵健康情況資訊。 管線是以 Azure Synapse Analytics 管線為基礎。 它會使用適用於健康情況和 Azure OpenAI 的文字分析來摘要整體內容,並擷取診斷和患者藥物等資訊。 Azure Synapse Analytics 接著會視需要匯總及轉換此數據,以便透過Power BI儀錶板取用使用者。

解決方案是以數個假設為基礎。 由於數據高度敏感,因此假設您已遵循在雲端中處理敏感數據的可用最佳做法,安全地部署所有記憶體帳戶和服務。 例如,您應該加密待用所有數據,而且應該安全地儲存帳戶密鑰。 也假設您諮詢適當的資訊安全人員,以了解企業安全性最佳做法。

潛在使用案例

您可以針對許多用途使用此解決方案,包括:

  • 遠端健康數據的智慧分析。 您可以從從遠端治療會話收集的音訊中擷取深入解析,讓患者從遠端與提供者互動,討論結果。
  • 以醫療保健為中心的通話中心數據智慧分析。 解決方案可以分析來自向患者提供家庭或遠端護理的醫療保健提供者的來電中心數據。 在分析中,您可以擷取客戶所呼叫之產品的相關重要資訊,例如不良結果。
  • 對臨床試驗數據的智慧分析。 您可以從臨床試驗的外部接觸點收集寶貴的見解。 解決方案可以自動擷取並相互關聯醫學術語,以產生所需的深入解析以進行大規模分析。

考量

這些考量能實作 Azure Well-Architected Framework 的支柱,其為一組指導原則,可以用來改善工作負載的品質。 如需更多資訊,請參閱 Microsoft Azure 結構完善的架構

可靠性

可靠性可確保您的應用程式符合您對客戶的承諾。 如需詳細資訊,請參閱可靠性支柱的概觀 (部分機器翻譯)。

如果您的案例需要高可用性和災害復原的解決方案,請考慮下列幾點:

  • Azure Synapse Analytics 的 SLA 可確保特定百分比的用戶端作業成功。 如需此服務的 SLA,請參閱 在線服務的服務等級協定(SLA)。
  • 如需 Logic Apps 的可用性保證,請參閱 在線服務的服務等級協定(SLA)。
  • 您可以將 Blob 記憶體設定為異地備援記憶體 (GRS)或讀取許可權異地備援記憶體 (RA-GRS),以允許直接從替代區域讀取。 您的選擇取決於您的復原時間目標 (RTO) 需求。 如需更多資訊,請參閱 Azure 儲存體備援
  • 金鑰保存庫 服務內建多層的可用性和備援。 如需詳細資訊,請參閱 Azure Key Vault 可用性與備援

安全性

安全性可提供保證,以避免刻意攻擊和濫用您寶貴的資料和系統。 如需詳細資訊,請參閱安全性支柱的概觀

此解決方案所使用的客戶通話數據類型高度敏感。 為了協助確保此敏感數據保持安全,請在整個解決方案中啟用安全性控制。 也請使用 金鑰保存庫 作為可調整的服務,協助終端使用者安全地儲存解決方案所需的密鑰和秘密。 因為解決方案使用 OpenAI 從非結構化數據擷取深入解析,因此請確定您衍生的整體見解遵循負責任 AI 的Microsoft原則。 如需負責任 AI 的詳細資訊,請參閱 增強負責任 AI 實務的能力。

成本最佳化

成本最佳化是關於考慮如何減少不必要的費用,並提升營運效率。 如需詳細資訊,請參閱成本最佳化支柱的概觀

您可以透過數位方式將解決方案優化:

  • 當您開發分析或將新的分析結果新增至內容時,請執行管線,只完成音訊的語音轉文字轉譯一次。 然後,其他服務可以處理儲存的內容,做為其他管線的一部分。
  • 僅針對健康情況執行一次從文字分析擷取的深入解析。 儲存結果並重複使用它們進行開發。 這種方法可讓您快速且符合成本效益地進行 OpenAI 提示工程。
  • 使用暫時計算資源,例如暫時Spark叢集進行分析。 您通常會定期執行這些類型的批次型工作負載。 在執行之間關閉叢集可以大幅降低解決方案的整體成本。

參與者

本文由 Microsoft 維護。 原始投稿人如下。

主要作者:

若要查看非公開的 LinkedIn 設定檔,請登入 LinkedIn。

下一步