使用醫療保健資料解決方案中的 DICOM 資料轉換
醫療資料解決方案中的 DICOM 資料轉換功能使您能夠從各種來源擷取、儲存和分析醫學數位影像與通訊 (DICOM) 資料。 若要了解此功能的詳細資訊並了解如何部署和設定它,請參閱:
DICOM 資料轉換是 Microsoft Fabric 中的醫療保健資料解決方案底下的一項選用功能。
先決條件
在執行 DICOM 資料轉換管道之前,請確保完成部署和設定 DICOM 資料轉換中所述的先決條件、部署過程和配置步驟。
資料擷取選項
本文提供了有關如何使用 DICOM 數據轉換功能來攝取、轉換和統一 DICOM 成像資料集的分步指導。 該功能支援以下兩個攝取選項:
選項 1:端到端引入 DICOM 檔案。 本機 (DCM) 或壓縮 (ZIP) 格式的 DICOM 檔將引入到湖倉中。 此選項稱為內嵌選項。
選項 2: 與 DICOM 服務整合。 通過與 Azure 執行狀況資料服務中的 DICOM 服務進行本機整合,可以促進引入。 在此選項中,DCM 檔首先從 Azure 執行狀況資料服務 DICOM 服務傳輸到 Data Lake 儲存第 2 代。 然後, 管道遵循自帶存儲(BYOS) 攝取模式。 此選項稱為 Azure 執行狀況資料服務 (AHDS) 選項。
若要了解轉換對應詳細資訊,請參閱 醫療保健數據解決方案中的 DICOM 元數據轉換對應。
選項 1:端到端引入 DICOM 檔案
在此選項中,我們使用預構建的數據管道將 DICOM 檔中的成像數據提取並轉換為 Healthcare Data Solutions Lakehouse。 端到端轉換包括以下連續步驟:
- 將 DICOM 檔案引入 OneLake
- 在 OneLake 中組織 DICOM 檔案
- 將 DICOM 中繼資料擷取到銅牌湖倉中
- 將 DICOM 中繼資料轉換為 FHIR (快速執行狀況互操作性資源) 格式
- 將資料擷取到銅湖倉的 ImagingStudy 增量表中
- 將資料展平並轉換成為銀湖倉中的 ImagingStudy 差異表格
- 將資料轉換並遷入到金湖倉的 Image_Occurrence 表中 (選用)
提示
此攝取選項使用 包含壓縮 ZIP 檔的 340ImagingStudies 示例資料集。 或者,您也可以通過將 DICOM 檔放在 Ingest 資料夾中,直接以其本機 DCM 格式攝取這些檔。 在 ZIP 檔中,DCM 檔可以構建為多個嵌套的子資料夾。 DCM 檔案的數量或提取的 ZIP 檔中子資料夾的數量、深度和嵌套沒有限制。 有關檔大小限制的資訊,請參閱 攝取檔大小。
第 1 步:將 DICOM 檔提取到 OneLake 中
銅湖倉中的內嵌資料夾表示放置 (佇列) 資料夾。 您可以將 DICOM 檔案放在此資料夾中。 然後,檔移動到銅湖倉內有組織的資料夾結構中。
轉到
Ingest\Imaging\DICOM\DICOM-HDS
bronze 湖存放庫中的資料夾。選擇 ... (省略號) >Upload>Upload 資料夾。
從 SampleData 資料夾中 選擇並上傳 340ImagingStudies
SampleData\Imaging\DICOM\DICOM-HDS
成像資料集。 或者,您也可以使用 OneLake 文件資源管理器 或 Azure Storage Explorer 上傳示例資料集。
第 2 步:運行成像數據管道
將 DCM/ZIP 檔移至 銅牌湖存放庫中的 Ingest 資料夾後,您現在可以執行成像數據管道來組織和處理銀牌湖存放庫中的數據。
在您的醫療保健數據解決方案環境中,打開 healthcare#_msft_imaging_with_clinical_foundation_ingestion 數據管道。
選擇 Run(運行 ) 按鈕開始處理從銅牌到銀牌湖存放庫的成像數據。
此數據管道按順序運行五個筆記本:三個作為醫療保健數據基礎功能的一部分部署,兩個來自 DICOM 數據轉換功能。 要瞭解有關這些筆記本的更多資訊,請參閱 DICOM 數據轉換:工件。
步驟 3:運行 silver to gold 轉換筆記本
注意
此轉換步驟是可選的。 僅當需要將 DICOM 數據進一步轉換為 Observational Medical Outcomes Partnership()OMOP 通用數據模型 (CDM) 格式時,才使用它。 若已自動填入,請跳過此步驟。
在運行此轉換之前,請在醫療保健數據解決方案中部署和配置 OMOP 轉換功能 。
運行映射管道后,您的映射數據將轉換為銀色湖存放庫。 銀色湖存放庫作為初始指向,來自各種模態的數據開始以結構化的方式收斂。 要進一步將數據轉換為 OMOP 研究標準以用於 發現和構建佇列(預覽版) 功能,請運行銀牌到金牌轉換筆記本。
在您的醫療保健數據解決方案環境中,打開 healthcare#_msft_omop_silver_gold_transformation 筆記本。
此筆記本使用醫療保健數據解決方案 OMOP API 將資源從白銀湖存放庫轉換為 OMOP 黃金湖存放庫中的 CDM 增量表。 根據預設,不需要對筆記本設定檔進行任何變更。
選擇全部執行以執行筆記本。
該筆記本實施了 OMOP 跟蹤方法 ,以跟蹤和處理銀色湖存放庫的 ImagingStudy delta 表中的新記錄或更新的記錄 。 它將銀版湖存放庫 (包括 ImagingStudy 表) 中的 FHIR 增量表中的數據轉換為黃金湖存放庫中的相應 OMOP 增量表 (包括 Image_Occurrence 表)。 有關此轉換的更多資訊,請參閱 白銀到黃金增量表的轉換對應。
OMOP 有關詳細資訊對應請參閱 FHIR to OMOP 對應。
步驟 4:驗證數據
在實際場景中,數據攝取涉及具有不同質量級別的源。 驗證引擎 (如數據驗證 中詳述) 有意觸發對某些提供的成像樣本數據的驗證。 不符合 DICOM 標準的檔將移動到 Failed 資料夾,並且不會進行處理。 但是,單個檔故障不會中斷整個管道,如成像樣本數據所示。 管道和關聯的筆記本成功運行,但 Failed 資料夾 Imaging\DICOM\DICOM-HDS\YYYY\MM\DD
下的資料夾包含不相容的檔。 所有其他有效檔都成功處理,從而產生總體成功的管道狀態。 我們有意將此無效檔包含在映像示例數據中,以說明映射管道如何處理無效檔並説明您識別資料集問題。
要確認管道已成功從原始 DICOM 檔中提取所有元數據,請打開青銅湖存放庫,切換到 SQL analytics 端點,然後選擇 新建 SQL 查詢。
如果管道運行正確,則必須在 ImagingDicom 表中看到 7739 個成功處理的 DICOM 實例。 要進行驗證,請運行以下 SQL 查詢。 要成功處理,您應該在 Results (結果 ) 窗格中看到 7739 。 此數位表示樣本數據中 DICOM 實例的總數,包括來自不同模式的數據,例如計算機斷層掃描 (CT) 和磁共振成像 (MRI) 掃描。
select count(*) from ImagingDicom
要確認管道已成功凍結湖倉一體,請打開銀色湖存放庫,切換到 SQL 分析端點,然後選擇 新建 SQL 查詢。 要正確運行管道,您必須看到 339 個成功處理 的 ImagingStudy 資源。 要進行驗證,請運行以下 SQL 查詢。 最初,我們從 340 個 ImagingStudy 資源開始,但在處理過程中遇到一個錯誤。
select count(*) from ImagingStudy
選項 2:與 DICOM 服務整合
重要
僅當使用 Azure Health Data Services DICOM 服務並部署了 DICOM API 時,才使用此轉換選項。
這種轉換方法通過 Azure Health Data Services DICOM 服務擴展了 自帶存儲 (BYOS) 模式 。 DICOM 服務是 DICOMweb API 的 子集,可用於存儲、查看、搜索和刪除 DICOM 物件。 它與連結到 Fabric 工作區的 Azure Data Lake Storage Gen2 帳戶集成,以便轉換管道可以直接訪問您的 DICOM 數據。
或者,您可以跳過使用 Azure DICOM API 並引入存儲在 Data Lake Storage Gen2 帳戶中的 DICOM 檔 (在本例中,從步驟 5 開始)。
查看並完成 Azure Health Data Services 中的部署 DICOM API 中的配置。
部署 Azure DICOM 服務後,使用 應用商店(STOW-RS) API 攝取 DCM 檔。 通過使用 OneLake 檔資源管理器 或 Azure Storage Explorer 從成像樣本數據下載 DCM 檔案來對其進行測試。
根據您的首選語言,使用以下選項之一將 DCM 檔案上傳到伺服器:
驗證檔案上傳是否成功:
- 在 Azure 門戶中,選擇連結到 DICOM 服務的存儲帳戶。
- 轉到 Containers 並跟隨路徑
[ContainerName]/AHDS/[AzureHealthDataServicesWorkspaceName]/dicom/[DICOMServiceName]
。 - 檢查您是否可以看到此處上傳的 DCM 檔。
注意
- 上傳到伺服器時,檔名可能會更改。 但是,文件內容保持不變。
- 有關檔大小限制的資訊,請參閱 攝取檔大小。
在銅牌湖存放庫中為存儲在 Data Lake Storage Gen2 位置的 DICOM 檔案創建快捷方式。 跟隨創建 Azure Data Lake Storage Gen2 快捷方式。
- 對於 Azure DICOM 服務,請確保使用通過該服務創建的 Data Lake Storage Gen2 帳戶。
- 如果不使用 Azure DICOM 服務,則可以創建新的 Data Lake Storage Gen2 帳戶或使用現有帳戶。 若要瞭解詳細資訊,請參閱 創建要使用的存儲帳戶 Azure Data Lake Storage。
為了保持一致性,請使用以下資料夾結構創建快捷方式:
Files\External\Imaging\DICOM\[Namespace]\[BYOSShortcutName]
。 該值Namespace
可確保從邏輯上分離來自不同源系統的快捷方式。 例如,您可以將 Data Lake Storage Gen2 名稱用於Namespace
值。注意
OneLake 快捷方式還支援 Data Lake Storage Gen2 之後的多個存儲系統。 有關支援的存儲類型的完整清單,請參閱 OneLake 快捷方式。
配置 admin 湖存放庫 以啟用 BYOS:
轉到 healthcare#_msft_admin 湖存放庫並打開 deploymentParametersConfiguration.json 下的檔
Files\system-configurations
。在此配置檔中啟用 BYOS 設定。 使用 OneLake 檔案資源管理員從以下資料夾路徑打開 deploymentParametersConfiguration.json 檔:
OneLake - Microsoft\[WorkspaceName]\healthcare#_msft_admin.Lakehouse\Files\system-configurations
使用任何 JSON 或文本編輯器 (如 Windows 記事本) 打開檔,搜索byos_enabled
參數,並將其設置為 true。
DICOM 數據轉換功能現在可以訪問其源 Data Lake Storage Gen2 位置中的所有 DICOM 檔,而不管資料夾層次結構/結構如何。 您無需按照 Ingest 選項中的 完成手動攝取 DICOM 檔。 從 步驟 2 開始執行:運行上一節中的成像數據管道 ,以使用成像管道並轉換 DICOM 數據。
注意
若要瞭解與 Azure Health Data Services DICOM 服務的集成限制,請參閱 與 DICOM 服務集成。