Compartir vía

Usar transformación de datos DICOM en soluciones de datos sanitarios

  • Artículo

La capacidad de transformación de datos DICOM en soluciones de datos de atención médica le permite ingerir, almacenar y analizar datos de imágenes y comunicaciones digitales en medicina (DICOM) de varias fuentes. Para obtener más información sobre la capacidad y comprender cómo implementarla y configurarla, consulte:

La transformación de datos DICOM es una capacidad opcional con soluciones de datos de atención sanitaria en Microsoft Fabric.

Requisitos previos

Antes de ejecutar la canalización de transformación de datos DICOM, asegúrese de completar los requisitos previos, el proceso de implementación y los pasos de configuración que se explican en Implementar y configurar la transformación de datos DICOM.

Opciones de ingesta de datos

Este artículo proporciona una guía paso a paso sobre cómo utilizar la capacidad de transformación de datos DICOM para ingerir, transformar y unificar las imágenes DICOM conjunto de datos. La capacidad admite las siguientes dos opciones de ingestión:

  • Opción 1: Ingesta de un extremo a otro de archivos DICOM. Los archivos DICOM, ya sea en formato nativo (DCM) o comprimido (ZIP), se ingieren en el almacén de lago. Esta opción se denomina opción de Ingesta.

  • Opción 2: Integración con el servicio DICOM. La ingesta se facilita a través de la integración nativa con el servicio DICOM en Azure Health Data Services. En esta opción, los archivos DCM se transfieren primero desde el servicio DICOM de Azure Health Data Services a Data Lake Storage Gen2. Luego, la tubería sigue el patrón de ingesta Traiga su propio almacenamiento (BYOS) . Esta opción se denomina Azure Health Data Services (AHDS).

Para comprender los detalles de la transformación asignación, consulte Transformación de metadatos DICOM asignación en soluciones de datos de atención médica .

Opción 1: Ingesta de un extremo a otro de archivos DICOM.

En esta opción, ingerimos y transformamos los datos de imágenes de los archivos DICOM en los centros de datos de soluciones de atención médica utilizando la canalización de datos prediseñada. La transformación de extremo a extremo consta de los siguientes pasos consecutivos:

  1. Ingerir archivos DICOM en OneLake
  2. Organizar archivos DICOM en OneLake
  3. Extraer metadatos DICOM en el almacén de lago de bronce
  4. Convertir metadatos DICOM al formato FHIR (Fast Health Interoperability Resources)
  5. Ingerir datos en la tabla delta de ImagingStudy en el almacén de lago bronce
  6. Aplanar y transformar datos en la tabla delta de ImagingStudy en el almacén de lago plata
  7. Convertir e ingerir datos en la tabla Image_Occurrence en el almacén de lago oro (opcional)

Propina

Esta opción de ingestión utiliza la muestra 340ImagingStudies conjunto de datos que contiene archivos ZIP comprimidos. Como alternativa, puede ingerir archivos DICOM directamente en su formato DCM nativo colocándolos en la carpeta Ingest . Dentro de los archivos ZIP, los archivos DCM pueden estructurarse en múltiples subcarpetas anidadas. No hay límite en la cantidad de archivos DCM ni en la cantidad, profundidad y anidación de subcarpetas dentro de los archivos ZIP ingeridos. Para obtener información sobre los límites de tamaño de archivo, consulte Tamaño del archivo de ingestión.

Paso 1: Ingerir archivos DICOM en OneLake

La carpeta Ingesta del almacén de lago bronce representa una carpeta de colocación (cola). Puede colocar los archivos DICOM dentro de esta carpeta. Luego, los archivos se mueven a una estructura de carpetas organizada dentro del almacén de lago bronce.

  1. Vaya a la carpeta Ingest\Imaging\DICOM\DICOM-HDS en el bronce almacén de lago de datos.

  2. Seleccionar ... (puntos suspensivos) >Cargar>Cargar carpeta.

  3. Seleccionar y cargue las imágenes 340ImagingStudies conjunto de datos desde la carpeta SampleData en SampleData\Imaging\DICOM\DICOM-HDS. Como alternativa, también puede utilizar el explorador de archivos OneLake o el Explorador de almacenamiento Azure para cargar la muestra conjunto de datos.

Paso 2: Ejecutar la canalización de datos de imágenes

Después de mover los archivos DCM/ZIP a la carpeta Ingest en el bronce almacén de lago de datos, ahora puede ejecutar la canalización de datos de imágenes para organizar y procesar los datos en el plata almacén de lago de datos.

  1. En sus soluciones de datos de atención médica ambiente, abra el canal de datos de atención médica#_msft_imaging_with_clinical_foundation_ingestion .

  2. Seleccionar el botón Ejecutar para comenzar a procesar los datos de imágenes del bronce al plateado almacén de lago de datos.

Esta tubería de datos ejecuta secuencialmente cinco notebooks: tres implementados como parte de la capacidad de bases de datos de atención médica y dos de la capacidad de transformación de datos DICOM. Para obtener más información sobre estos cuadernos, consulte Transformación de datos DICOM: Artefactos.

Una captura de pantalla que muestra un ejemplo de ejecución de una canalización.

Paso 3: Ejecutar el cuaderno de transformación de plata a oro

Nota

Esta transformación paso es opcional. Úselo sólo si necesita transformar aún más sus datos DICOM al formato del modelo de datos común (CDM) de Observational Medical Outcomes Partnership (OMOP). De lo contrario, puede omitir este paso.

Antes de ejecutar esta transformación, implemente y configure la capacidad de transformaciones en las soluciones de datos de atención médica. OMOP

Después de ejecutar la secuencia de imágenes, los datos de imágenes se transforman en plata almacén de lago de datos. La plata almacén de lago de datos sirve como el apuntar inicial donde los datos de varias modalidades comienzan a converger de manera estructurada. Para transformar aún más sus datos en el estándar de investigación para su uso en la capacidad Descubrir y crear cohortes (versión preliminar) OMOP , ejecute el cuaderno de transformación de plata a oro. ...

  1. En sus soluciones de datos de atención médica ambiente, abra el cuaderno healthcare#_msft_omop_silver_gold_transformation .

    Este cuaderno utiliza las API de soluciones de datos de atención médica para transformar recursos de la base de datos almacén de lago de datos plateada en tablas delta de CDM en la base de datos almacén de lago de datos dorada. OMOP OMOP De manera predeterminada, no es necesario realizar ningún cambio en la configuración del cuaderno.

  2. Seleccione Ejecutar todo para ejecutar el cuaderno.

    El cuaderno implementa el OMOP enfoque de seguimiento para rastrear y procesar registros nuevos o actualizados en la tabla delta ImagingStudy en el almacén de lago de datos plateado. Transforma datos de las tablas delta FHIR en la almacén de lago de datos plateada (incluida la tabla ImagingStudy ) en las tablas delta OMOP correspondientes en la almacén de lago de datos dorada. (incluida la tabla Image_Occurrence ). Para obtener más información sobre esta transformación, consulte la Transformación asignación para la tabla delta de plata a oro.

    Para obtener información detallada sobre asignación, consulte FHIR en asignación. OMOP OMOP

Paso 4: Validar los datos

En escenarios del mundo real, la ingesta de datos involucra fuentes con diferentes niveles de calidad. El motor de validación, detallado en Validación de datos, activa intencionalmente validaciones en algunos de los datos de muestra de imágenes proporcionados. Los archivos que no cumplen con los estándares DICOM se mueven a la carpeta Error y no se procesan. Sin embargo, una falla en un solo archivo no interrumpe todo el proceso, como lo demuestran los datos de muestra de imágenes. La tubería y los cuadernos asociados se ejecutan correctamente, pero la carpeta Failed en Imaging\DICOM\DICOM-HDS\YYYY\MM\DD contiene un archivo no compatible. Todos los demás archivos válidos se procesan correctamente, lo que da como resultado un estado general de canalización exitoso. Incluimos intencionalmente este archivo no válido en los datos de muestra de imágenes para ilustrar cómo el proceso de imágenes maneja los archivos no válidos y lo ayuda a identificar problemas conjunto de datos.

Una captura de pantalla que muestra el archivo no válido en la carpeta **Error** .

Para confirmar que el pipeline extrajo exitosamente todos los metadatos de los archivos DICOM sin procesar, abra el bronce almacén de lago de datos, cambie al análisis SQL punto de conexión y la consulta SeleccionarNew SQL .

Una captura de pantalla que muestra el interruptor de análisis SQL punto de conexión.

Si el pipeline se ejecutó correctamente, debe ver 7739 instancias DICOM procesadas exitosamente en la tabla ImagingDicom . Para verificar, ejecute la siguiente consulta SQL. Para un procesamiento exitoso, debería ver 7739 en el panel Resultados . Este número representa el número total de instancias DICOM en los datos de muestra, que incluyen datos de diferentes modalidades, como tomografías computarizadas (TC) y resonancias magnéticas (RM).

select count(*) from ImagingDicom

Una captura de pantalla que muestra las instancias DICOM en bronce almacén de lago de datos.

Para confirmar que la tubería hidrató con éxito las casas del lago, abra la plata almacén de lago de datos, cambie al análisis SQL punto de conexión y la consulta SeleccionarNew SQL . Para una ejecución correcta del pipeline, debe ver 339 recursos de ImagingStudy procesados exitosamente. Para verificar, ejecute la siguiente consulta SQL. Inicialmente, comenzamos con 340 recursos de ImagingStudy , pero uno encuentra un error durante el procesamiento.

 select count(*) from ImagingStudy

Una captura de pantalla que muestra las instancias DICOM en plata almacén de lago de datos.

Opción 2: Integración con el servicio DICOM

Importante

Utilice esta opción de transformación solo si está utilizando el servicio DICOM de servicios de datos de salud Azure y ha implementado la API DICOM.

Este enfoque de transformación extiende el patrón Bring Your Own Storage (BYOS) con el servicio DICOM de servicios de datos de salud Azure. ... El servicio DICOM es un subconjunto de las API web DICOM que le permiten almacenar, revisar, buscar y eliminar objetos DICOM. Se integra con la cuenta Gen2 vinculada a su espacio de trabajo de Fabric, de modo que el canal de transformación pueda acceder directamente a sus datos DICOM. Azure Data Lake Storage

Como alternativa, puede omitir el uso de la API DICOM Azure e ingerir archivos DICOM almacenados en su cuenta Storage Gen2 Data Lake (en este caso, comenzar desde paso 5).

  1. Revise y complete la configuración en Implementar la API DICOM en Azure Servicios de datos de salud.

  2. Después de implementar el servicio DICOM Azure, utilice la API Store (STOW-RS) para ingerir archivos DCM. Pruébelo descargando un archivo DCM de los datos de muestra de imágenes usando el explorador de archivos OneLake o el Explorador de almacenamiento Azure.

  3. Dependiendo de su idioma preferido, cargue los archivos DCM al servidor utilizando una de las siguientes opciones:

  4. Verifique si la carga del archivo fue exitosa:

    1. En el portal Azure, Seleccionar la cuenta de almacenamiento vinculada al servicio DICOM. ...
    2. Vaya a Contenedores y seguir la ruta [ContainerName]/AHDS/[AzureHealthDataServicesWorkspaceName]/dicom/[DICOMServiceName].
    3. Comprueba si puedes ver el archivo DCM cargado aquí.

    Captura de pantalla de Azure Portal que muestra los datos cargados.

    Nota

    • El nombre del archivo puede cambiar al cargarse al servidor. Sin embargo, el contenido del archivo permanece inalterado.
    • Para obtener información sobre los límites de tamaño de archivo, consulte Tamaño del archivo de ingestión.

  5. Cree un acceso directo en el bronce almacén de lago de datos para el archivo DICOM almacenado en la ubicación Data Lake Storage Gen2. Seguir los pasos para crear un acceso directo a Gen2 . Azure Data Lake Storage

    Para mantener la coherencia, utilice la siguiente estructura de carpetas para crear el acceso directo: Files\External\Imaging\DICOM\[Namespace]\[BYOSShortcutName]. El valor Namespace garantiza la separación lógica de los accesos directos de diferentes sistemas de origen. Por ejemplo, puede utilizar el nombre Data Lake Storage Gen2 para el valor Namespace .

    Una captura de pantalla que muestra cómo crear el acceso directo utilizando la estructura de carpeta recomendada.

    Nota

    Los accesos directos de OneLake también admiten múltiples sistemas de almacenamiento más allá de Data Lake Storage Gen2. Para obtener una lista completa de los tipos de almacenamiento admitidos, consulte Accesos directos de OneLake.

  6. Configure el administrador almacén de lago de datos para habilitar BYOS:

    1. Vaya a healthcare#_msft_admin almacén de lago de datos y abra el archivo deploymentParametersConfiguration.json en Files\system-configurations.

    2. Habilite la configuración BYOS en este archivo de configuración. Utilice el explorador de archivos de OneLake para abrir el archivo deploymentParametersConfiguration.json desde la siguiente ruta de carpeta: OneLake - Microsoft\[WorkspaceName]\healthcare#_msft_admin.Lakehouse\Files\system-configurations. Utilice cualquier editor de texto o JSON (como el Bloc de notas de Windows) para abrir el archivo, busque el parámetro byos_enabled y configúrelo como verdadero.

      Una captura de pantalla que muestra la configuración en el archivo de configuración.

  7. La capacidad de transformación de datos DICOM ahora puede acceder a todos sus archivos DICOM en su ubicación de origen Data Lake Storage Gen2, independientemente de la estructura/jerarquía de la carpeta. No es necesario ingerir manualmente los archivos DICOM como Listo en la opción Ingerir . Comience la ejecución desde paso 2: Ejecute la canalización de datos de imágenes en la sección anterior para usar la canalización de imágenes y transformar sus datos DICOM.

Nota

Para comprender las limitaciones de integración con el servicio DICOM de Health Data Services Azure, consulte Integración con el servicio DICOM.