Использование преобразования данных DICOM в решениях для данных здравоохранения

Статья
11/18/2024

Заметка

В настоящее время это содержимое обновляется.

Возможность преобразования данных DICOM в решениях для данных здравоохранения позволяет принимать, хранить и анализировать данные цифровой визуализации и коммуникаций в медицине (DICOM) из различных источников. Дополнительные сведения об этой возможности, а также о том, как ее развернуть и настроить, см. в разделе:

Преобразование данных DICOM является дополнительной возможностью в решениях для данных здравоохранения в Microsoft Fabric.

Предварительные условия

Перед запуском конвейера преобразования данных DICOM убедитесь, что выполнены предварительные требования, процесс развертывания и действия по настройке, описанные в разделе Развертывание и настройка преобразования данных DICOM.

Параметры приема данных

В этой статье приведены пошаговые инструкции по использованию возможности приема DICOM для приема, преобразования и унификации набора данных изображений DICOM. Эта возможность поддерживает следующие два варианта выполнения:

Вариант 1: Сквозной прием файлов DICOM. Файлы DICOM, в собственном (DCM) или сжатом (ZIP) форматах, загружаются в хранилище озера данных. Этот параметр называется параметром Прием.
Вариант 2: Сквозная интеграция с сервисом DICOM. Прием облегчается за счет встроенной интеграции со службой DICOM в службы Azure для работы с медицинскими данными. В этом случае файлы DCM сначала передаются из службы DICOM служб Azure для работы с медицинскими данными в Azure Data Lake Storage 2-го поколения. Затем конвейер следует за выполнением Использовать собственное хранилище данных . Эта опция называется Службы Azure для работы с медицинскими данными (AHDS).

Вариант 1: сквозной прием файлов DICOM

В этом варианте мы принимаем данные визуализации из файлов DICOM в озера данных решений для данных здравоохранения с помощью предварительно созданного конвейера данных. Вы можете использовать образец набора данных визуализации, который содержит как ZIP-файлы, так и собственные файлы DCM. Сквозное выполнение состоит из следующих последовательных шагов:

Прием файлов DICOM в OneLake
Систематизация файлов DICOM в OneLake
Извлечение метаданных DICOM в бронзовый хранилище озера данных
Преобразование метаданных DICOM в формат FHIR (ресурсы быстрого взаимодействия в сфере здравоохранения)
Прием данных в разностную таблицу ImagingStudy в бронзовом хранилище озера данных
Сведение и преобразование данных в разностную таблицу ImagingStudy в серебряном хранилище озера данных
Преобразование и прием данных в таблицу Image_Occurrence в золотом хранилище озера данных (необязательно)

Прием файлов DICOM в OneLake

Папка Прием в бронзовом хранилище озера данных представляет собой папку для сброса (очередь). Вы можете перетащить файлы DICOM в эту папку. Затем файлы перемещаются в упорядоченную структуру папок в бронзовом хранилище озера данных.

Перейдите в папку Ingest\Imaging\DICOM\DICOM-HDS в бронзовом хранилище озера данных.
Выберите ... (многоточие) >Отправить>Отправить файлы.
Выберите и отправьте набор данных визуализации из папки SampleData. На шаге Развернуть демонстрационные данные демонстрационные данные должны быть автоматически развернуты в этой папке.

Количество файлов DCM, а также количество и глубина вложения вложенных папок в принимаемых ZIP-файлах не ограничены. Сведения об ограничении размера файла см. в разделе Размер файла приема.

Систематизация файлов DICOM в OneLake

После того как демонстрационные данные перемещаются в папки бронзового хранилища озера данных, конвейер организует файлы для обработки. Он использует модуль ImagingRawDataMovementService в библиотеке решений для данных здравоохранения для перемещения файлов визуализации в оптимизированную структуру папок для дальнейшей обработки:

Перенесите файлы из папки Прием в новую оптимизированную структуру папок Files\Process\Imaging\DICOM\yyyy\mm\dd внутри бронзового хранилища озера данных. Эта масштабируемая, дружественная к хранилищу озера данных структура папок соответствует рекомендациям по структуре каталогов Azure Data Lake Storage. Для исходных файлов в формате ZIP с несколькими файлами DCM записная книжка извлекает и перемещает каждый файл DCM в оптимизированную структуру папок, независимо от исходной иерархии папок в исходных ZIP-файлах.
Добавьте префикс метки времени Unix к именам файлов. Метка времени генерируется на уровне миллисекунд для обеспечения уникальности имен файлов. Эта функция полезна для сред с несколькими системами архивации и передачи изображений (PACS) и независимыми от поставщика архивами (VNA), где уникальность имен файлов не гарантируется.
Если перемещение даты завершается сбоем, файлы сбоя (с префиксом метки времени Unix) сохраняются в папке Отклонено в следующей оптимизированной структуре папок: Files\Failed\Imaging\DICOM\DICOM-HDS\yyyy\mm\dd\.

Извлечение метаданных DICOM в бронзовый хранилище озера данных

На этом шаге записная книжка healthcare#_msft_imaging_dicom_extract_bronze_ingestion используется для отслеживания и обработки недавно перемещенных файлов в папке Обработка с помощью структурированной потоковой передачи в Spark. Записная книжка использует модуль MetadataExtractionOrchestrator в библиотеке решений для данных здравоохранения для выполнения следующих действий:

Извлеките теги DICOM (элементы данных DICOM), доступные в DCM-файлах в папке Обработка, и вставьте их в разностную таблицу dicomimagingmetastore в бронзовом хранилище озера данных. Дополнительные сведения об этом процессе преобразования см. в разделе Сопоставление преобразований метаданных DICOM с бронзовой разностной таблицей.
В случае сбоев извлечения данных записная книжка сохраняет файл с префиксом метки времени Unix в папке Отклонено в бронзовом хранилище озера данных в следующей оптимизированной структуре папок Files\Failed\Imaging\DICOM\DICOM-HDS\yyyy\mm\dd\.

Извлечение данных может завершиться ошибкой по нескольким причинам:
1. Синтаксический анализ файлов завершается сбоем из-за неизвестных или неожиданных ошибок.
2. Файлы DCM содержат недопустимое содержимое, которое не соответствует стандартному формату DICOM.

Преобразуйте метаданных DICOM в формат FHIR

После приема файлов и заполнения разностной таблицы dicomimagingmetastore тегами DICOM следующим шагом является преобразование метаданных DICOM в формат FHIR.

Записная книжка healthcare#_msft_imaging_dicom_fhir_conversion использует структурированную потоковую передачу в Spark для отслеживания и обработки недавно измененных разностных таблиц в бронзовом хранилище озера данных, включая dicomimagingmetastore. Он использует модуль MetadataToFhirConvertor в библиотеке решений для данных здравоохранения для преобразования метаданных DICOM в бронзовую разностную таблицу dicomimagingmetastore. Процесс преобразования включает в себя преобразование метаданных из таблицы dicomimagingmetastore в FHIR ImagingStudy в формате ресурса FHIR R4.3 и сохранение выходных данных в виде файлов NDJSON. Дополнительные сведения об этом преобразовании см. в разделе Сопоставление преобразований метаданных DICOM с бронзовой разностной таблицей.

Записная книжка преобразует метаданные DICOM в FHIR ImagingStudy и записывает файлы NDJSON в другую оптимизированную структуру папок для файлов FHIR в бронзовом хранилище озера данных. Структура папок следующая Files\Process\Clinical\FHIR NDJSON\yyyy\mm\dd\ImagingStudy. Записная книжка генерирует только один файл NDJSON для всех метаданных DICOM, обрабатываемых за одно выполнение записной книжки. Если вы не можете найти новые папки, обновите проводник пользовательский интерфейс Fabric и OneLake.

Прием данных в разностную таблицу ImagingStudy в бронзовом хранилище озера данных

После приема данных DICOM и их преобразования в формат FHIR конвейер выполняет простой конвейер приема данных FHIR, аналогичный приему любого другого ресурса FHIR. На этом шаге данные в файле NDJSON ImagingStudy FHIR преобразуются в разностную таблицу ImagingStudy в бронзовом хранилище озера данных. Эта разностная таблица поддерживает исходное состояние источника данных.

Выполнение группирует данные одного и того же исследования на уровне экземпляра в одну запись исследования DICOM. Дополнительные сведения об этом шаблоне группировки см. в разделе Групповой шаблон в бронзовом хранилище озера данных.

Прием данных в разностную таблицу ImagingStudy в серебряном хранилище озера данных

На этом шаге конвейер данных запускает записную книжку healthcare#_msft_bronze_silver_flatten для отслеживания и обработки вновь добавленных записей в бронзовом хранилище озера данных. Записная книжка сводит и преобразует данные из разностной таблицы ImagingStudy в бронзовом хранилище озера данных в разностную таблицу ImagingStudy в серебряном хранилище озера данных в соответствии с форматом ресурса FHIR (R4.3)..

Записная книжка обновляет записи ImagingStudy от бронзового до серебряного хранилища озера данных. Чтобы узнать больше о шаблоне upsert, перейдите в раздел Шаблон Upsert в серебряном хранилище озера данных. Разностная таблица сопоставления преобразований для бронзы и серебра подробно объясняет этот процесс преобразования.

После того, как записная книжка завершит выполнение, вы увидите девять записей в разностной таблице ImagingStudy в серебряном хранилище озера данных.

Преобразование и прием данных в золотой хранилище озера данных

Важно

Выполняйте этот необязательный шаг выполнения только в том случае, если вы развернули и настроили возможность OMOP преобразования в решениях для данных в сфере здравоохранения. В противном случае этот шаг можно пропустить.

Для последнего шага следуйте этим рекомендациям, чтобы преобразовать и принять данные в разностную таблицу Image_Occurrence в золотом хранилище озера данных:

В среде решений для данных здравоохранения перейдите в записную книжку healthcare#_msft_omop_silver_gold_transformation и откройте ее.

В этой записной книжке API-интерфейсы OMOP решений для данных здравоохранения используются для преобразования ресурсов из серебряного хранилища озера данных в разностные таблицы общей модели данных OMOP в золотом хранилище озера данных. По умолчанию вносить какие-либо изменения в конфигурацию записной книжки не требуется.
Выберите Выполнить все, чтобы выполнить записную книжку.

В записной книжке реализован подход отслеживания OMOP для отслеживания и обработки вновь вставленных или обновленных записей в разностной таблице ImagingStudy в серебряном хранилище озера данных. Он преобразует данные в разностных таблицах FHIR в серебряном хранилище озера данных (включая таблицу ImagingStudy) в соответствующие OMOP разностные таблицы в золотом хранилище озера данных (включая таблицу Image_Occurrence). Дополнительные сведения об этом преобразовании см. в разделе Сопоставление преобразований для серебряной разностной таблицы в золотую.

См. сопоставление FHIR с OMOP для получения сведений о сопоставлении для всех поддерживаемых таблиц OMOP.

После завершения выполнения записной книжки на основе демонстрационного набора данных визуализации можно запросить и найти 24 записи в разностной таблице Image_Occurrence в золотом хранилище озера данных. Каждая запись представляет собой объект серии в иерархии DICOM.

Вариант 2: сквозная интеграция с сервисом DICOM