Freigeben über

DICOM-Datentransformation in Datenlösungen für das Gesundheitswesen verwenden

  • Artikel

Die Funktion DICOM-Datentransformation in Datenlösungen für das Gesundheitswesen ermöglicht es Ihnen, DICOM-Daten (Digital Imaging and Communications in Medicine) aus verschiedenen Quellen zu erfassen, zu speichern und zu analysieren. Weitere Informationen zu dieser Funktion sowie zur Bereitstellung und Konfiguration finden Sie unter:

DICOM-Datentransformation ist eine optionale Funktion mit Datenlösungen für das Gesundheitswesen in Microsoft Fabric.

Anforderungen

Stellen Sie vor dem Ausführen der DICOM-Datentransformationspipeline sicher, dass Sie die Voraussetzungen, den Bereitstellungsprozess und die Konfigurationsschritte ausführen, die unter DICOM-Datentransformation bereitstellen und konfigurieren erläutert werden.

Datenerfassungsoptionen

Dieser Artikel enthält eine Schritt-für-Schritt-Anleitung zur Verwendung der DICOM-Datentransformationsfunktion zum Aufnehmen, Transformieren und Vereinheitlichen der DICOM-Bilder DataSet. Die Funktion unterstützt die folgenden zwei Aufnahmeoptionen:

  • Option 1: End-to-End-Erfassung von DICOM-Dateien. Die DICOM-Dateien, entweder im nativen (DCM) oder komprimierten (ZIP) Format, werden in das Lakehouse aufgenommen. Diese Option wird als Option Erfassung bezeichnet.

  • Option 2: Integration mit dem DICOM-Dienst. Die Erfassung wird durch die native Integration mit dem DICOM-Dienst in Azure Health Data Services erleichtert. Bei dieser Option werden die DCM-Dateien zunächst vom DICOM-Dienst Azure Health Data Services in Data Lake Storage Gen2 übertragen. Die Pipeline folgt dann dem Aufnahmemuster Bring Your Own Storage (BYOS) . Diese Option wird als Option Azure Health Data Services (AHDS) bezeichnet.

Um die Details der Transformation Zuordnung zu verstehen, (siehe DICOM-Metadatentransformation Zuordnung in Datenlösungen für das Gesundheitswesen.

Option 1: End-to-End-Erfassung von DICOM-Dateien

Bei dieser Option nehmen wir die Bilddaten aus DICOM-Dateien auf und transformieren sie mithilfe der vorgefertigten Datenpipeline in die Lakehouses der Gesundheitsdatenlösungen. Die End-to-End-Transformation besteht aus den folgenden aufeinanderfolgenden Schritten:

  1. ICOM-Dateien in OneLake erfassen
  2. DICOM-Dateien in OneLake organisieren
  3. DICOM-Metadaten in das Bronze-Lakehouse extrahieren
  4. DICOM-Metadaten in das FHIR-Format (Fast Health Interoperability Resources) konvertieren
  5. Daten in die ImagingStudy-Delta-Tabelle im Bronze-Lakehouse aufnehmen
  6. Daten in der ImagingStudy-Delta-Tabelle im Silver-Lakehouse vereinfachen und transformieren
  7. Daten in die Image_Occurrence-Tabelle im Gold-Lakehouse konvertieren und aufnehmen (optional)

Trinkgeld

Diese Aufnahmeoption verwendet das 340ImagingStudies Beispiel DataSet, das komprimierte ZIP-Dateien enthält. Alternativ können Sie DICOM-Dateien direkt in ihrem nativen DCM-Format aufnehmen, indem Sie sie im Ordner Ingest platzieren. Innerhalb der ZIP-Dateien können die DCM-Dateien in mehreren verschachtelten Unterordnern strukturiert sein. Es gibt keine Begrenzung für die Anzahl der DCM-Dateien oder die Anzahl, Tiefe und Verschachtelung der Unterordner innerhalb der aufgenommenen ZIP-Dateien. Informationen zu Dateigrößenbeschränkungen finden Sie unter Größe der aufgenommenen Datei.

Schritt 1: DICOM-Dateien in OneLake aufnehmen

Der Ordner Erfassen im Bronze-Lakehouse dient als Drop-Ordner (Warteschlange). Sie können die DICOM-Dateien in diesem Ordner ablegen. Die Dateien werden dann in eine organisierte Ordnerstruktur innerhalb des Bronze-Lakehouse verschoben.

  1. Gehen Sie zum Ordner Ingest\Imaging\DICOM\DICOM-HDS im bronzenen Lakehouse.

  2. Auswählen … (Auslassungspunkte) >Hochladen>Upload-Ordner.

  3. Auswählen und laden Sie die 340ImagingStudies Bildgebung DataSet aus dem Ordner SampleData in SampleData\Imaging\DICOM\DICOM-HDS hoch. Alternativ können Sie auch den OneLake-Datei-Explorer oder den Azure Storage Explorer verwenden, um das Beispiel DataSet hochzuladen.

Schritt 2: Führen Sie die Bilddatenpipeline aus

Nachdem Sie die DCM/ZIP-Dateien in den Ordner Ingest im bronzenen Lakehouse verschoben haben, können Sie jetzt die Bilddatenpipeline ausführen, um die Daten zu organisieren und im silbernen Lakehouse zu verarbeiten.

  1. Öffnen Sie in Ihren Gesundheitsdatenlösungen Umgebung die Datenpipeline healthcare#_msft_Imaging_with_clinical_foundation_ingestion .

  2. Auswählen Klicken Sie auf die Schaltfläche Ausführen , um mit der Verarbeitung der Bilddaten von Bronze nach Silber zu beginnen. Lakehouse.

Diese Datenpipeline führt nacheinander fünf Notebooks aus: drei werden als Teil der Datengrundlagen für das Gesundheitswesen bereitgestellt und zwei aus der DICOM-Datentransformationsfunktion. Weitere Informationen zu diesen Notebooks finden Sie unter DICOM-Datentransformation: Artefakte.

Ein Screenshot, der einen Beispiel-Pipeline-Lauf zeigt.

Schritt 3: Führen Sie das Notizbuch zur Transformation von Silber zu Gold aus

Anmerkung

Diese Transformation Schritt ist optional. Verwenden Sie es nur, wenn Sie Ihre DICOM-Daten weiter in das Common Data Model (CDM)-Format der Observational Medical Outcomes Partnership (OMOP) konvertieren müssen. Andernfalls können Sie diesen Schritt überspringen.

Bevor Sie diese Transformation ausführen, stellen Sie die OMOP Transformationsfunktion in Datenlösungen für das Gesundheitswesen bereit und konfigurieren Sie sie.

Nachdem Sie die Bildverarbeitungspipeline ausgeführt haben, werden Ihre Bildverarbeitungsdaten in das silberne Lakehouse umgewandelt. Das silberne Lakehouse dient als anfängliches zeigen, bei dem Daten aus verschiedenen Modalitäten auf strukturierte Weise zusammenlaufen. Um Ihre Daten weiter in den OMOP Forschungsstandard für die Verwendung in der Funktion Entdecken und Kohorten erstellen (Vorschauversion) umzuwandeln, führen Sie das Transformationsnotizbuch „Von Silber zu Gold“ aus.

  1. Öffnen Sie in Ihren Gesundheitsdatenlösungen Umgebung das Notebook healthcare#_msft_omop_silver_Gold_transformation .

    Dieses Notebook verwendet die OMOP APIs der Datenlösungen für das Gesundheitswesen, um Ressourcen aus dem silbernen Lakehouse in OMOP CDM-Deltatabellen im goldenen Lakehouse umzuwandeln. Standardmäßig müssen Sie keine Änderungen an der Notebook-Konfiguration vornehmen.

  2. Wählen Sie Alle ausführen aus, um das Notebook auszuführen.

    Das Notebook implementiert den OMOP Tracking-Ansatz , um neue oder aktualisierte Datensätze in der ImagingStudy Delta-Tabelle im silbernen Lakehouse zu verfolgen und zu verarbeiten. Es wandelt Daten aus den FHIR-Deltatabellen im silbernen Lakehouse (einschließlich der ImagingStudy Tabelle) in die entsprechenden OMOP Deltatabellen im goldenen Lakehouse um (einschließlich der Tabelle Image_Occurrence ). Weitere Informationen zu dieser Transformation finden Sie unter Transformation Zuordnung für die Delta-Tabelle von Silber zu Gold.

    Detaillierte OMOP Zuordnung Informationen finden Sie unter FHIR zu OMOP Zuordnung.

Schritt 4: Validieren Sie die Daten

In realen Szenarien umfasst die Datenaufnahme Quellen mit unterschiedlichen Qualitätsstufen. Die unter Datenvalidierung ausführlich beschriebene Validierungs-Engine löst absichtlich Validierungen für einige der bereitgestellten Bildbeispieldaten aus. Dateien, die nicht den DICOM-Standards entsprechen, werden in den Ordner Fehlgeschlagen verschoben und nicht verarbeitet. Allerdings führt der Ausfall einer einzelnen Datei nicht zu einer Unterbrechung der gesamten Pipeline, wie die Bildbeispieldaten zeigen. Die Pipeline und die zugehörigen Notebooks werden erfolgreich ausgeführt, aber der Ordner Failed unter Imaging\DICOM\DICOM-HDS\YYYY\MM\DD enthält eine nicht konforme Datei. Alle anderen gültigen Dateien werden erfolgreich verarbeitet, sodass der Pipeline-Status insgesamt erfolgreich ist. Wir nehmen diese ungültige Datei absichtlich in die Bildgebungsbeispieldaten auf, um zu veranschaulichen, wie die Bildgebungspipeline ungültige Dateien verarbeitet, und um Ihnen bei der Identifizierung von DataSet-Problemen zu helfen.

Ein Screenshot, der die ungültige Datei im Ordner **Failed** anzeigt.

Um zu bestätigen, dass die Pipeline alle Metadaten erfolgreich aus den DICOM-Rohdateien extrahiert hat, öffnen Sie die bronzene Lakehouse, wechseln Sie zur SQL-Analyse Endpunkt und zur Auswählen New SQL-Abfrage.

Ein Screenshot, der den Schalter SQL Analytics Endpunkt zeigt.

Wenn die Pipeline ordnungsgemäß ausgeführt wurde, müssen in der Tabelle ImagingDicom 7739 erfolgreich verarbeitete DICOM-Instanzen angezeigt werden. Führen Sie zur Überprüfung die folgende Abfrage SQL aus. Bei einer erfolgreichen Verarbeitung sollte im Bereich Ergebnisse die Meldung 7739 angezeigt werden. Diese Zahl stellt die Gesamtzahl der DICOM-Instanzen in den Beispieldaten dar und umfasst Daten aus verschiedenen Modalitäten wie Computertomografie (CT) und Magnetresonanztomografie (MRT).

select count(*) from ImagingDicom

Ein Screenshot, der die DICOM-Instanzen in der bronzenen Lakehouse anzeigt.

Um zu bestätigen, dass die Pipeline die Seehäuser erfolgreich mit Wasser versorgt hat, öffnen Sie das silberne Lakehouse, wechseln Sie zur SQL-Analyse Endpunkt und zur Auswählen New SQL-Abfrage. Für einen korrekten Pipeline-Lauf müssen 339 erfolgreich verarbeitete ImagingStudy Ressourcen angezeigt werden. Führen Sie zur Überprüfung die folgende Abfrage SQL aus. Wir beginnen zunächst mit 340 ImagingStudy Ressourcen, doch bei der Verarbeitung tritt ein Fehler auf.

 select count(*) from ImagingStudy

Ein Screenshot, der die DICOM-Instanzen im silbernen Lakehouse anzeigt.

Option 2: Integration mit dem DICOM-Dienst

Wichtig

Verwenden Sie diese Transformationsoption nur, wenn Sie den DICOM-Dienst Azure Health Data Services verwenden und die DICOM-API bereitgestellt haben.

Dieser Transformationsansatz erweitert das Bring Your Own Storage (BYOS)-Muster mit dem DICOM-Dienst Azure Health Data Services. Der DICOM-Dienst ist eine Teilmenge der DICOMweb-APIs , mit denen Sie DICOM-Objekte speichern, überprüfen, suchen und löschen können. Es lässt sich in das Azure Data Lake Storage Gen2-Konto integrieren, das mit Ihrem Fabric-Arbeitsbereich verknüpft ist, sodass die Transformationspipeline direkt auf Ihre DICOM-Daten zugreifen kann.

Alternativ können Sie die Verwendung der Azure DICOM-API überspringen und DICOM-Dateien aufnehmen, die in Ihrem Data Lake Storage Gen2-Konto gespeichert sind (beginnen Sie in diesem Fall bei Schritt 5).

  1. Überprüfen und vervollständigen Sie die Konfiguration unter Bereitstellen der DICOM-API in Azure Health Data Services.

  2. Verwenden Sie nach der Bereitstellung des Azure DICOM-Dienstes die Store (STOW-RS) API, um DCM-Dateien aufzunehmen. Testen Sie es, indem Sie mit dem OneLake-Datei-Explorer oder dem Azure Storage Explorer eine DCM-Datei aus den Bildbeispieldaten herunterladen.

  3. Laden Sie die DCM-Dateien je nach gewünschter Sprache mit einer der folgenden Optionen auf den Server hoch:

  4. Überprüfen Sie, ob der Datei-Upload erfolgreich war:

    1. Suchen Sie im Azure-Portal Auswählen das mit dem DICOM-Dienst verknüpfte Speicherkonto.
    2. Gehen Sie zu Container und folgen dem Pfad [ContainerName]/AHDS/[AzureHealthDataServicesWorkspaceName]/dicom/[DICOMServiceName].
    3. Überprüfen Sie, ob Sie die hier hochgeladene DCM-Datei sehen können.

    Ein Screenshot des Azure-Portals mit den hochgeladenen Daten

    Anmerkung

    • Der Dateiname kann sich beim Hochladen auf den Server ändern. Der Dateiinhalt bleibt jedoch unverändert.
    • Informationen zu Dateigrößenbeschränkungen finden Sie unter Größe der aufgenommenen Datei.

  5. Erstellen Sie im bronzenen Lakehouse eine Verknüpfung für die DICOM-Datei, die im Storage Gen2-Speicherort Data Lake gespeichert ist. Folgen die Schritte zum Erstellen einer Azure Data Lake Storage Gen2-Verknüpfung.

    • Stellen Sie für den Azure DICOM-Dienst sicher, dass Sie das mit dem Dienst erstellte Data Lake Storage Gen2-Konto verwenden.
    • Wenn Sie den Azure DICOM-Dienst nicht verwenden, können Sie ein neues Data Lake Storage Gen2-Konto erstellen oder ein vorhandenes verwenden. Weitere Informationen finden Sie unter Erstellen eines zu verwendenden Speicherkontos Azure Data Lake Storage.

    Verwenden Sie aus Konsistenzgründen die folgende Ordnerstruktur zum Erstellen der Verknüpfung: Files\External\Imaging\DICOM\[Namespace]\[BYOSShortcutName]. Der Namespace Wert gewährleistet eine logische Trennung von Verknüpfungen aus unterschiedlichen Quellsystemen. Sie können beispielsweise den Storage Gen2-Namen Data Lake für den Namespace -Wert verwenden.

    Ein Screenshot, der zeigt, wie die Verknüpfung mit der empfohlenen Ordnerstruktur erstellt wird.

    Anmerkung

    OneLake-Verknüpfungen unterstützen auch mehrere Speichersysteme über Data Lake Storage Gen2 hinaus. Eine vollständige Liste der unterstützten Speichertypen finden Sie unter OneLake-Verknüpfungen.

  6. Konfigurieren Sie den Administrator Lakehouse , um BYOS zu aktivieren:

    1. Gehen Sie zu healthcare#_msft_admin Lakehouse und öffnen Sie die Datei deploymentParametersConfiguration.json unter Files\system-configurations.

    2. Aktivieren Sie die BYOS-Einstellung in dieser Konfigurationsdatei. Verwenden Sie den OneLake-Datei-Explorer, um die Datei deploymentParametersConfiguration.json im folgenden Ordnerpfad zu öffnen: OneLake - Microsoft\[WorkspaceName]\healthcare#_msft_admin.Lakehouse\Files\system-configurations. Öffnen Sie die Datei mit einem beliebigen JSON- oder Texteditor (z. B. Windows Notepad), suchen Sie nach dem byos_enabled Parameter und setzen Sie ihn auf true.

      Ein Screenshot, der die Einstellung in der Konfigurationsdatei zeigt.

  7. Die DICOM-Datentransformationsfunktion kann jetzt auf alle Ihre DICOM-Dateien an ihrem Quellspeicherort Data Lake Storage Gen2 zugreifen, unabhängig von der Ordnerhierarchie/-struktur. Sie müssen die DICOM-Dateien nicht manuell als Fertig in der Option Aufnehmen aufnehmen. Beginnen Sie die Ausführung ab Schritt 2: Führen Sie die Bilddatenpipeline im vorherigen Abschnitt aus, um die Bilddatenpipeline zu verwenden und Ihre DICOM-Daten zu transformieren.

Anmerkung

Informationen zu den Integrationsbeschränkungen mit dem DICOM-Dienst von Azure Health Data Services finden Sie unter Integration mit dem DICOM-Dienst.