Używanie przekształcania danych DICOM w rozwiązaniach do obsługi danych medycznych

Możliwość przekształcania danych DICOM w rozwiązaniach do obsługi danych medycznych umożliwia pozyskiwanie, przechowywanie i analizowanie danych z zakresu obrazowania cyfrowego i komunikacji w medycynie (DICOM) z różnych źródeł. Aby dowiedzieć się więcej o tej funkcji oraz dowiedzieć się, jak ją wdrożyć i skonfigurować, zobacz:

• Omówienie przekształcania danych DICOM
• Mapowanie transformacji metadanych DICOM
• Wdrażanie i konfigurowanie przekształcania danych DICOM

Przekształcanie danych DICOM jest opcjonalną możliwością w rozwiązaniach do obsługi danych medycznych w Microsoft Fabric.

Wymagania wstępne

Przed uruchomieniem potoku przekształcania danych DICOM upewnij się, że zostały spełnione wymagania wstępne, proces wdrażania i kroki konfiguracji opisane w temacie Wdrażanie i konfigurowanie przekształcania danych DICOM.

Opcje pozyskiwania danych

Ten artykuł zawiera wskazówki krok po kroku dotyczące korzystania z funkcji przekształcania danych DICOM w celu pozyskiwania, przekształcania i ujednolicania zestawu danych obrazowania DICOM. Ta funkcja obsługuje następujące dwie opcje pozyskiwania:

• Opcja 1: Kompleksowe pozyskiwanie plików DICOM. Pliki DICOM w formacie natywnym (DCM) lub skompresowanym (ZIP) są pozyskiwane do magazynu lakehouse. Ta opcja jest nazywana opcją Pozyskiwanie.

• Opcja 2: Integracja z usługą DICOM. Pozyskiwanie jest ułatwione dzięki natywnej integracji z usługą DICOM w usługach danych Azure Health Data Services. W przypadku tej opcji pliki programu DCM są najpierw przesyłane z usługi DICOM usługi Azure Health Data Services do usługi Data Lake Storage Gen2. Następnie potok jest zgodny ze wzorcem pozyskiwania Bring Your Own Storage (BYOS). Ta opcja nosi nazwę Azure Health Data Services (AHDS).

Aby zapoznać się ze szczegółami mapowania transformacji, zobacz Mapowanie transformacji metadanych DICOM w rozwiązaniach danych opieki zdrowotnej.

Opcja 1: Kompleksowe pozyskiwanie plików DICOM

W tej opcji pozyskujemy i przekształcamy dane obrazowania z plików DICOM do magazynów lakehouse rozwiązań danych opieki zdrowotnej przy użyciu wstępnie utworzonego potoku danych. Kompleksowa transformacja składa się z następujących następujących następujących po sobie kroków:

1. Pozyskiwanie plików DICOM do usługi OneLake
2. Organizowanie plików DICOM w usłudze OneLake
3. Wyodrębnianie metadanych DICOM do brązowego magazynu lakehouse
4. Konwertowanie metadanych DICOM na format FHIR (Fast Health Interoperability Resources)
5. Pozyskiwanie danych do tabeli delta ImagingStudy w brązowym magazynie lakehouse
6. Spłaszczanie i przekształcanie danych do tabeli delta ImagingStudy w srebrnym magazynie lakehouse
7. Konwertowanie i pozyskiwanie danych do tabeli Image_Occurrence w złotym magazynie lakehouse (opcjonalnie)

Wskazówka

Ta opcja pozyskiwania używa przykładowego zestawu danych 340ImagingStudies , który zawiera skompresowane pliki ZIP. Alternatywnie można pozyskiwać pliki DICOM bezpośrednio w ich natywnym formacie DCM, umieszczając je w folderze Ingest . W plikach ZIP pliki DCM mogą być podzielone na wiele zagnieżdżonych podfolderów. Nie ma ograniczeń co do liczby plików DCM ani liczby, głębokości i zagnieżdżania podfolderów w pozyskanych plikach ZIP. Aby uzyskać informacje na temat limitów rozmiaru plików, zobacz Rozmiar pliku pozyskiwania.

Krok 1: Pozyskiwanie plików DICOM do usługi OneLake

Folder Pozyskaj w brązowym magazynie lakehouse reprezentuje folder upuszczania (kolejki). Możesz upuścić pliki DICOM w tym folderze. Pliki są następnie przenoszone do zorganizowanej struktury folderów w brązowym magazynie lakehouse.

1. Przejdź do folderu Ingest\Imaging\DICOM\DICOM-HDS w brązowej magazyn lakehouse.

2. Wybierz ... (wielokropek) >Prześlij>folder przesyłania.

3. Wybierz i prześlij zestaw danych obrazowania 340ImagingStudies z folderu SampleData w SampleData\Imaging\DICOM\DICOM-HDS. Alternatywnie możesz również użyć eksploratora plików OneLake lub Azure Eksplorator usługi Storage, aby przekazać przykładowy zestaw danych.

Krok 2: Uruchom potok danych obrazowania

Po przeniesieniu plików DCM/ZIP do folderu Ingest w brązowym magazyn lakehouse można teraz uruchomić potok danych obrazowania w celu uporządkowania i przetworzenia danych do srebrnego magazyn lakehouse.

1. W środowisku rozwiązań do przetwarzania danych opieki zdrowotnej otwórz potok danych healthcare#_msft_imaging_with_clinical_foundation_ingestion .

2. Wybierz przycisk Uruchom , aby rozpocząć przetwarzanie danych obrazowania od brązu do srebra magazyn lakehouse.

Ten potok danych sekwencyjnie uruchamia pięć notesów: trzy wdrożone w ramach funkcji podstaw danych opieki zdrowotnej i dwa z funkcji przekształcania danych DICOM. Aby dowiedzieć się więcej na temat tych notesów, zobacz Przekształcanie danych DICOM: artefakty.

Krok 3: Uruchom notatnik transformacji srebra w złoto

Notatka

Ten krok transformacji jest opcjonalny. Używaj go tylko wtedy, gdy chcesz dalej przekształcać dane DICOM w format wspólnego modelu danych (CDM) Observational Medical Outcomes Partnership (OMOP). W przeciwnym razie można pominąć ten krok.

Przed uruchomieniem tej transformacji należy wdrożyć i skonfigurować OMOP funkcję przekształceń w rozwiązaniach danych opieki zdrowotnej.

Po uruchomieniu potoku obrazowania dane obrazowania przekształcają się do srebrnego magazyn lakehouse. Srebrny magazyn lakehouse służy jako punkt wyjścia, w którym dane z różnych modalności zaczynają się zbiegać w ustrukturyzowany sposób. Aby jeszcze bardziej przekształcić dane w OMOP standard badawczy do użycia w funkcji Odnajdywanie i tworzenie kohort (wersja zapoznawcza), uruchom notes transformacji ze srebra na złoto.

1. W środowisku rozwiązań do obsługi danych opieki zdrowotnej otwórz notes healthcare#_msft_omop_silver_gold_transformation .

   Ten notes korzysta z interfejsów API rozwiązań OMOP danych opieki zdrowotnej w celu przekształcenia zasobów z warstwy srebrnej magazyn lakehouse na OMOP tabele delta CDM w wersji złotej magazyn lakehouse. Domyślnie nie trzeba wprowadzać żadnych zmian w konfiguracji notesu.

2. Wybierz pozycję Uruchom wszystko, aby uruchomić notes.

   Notatnik implementuje podejście OMOP śledzenia w celu śledzenia i przetwarzania nowych lub zaktualizowanych rekordów w tabeli delta ImagingStudy w srebrnym magazyn lakehouse. Przekształca dane z tabel delta FHIR w kolorze srebrnym magazyn lakehouse (w tym tabeli ImagingStudy ) na odpowiednie OMOP tabele delta w kolorze złotym magazyn lakehouse (w tym tabelę Image_Occurrence ). Aby uzyskać więcej informacji na temat tej transformacji, zobacz Mapowanie transformacji dla tabeli delta srebra na złoto.

   Aby uzyskać szczegółowe OMOP informacje o mapowaniu, zobacz FHIR tomapowanie OMOP .

Krok 4: Sprawdź poprawność danych

W rzeczywistych scenariuszach pozyskiwanie danych obejmuje źródła o różnych poziomach jakości. Aparat walidacji, szczegółowo opisany w temacie Walidacja danych, celowo wyzwala walidacje niektórych dostarczonych danych próbki obrazowania. Pliki, które nie są zgodne ze standardami DICOM, są przenoszone do folderu Niepowodzenie i nie są przetwarzane. Jednak awaria pojedynczego pliku nie zakłóca całego potoku, jak pokazano w przykładowych danych obrazowania. Potok i skojarzone notesy działają pomyślnie, ale folder Niepowodzenie w obszarze Imaging\DICOM\DICOM-HDS\YYYY\MM\DD zawiera niezgodny plik. Wszystkie inne prawidłowe pliki są przetwarzane pomyślnie, co skutkuje ogólnym pomyślnym stanem potoku. Celowo dołączamy ten nieprawidłowy plik do przykładowych danych obrazowania, aby zilustrować, w jaki sposób potok obrazowania obsługuje nieprawidłowe pliki i pomóc zidentyfikować problemy z zestawem danych.

Aby potwierdzić, że potok pomyślnie wyodrębnił wszystkie metadane z nieprzetworzonych plików DICOM, otwórz brązowy magazyn lakehouse, przełącz się na punkt końcowy analizy SQL i wybierz pozycję Nowe SQL zapytanie.

Jeśli potok działał poprawnie, w tabeli ImagingDicom musi być widocznych 7739 pomyślnie przetworzonych wystąpień DICOM . Aby to zweryfikować, uruchom następujące SQL zapytanie. Aby pomyślnie przetworzyć dane, w okienku Wyniki powinien zostać wyświetlony ciąg 7739 . Liczba ta reprezentuje całkowitą liczbę instancji DICOM w danych próbki, obejmujących dane z różnych modalności, takich jak tomografia komputerowa (CT) i rezonans magnetyczny (MRI).

select count(*) from ImagingDicom

Aby potwierdzić, że potok pomyślnie nawodnił magazyny lakehouse, otwórz srebrny magazyn lakehouse, przełącz się na punkt końcowy analizy SQL i wybierz pozycję Nowe SQL zapytanie. Aby uzyskać poprawny przebieg potoku, musisz zobaczyć 339 pomyślnie przetworzonych zasobów ImagingStudy . Aby to zweryfikować, uruchom następujące SQL zapytanie. Początkowo zaczynamy od 340 zasobów ImagingStudy , ale podczas przetwarzania napotykamy błąd.

 select count(*) from ImagingStudy

Opcja 2: Integracja z usługą DICOM

Ważne

Użyj tej opcji przekształcania tylko wtedy, gdy używasz usługi DICOM Azure Health Data Services i wdrożyłeś interfejs API DICOM.

To podejście do transformacji rozszerza wzorzec Bring Your Own Storage (BYOS) o usługę DICOM Azure Health Data Services. Usługa DICOM to podzbiór interfejsów API DICOMweb, które umożliwiają przechowywanie, przeglądanie, wyszukiwanie i usuwanie obiektów DICOM. Integruje się ona z Azure Data Lake Storage kontem Gen2 połączonym z obszarem roboczym sieci szkieletowej, dzięki czemu potok transformacji może bezpośrednio uzyskiwać dostęp do danych DICOM.

Alternatywnie możesz pominąć korzystanie z interfejsu API Azure DICOM i pozyskać pliki DICOM przechowywane na koncie Data Lake Storage Gen2 (w tym przypadku zacznij od krok 5).

1. Przejrzyj i ukończ konfigurację w temacie Wdrażanie interfejsu API DICOM w usługach danych kondycji Azure.

2. Po wdrożeniu usługi DICOM Azure należy użyć interfejsu API Sklep (STOW-RS) w celu pozyskania plików DCM. Przetestuj to, pobierając plik DCM z przykładowych danych obrazowania przy użyciu eksploratora plików OneLake lub Azure Eksploratora usługi Storage.

3. W zależności od preferowanego języka prześlij pliki DCM na serwer, korzystając z jednej z następujących opcji:

   • Używanie standardowych interfejsów API DICOMweb z językiem C#
   • Używanie standardowych interfejsów API DICOMweb z językiem cURL
   • Używanie standardowych interfejsów API DICOMweb z językiem Python

4. Sprawdź, czy przekazywanie pliku powiodło się:

   1. W portalu #Azure wybierz konto magazynu połączone z usługą DICOM.
   2. Przejdź do pozycji Kontenery i postępuj zgodnie ze ścieżką [ContainerName]/AHDS/[AzureHealthDataServicesWorkspaceName]/dicom/[DICOMServiceName].
   3. Sprawdź, czy widzisz przesłany tutaj plik DCM.

   

   Notatka

   • Nazwa pliku może ulec zmianie po przesłaniu na serwer. Jednak zawartość pliku pozostaje niezmieniona.
   • Aby uzyskać informacje na temat limitów rozmiaru plików, zobacz Rozmiar pliku pozyskiwania.

5. Utwórz skrót w brązowym magazyn lakehouse dla pliku DICOM przechowywanego w lokalizacji Data Lake Storage Gen2. Wykonaj kroki opisane w temacie Tworzenie skrótu Azure Data Lake Storage Gen2.

   • W przypadku usługi Azure DICOM upewnij się, że używasz konta Data Lake Storage Gen2 utworzonego za pomocą usługi.
   • Jeśli nie korzystasz z usługi Azure DICOM, możesz utworzyć nowe konto Data Lake Storage Gen2 lub użyć istniejącego. Aby dowiedzieć się więcej, zobacz Tworzenie konta magazynu do użycia Azure Data Lake Storage.

   Aby zachować spójność, użyj następującej struktury folderów, aby utworzyć skrót: Files\External\Imaging\DICOM\[Namespace]\[BYOSShortcutName] Wartość Namespace ta zapewnia logiczną separację skrótów z różnych systemów źródłowych. Na przykład możesz użyć nazwy Data Lake Storage Gen2 dla Namespace wartości.

   

   Notatka

   Skróty OneLake obsługują również wiele systemów pamięci masowej poza Data Lake Storage Gen2. Aby uzyskać pełną listę obsługiwanych typów magazynu, zobacz Skróty usługi OneLake.

6. Skonfiguruj administratora magazyn lakehouse , aby włączyć BYOS:

   1. Przejdź do healthcare#_msft_admin magazyn lakehouse i otwórz plik deploymentParametersConfiguration.json poniżej Files\system-configurations.

   2. Włącz ustawienie BYOS w tym pliku konfiguracyjnym. Użyj eksploratora plików OneLake, aby otworzyć plik deploymentParametersConfiguration.json z następującej ścieżki folderu: OneLake - Microsoft\[WorkspaceName]\healthcare#_msft_admin.Lakehouse\Files\system-configurations Użyj dowolnego edytora JSON lub edytora tekstu (takiego jak Notatnik systemu Windows), aby otworzyć plik, wyszukać byos_enabled parametr i ustawić go na wartość true.

      

7. Funkcja przekształcania danych DICOM może teraz uzyskiwać dostęp do wszystkich plików DICOM w ich źródłowej lokalizacji Data Lake Storage Gen2, niezależnie od hierarchii/struktury folderów. Nie musisz ręcznie pozyskiwać plików DICOM, jak to ma miejsce w opcji Pozyskiwanie . Rozpocznij wykonywanie odKrok 2: Uruchom potok danych obrazowania w poprzedniej sekcji, aby użyć potoku obrazowania i przekształcić dane DICOM.

Notatka

Aby zapoznać się z ograniczeniami integracji z usługą DICOM Azure Health Data Services, zobacz Integracja z usługą DICOM.

Informacje pokrewne

• Mapowanie transformacji metadanych DICOM w rozwiązaniach do obsługi danych medycznych
• Wdrażanie i konfigurowanie przekształcania danych DICOM
• Korzystanie z rozważań przekształcenia danych DICOM