Udostępnij za pośrednictwem

Pobieranie działania metadanych w usłudze Azure Data Factory lub Azure Synapse Analytics

  • Artykuł

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Możesz użyć działania Pobierz metadane, aby pobrać metadane dowolnego danych w usłudze Azure Data Factory lub potoku usługi Synapse. Możesz użyć danych wyjściowych z działania Pobierz metadane w wyrażeniach warunkowych, aby przeprowadzić walidację, lub użyć metadanych w kolejnych działaniach.

Tworzenie działania Pobieranie metadanych za pomocą interfejsu użytkownika

Aby użyć działania Pobierz metadane w potoku, wykonaj następujące kroki:

  1. Wyszukaj ciąg Pobierz metadane w okienku Działania potoku i przeciągnij działanie Niepowodzenie na kanwę potoku.

  2. Wybierz nowe działanie Pobierz metadane na kanwie, jeśli nie zostało jeszcze wybrane, a jego karta Ustawienia , aby edytować jego szczegóły.

  3. Wybierz zestaw danych lub utwórz nowy za pomocą przycisku Nowy. Następnie możesz określić opcje filtrowania i dodać kolumny z dostępnych metadanych dla zestawu danych.

    Pokazuje interfejs użytkownika dla działania Pobierz metadane.

  4. Użyj danych wyjściowych działania jako danych wejściowych do innego działania, takiego jak działanie Switch w tym przykładzie. Możesz odwoływać się do danych wyjściowych działania metadanych w dowolnym miejscu zawartości dynamicznej, która jest obsługiwana w innym działaniu.

    Pokazuje potok z dodanym działaniem Switch w celu obsługi danych wyjściowych działania Pobierz metadane.

  5. W edytorze zawartości dynamicznej wybierz dane wyjściowe działania Pobierz metadane, aby odwoływać się do niego w innym działaniu.

    Pokazuje dynamiczny edytor zawartości z danymi wyjściowymi działania Pobierz metadane jako zawartość dynamiczną.

Obsługiwane możliwości

Działanie Pobierz metadane pobiera zestaw danych jako dane wejściowe i zwraca informacje o metadanych jako dane wyjściowe. Obecnie obsługiwane są następujące łączniki i odpowiednie metadane umożliwiające pobieranie. Maksymalny rozmiar zwracanych metadanych wynosi 4 MB.

Obsługiwane łączniki

File Storage

Łącznik/metadane itemName
(plik/folder)		 itemType
(plik/folder)		 size
(plik)		 utworzone
(plik/folder)		 lastModified1
(plik/folder)		 childItems
(folder)		 contentMD5
(plik)		 struktura2
(plik)		 columnCount2
(plik)		 istnieje3
(plik/folder)
Amazon S3 √/√ √/√ √ x/x √/√ √ x √ √ √/√
Magazyn zgodny z usługą Amazon S3 √/√ √/√ √ x/x √/√ √ x √ √ √/√
Google Cloud Storage √/√ √/√ √ x/x √/√ √ x √ √ √/√
Oracle Cloud Storage √/√ √/√ √ x/x √/√ √ x √ √ √/√
Azure Blob Storage √/√ √/√ √ x/x √/√ √ √ √ √ √/√
Usługa Azure Data Lake Storage 1. generacji √/√ √/√ √ x/x √/√ √ x √ √ √/√
Azure Data Lake Storage Gen2 √/√ √/√ √ x/x √/√ √ √ √ √ √/√
Azure Files √/√ √/√ √ √/√ √/√ √ x √ √ √/√
Microsoft Fabric Lakehouse √/√ √/√ √ x/x √/√ √ √ √ √ √/√
System plików √/√ √/√ √ √/√ √/√ √ x √ √ √/√
SFTP √/√ √/√ √ x/x √/√ √ x √ √ √/√
FTP √/√ √/√ √ x/x x/x √ x √ √ √/√

1 Metadane lastModified:

  • W przypadku usług Amazon S3, Amazon S3 Compatible Storage, Google Cloud Storage i Oracle Cloud Storage lastModified ma zastosowanie do zasobnika i klucza, ale nie do folderu wirtualnego, i exists dotyczy zasobnika i klucza, ale nie do prefiksu lub folderu wirtualnego.
  • W przypadku usługi Azure Blob Storage dotyczy kontenera i obiektu blob, lastModified ale nie do folderu wirtualnego.

2 Metadane structure i columnCount nie są obsługiwane podczas pobierania metadanych z plików binarnych, JSON lub XML.

3 Metadane exists: w przypadku usług Amazon S3, Magazyn zgodny z usługą Amazon S3, Google Cloud Storage i Oracle Cloud Storage mają zastosowanie do zasobnika i klucza, exists ale nie do prefiksu lub folderu wirtualnego.

Należy zwrócić uwagę na następujące kwestie:

  • W przypadku korzystania z działania Pobierz metadane względem folderu upewnij się, że masz uprawnienie LIST/EXECUTE do danego folderu.

  • Filtr z symbolami wieloznacznymi w folderach/plikach nie jest obsługiwany w przypadku działania Pobierz metadane.

  • modifiedDatetimeStart i modifiedDatetimeEnd filtr ustawiony na łączniku:

    • Te dwie właściwości są używane do filtrowania elementów podrzędnych podczas pobierania metadanych z folderu. Nie ma zastosowania podczas pobierania metadanych z pliku.
    • Gdy taki filtr jest używany, childItems dane wyjściowe w danych wyjściowych zawierają tylko pliki, które są modyfikowane w określonym zakresie, ale nie w folderach.
    • Aby zastosować taki filtr, działanie GetMetadata wylicza wszystkie pliki w określonym folderze i sprawdza czas modyfikacji. Unikaj wskazywania folderu z dużą liczbą plików, nawet jeśli oczekiwana liczba kwalifikowanych plików jest mała.

Relacyjna baza danych

Łącznik/metadane — struktura columnCount istnieje
Usługa Amazon RDS dla programu SQL Server √ √ √
Azure SQL Database √ √ √
Wystąpienie zarządzane Azure SQL √ √ √
Azure Synapse Analytics √ √ √
SQL Server √ √ √

Opcje metadanych

Aby pobrać odpowiednie informacje, możesz określić następujące typy metadanych na liście pól Pobieranie metadanych:

Typ metadanych opis
itemName Nazwa pliku lub folderu.
itemType Typ pliku lub folderu. Zwracana wartość to File lub Folder.
size Rozmiar pliku w bajtach. Dotyczy tylko plików.
utworzone Utworzono datę/godzinę pliku lub folderu.
lastModified Data ostatniej modyfikacji pliku lub folderu.
childItems Lista podfolderów i plików w danym folderze. Dotyczy tylko folderów. Zwracana wartość jest listą nazwy i typu każdego elementu podrzędnego.
contentMD5 MD5 pliku. Dotyczy tylko plików.
— struktura Struktura danych pliku lub relacyjnej tabeli bazy danych. Zwracana wartość to lista nazw kolumn i typów kolumn.
columnCount Liczba kolumn w pliku lub tabeli relacyjnej.
istnieje Określa, czy plik, folder lub tabela istnieje. Jeśli exists zostanie określona na liście pól Pobierz metadane, działanie nie powiedzie się nawet wtedy, gdy plik, folder lub tabela nie istnieje. exists: false Zamiast tego jest zwracany w danych wyjściowych.

Napiwek

Jeśli chcesz sprawdzić, czy plik, folder lub tabela istnieje, określ exists je na liście Pól działania Pobierz metadane. Następnie możesz sprawdzić exists: true/false wynik w danych wyjściowych działania. Jeśli exists nie zostanie określona na liście pól, działanie Pobierz metadane zakończy się niepowodzeniem, jeśli obiekt nie zostanie znaleziony.

Uwaga

Po pobraniu metadanych z magazynów plików i skonfigurowaniu modifiedDatetimeStart elementu lub modifiedDatetimeEndchildItems , w danych wyjściowych znajdują się tylko pliki w określonej ścieżce, które mają czas ostatniej modyfikacji w określonym zakresie. Elementy w podfolderach nie są uwzględniane.

Uwaga

Aby lista pól Struktura dostarczała rzeczywistą strukturę danych dla rozdzielanych zestawów danych tekstowych i zestawów danych w formacie programu Excel, należy włączyć First Row as Header właściwość, która jest obsługiwana tylko dla tych źródeł danych.

Składnia

Działanie Pobieranie metadanych

{
    "name":"MyActivity",
    "type":"GetMetadata",
    "dependsOn":[

    ],
    "policy":{
        "timeout":"7.00:00:00",
        "retry":0,
        "retryIntervalInSeconds":30,
        "secureOutput":false,
        "secureInput":false
    },
    "userProperties":[

    ],
    "typeProperties":{
        "dataset":{
            "referenceName":"MyDataset",
            "type":"DatasetReference"
        },
        "fieldList":[
            "size",
            "lastModified",
            "structure"
        ],
        "storeSettings":{
            "type":"AzureBlobStorageReadSettings"
        },
        "formatSettings":{
            "type":"JsonReadSettings"
        }
    }
}

Dataset

{
    "name":"MyDataset",
    "properties":{
        "linkedServiceName":{
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[

        ],
        "type":"Json",
        "typeProperties":{
            "location":{
                "type":"AzureBlobStorageLocation",
                "fileName":"file.json",
                "folderPath":"folder",
                "container":"container"
            }
        }
    }
}

Właściwości typu

Obecnie działanie Pobierz metadane może zwrócić następujące typy informacji o metadanych:

Właściwości Opis Wymagania
fieldList Wymagane typy informacji o metadanych. Aby uzyskać szczegółowe informacje na temat obsługiwanych metadanych, zobacz sekcję Opcje metadanych w tym artykule. Tak
zestaw danych Zestaw danych referencyjnych, którego metadane mają być pobierane przez działanie Pobierz metadane. Aby uzyskać informacje na temat obsługiwanych łączników, zobacz sekcję Możliwości . Zapoznaj się z konkretnymi tematami łącznika, aby uzyskać szczegółowe informacje o składni zestawu danych. Tak
formatUstawienia Zastosuj w przypadku używania zestawu danych typu formatu. Nie.
storeSettings Zastosuj w przypadku używania zestawu danych typu formatu. Nie.

Przykładowe dane wyjściowe

Wyniki pobierania metadanych są wyświetlane w danych wyjściowych działania. Poniżej przedstawiono dwa przykłady przedstawiające obszerne opcje metadanych. Aby użyć wyników w kolejnym działaniu, użyj tego wzorca: @{activity('MyGetMetadataActivity').output.itemName}.

Pobieranie metadanych pliku

{
  "exists": true,
  "itemName": "test.csv",
  "itemType": "File",
  "size": 104857600,
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
  "structure": [
    {
        "name": "id",
        "type": "Int64"
    },
    {
        "name": "name",
        "type": "String"
    }
  ],
  "columnCount": 2
}

Pobieranie metadanych folderu

{
  "exists": true,
  "itemName": "testFolder",
  "itemType": "Folder",
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "childItems": [
    {
      "name": "test.avro",
      "type": "File"
    },
    {
      "name": "folder hello",
      "type": "Folder"
    }
  ]
}

Powiązana zawartość

Dowiedz się więcej o innych obsługiwanych działaniach przepływu sterowania: