Vytvoření datových sad

Dokončeno

Datová sada je pojmenované zobrazení dat, které jednoduše odkazuje nebo odkazuje na data, která chcete použít ve svých aktivitách jako vstupy a výstupy. Datové sady identifikují data v rámci různých úložišť dat, jako jsou tabulky, soubory, složky a dokumenty. Datová sada objektu blob Azure například určuje kontejner objektů blob a složku v úložišti objektů blob, ze kterých by měla aktivita číst data.

Datovou sadu ve službě Data Factory je možné definovat jako objekt v rámci aktivity kopírování dat, jako samostatný objekt nebo ve formátu JSON pro programové vytváření následujícím způsobem:

{
    "name": "<name of dataset>",
    "properties": {
        "type": "<type of dataset: AzureBlob, AzureSql etc...>",
        "linkedServiceName": {
                "referenceName": "<name of linked service>",
                "type": "LinkedServiceReference",
        },
        "schema": [
            {
                "name": "<Name of the column>",
                "type": "<Name of the type>"
            }
        ],
        "typeProperties": {
            "<type specific property>": "<value>",
            "<type specific property 2>": "<value 2>",
        }
    }
}

Následující tabulka popisuje vlastnosti ve výše uvedeném formátu JSON:

Vlastnost	Popis	Povinní účastníci
name	Název datové sady	Ano
type	Typ datové sady Zadejte jeden z typů podporovaných službou Data Factory (například AzureBlob, AzureSqlTable).	Ano
Schéma	Schéma datové sady	No
typeProperties	Vlastnosti typu se pro každý typ liší (například Azure Blob, Tabulka Azure SQL).	Ano

Příklad datové sady

Azure Blob

V tomto postupu vytvoříte dvě datové sady:InputDataset a OutputDataset. Tyto datové sady jsou typu Binary. Odkazují na propojenou službu Azure Storage s názvem AzureStorageLinkedService. Vstupní datová sada představuje zdrojová data ve vstupní složce. V definici vstupní datové sady určíte kontejner objektů blob (adftutorial), složku (input) a soubor (emp.txt) obsahující zdrojová data. Výstupní datová sada představuje data kopírovaná do cíle. V definici výstupní datové sady určíte kontejner objektů blob (adftutorial), složku (output) a soubor, do kterého se data kopírují.

1. Na ploše vytvořte složku s názvem ADFv2QuickStartPSH na jednotce C.

2. Ve složce C:\ADFv2QuickStartPSH vytvořte soubor JSON s názvem InputDataset.json s následujícím obsahem:

     {
         "name": "InputDataset",
         "properties": {
             "linkedServiceName": {
                 "referenceName": "AzureStorageLinkedService",
                 "type": "LinkedServiceReference"
             },
             "annotations": [],
             "type": "Binary",
             "typeProperties": {
                 "location": {
                     "type": "AzureBlobStorageLocation",
                     "fileName": "emp.txt",
                     "folderPath": "input",
                     "container": "adftutorial"
                 }
             }
         }
     }
   
     ```
   
   

3. Pokud chcete vytvořit datovou sadu: InputDataset, spusťte rutinu Set-AzDataFactoryV2Dataset.

   Set-AzDataFactoryV2Dataset -DataFactoryName $DataFactory.DataFactoryName `
       -ResourceGroupName $ResGrp.ResourceGroupName -Name "InputDataset" `
       -DefinitionFile ".\InputDataset.json"
   

   Tady je ukázkový výstup:

   DatasetName       : InputDataset
   ResourceGroupName : <resourceGroupname>
   DataFactoryName   : <dataFactoryName>
   Structure         :
   Properties        : Microsoft.Azure.Management.DataFactory.Models.BinaryDataset
   

4. Pomocí stejného postupu vytvořte výstupní datovou sadu. Ve složce C:\ADFv2QuickStartPSH vytvořte soubor JSON s názvem OutputDataset.json s následujícím obsahem:

   {
       "name": "OutputDataset",
       "properties": {
           "linkedServiceName": {
               "referenceName": "AzureStorageLinkedService",
               "type": "LinkedServiceReference"
           },
           "annotations": [],
           "type": "Binary",
           "typeProperties": {
               "location": {
                   "type": "AzureBlobStorageLocation",
                   "folderPath": "output",
                   "container": "adftutorial"
               }
           }
       }
   }
   

5. Spuštěním rutiny Set-AzDataFactoryV2Dataset vytvořte OutDataset.

   Set-AzDataFactoryV2Dataset -DataFactoryName $DataFactory.DataFactoryName `
       -ResourceGroupName $ResGrp.ResourceGroupName -Name "OutputDataset" `
       -DefinitionFile ".\OutputDataset.json"
   

   Tady je ukázkový výstup:

   DatasetName       : OutputDataset
   ResourceGroupName : <resourceGroupname>
   DataFactoryName   : <dataFactoryName>
   Structure         :
   Properties        : Microsoft.Azure.Management.DataFactory.Models.BinaryDataset