Udostępnij za pośrednictwem

Microsoft.MachineLearningServices workspaces/datasets 2020-05-01-preview

  • Artykuł

Definicja zasobu Bicep

Typ zasobu obszarów roboczych/zestawów danych można wdrożyć z operacjami docelowymi:

Aby uzyskać listę zmienionych właściwości w każdej wersji interfejsu API, zobacz dziennik zmian.

Format zasobu

Aby utworzyć zasób Microsoft.MachineLearningServices/workspaces/datasets, dodaj następujący kod Bicep do szablonu.

resource symbolicname 'Microsoft.MachineLearningServices/workspaces/datasets@2020-05-01-preview' = {
  name: 'string'
  parent: resourceSymbolicName
  datasetType: 'string'
  parameters: {
    header: 'string'
    includePath: bool
    partitionFormat: 'string'
    path: {
      dataPath: {
        datastoreName: 'string'
        relativePath: 'string'
      }
      httpUrl: 'string'
    }
    query: {
      datastoreName: 'string'
      query: 'string'
    }
    separator: 'string'
    sourceType: 'string'
  }
  registration: {
    description: 'string'
    name: 'string'
    tags: {}
  }
  skipValidation: bool
  timeSeries: {
    coarseGrainTimestamp: 'string'
    fineGrainTimestamp: 'string'
  }
}

Wartości właściwości

obszary robocze/zestawy danych

Nazwa Opis Wartość
name Nazwa zasobu

Zobacz, jak ustawić nazwy i typy dla zasobów podrzędnych w aplikacji Bicep.		 ciąg (wymagany)
Nadrzędny W pliku Bicep można określić zasób nadrzędny dla zasobu podrzędnego. Tę właściwość należy dodać tylko wtedy, gdy zasób podrzędny jest zadeklarowany poza zasobem nadrzędnym.

Aby uzyskać więcej informacji, zobacz Zasób podrzędny poza zasobem nadrzędnym.		 Symboliczna nazwa zasobu typu: obszary robocze
datasetType Określa typ zestawu danych. "plik"
"Tabelaryczny" (wymagany)
parameters DatasetCreateRequestParameters (wymagane)
rejestracja DatasetCreateRequestRegistration (wymagane)
skipValidation Pomiń walidację, która gwarantuje, że dane można załadować z zestawu danych przed rejestracją. bool
timeSeries DatasetCreateRequestTimeSeries

DatasetCreateRequestParameters

Nazwa Opis Wartość
header Typ nagłówka. "all_files_have_same_headers"
"combine_all_files_headers"
"no_headers"
"only_first_file_has_headers"
includePath Wartość logiczna, aby zachować informacje o ścieżce jako kolumnę w zestawie danych. Wartość domyślna to False. Jest to przydatne podczas odczytywania wielu plików i chce wiedzieć, z którego pliku pochodzi określony rekord, lub zachować przydatne informacje w ścieżce pliku. bool
partitionFormat Informacje o partycji każdej ścieżki zostaną wyodrębnione do kolumn na podstawie określonego formatu. Część formatu "{column_name}" tworzy kolumnę ciągu i "{column_name:rrrr/MM/dd/HH/mm/ss}" tworzy kolumnę datetime, gdzie "rrrr", "MM", "dd", "HH", "mm" i "ss" są używane do wyodrębniania roku, miesiąca, dnia, godziny, minuty i sekundy dla typu daty/godziny. Format powinien rozpoczynać się od pozycji pierwszego klucza partycji do końca ścieżki pliku. Na przykład podana ścieżka '.. /USA/2019/01/01/data.parquet, gdzie partycja jest według kraju/regionu i czasu, partition_format='/{CountryOrRegion}/{PartitionDate:rrrr/MM/dd}/data.csv" tworzy kolumnę ciągu "CountryOrRegion" z wartością "USA" i kolumną datetime "PartitionDate" o wartości "2019-01-01-01" ciąg
path DatasetCreateRequestParametersPath
query DatasetCreateRequestParametersQuery
Separator Separator używany do dzielenia kolumn dla typu sourceType "delimited_files". ciąg
Sourcetype Typ źródła danych. "delimited_files"
"json_lines_files"
"parquet_files"

DatasetCreateRequestParametersPath

Nazwa Opis Wartość
dataPath DatasetCreateRequestParametersPathDataPath
httpUrl Adres URL http. ciąg

DatasetCreateRequestParametersPathDataPath

Nazwa Opis Wartość
datastoreName Nazwa magazynu danych. ciąg
relativePath Ścieżka w magazynie danych. ciąg

DatasetCreateRequestParametersQuery

Nazwa Opis Wartość
datastoreName Nazwa magazynu danych SQL/PostgreSQL/MySQL. ciąg
query Zapytanie SQL. ciąg

DatasetCreateRequestRegistration

Nazwa Opis Wartość
description (opis) Opis zestawu danych. ciąg
name Nazwa zestawu danych. ciąg
tags Tagi skojarzone z zestawem danych. object

DatasetCreateRequestTimeSeries

Nazwa Opis Wartość
coarseGrainTimestamp Nazwa kolumny, która ma być używana jako CoarseGrainTimestamp. Można użyć tylko wtedy, gdy określono parametr "fineGrainTimestamp" i nie może być taki sam jak "fineGrainTimestamp". ciąg
fineGrainTimestamp Nazwa kolumny do użycia jako FineGrainTimestamp ciąg

Szablony szybkiego startu

Następujące szablony szybkiego startu wdrażają ten typ zasobu.

Template Opis
Tworzenie zestawu danych pliku na podstawie ścieżki względnej w magazynie danych

Wdróż na platformie Azure 		Ten szablon tworzy zestaw danych pliku na podstawie ścieżki względnej w magazynie danych w obszarze roboczym usługi Azure Machine Learning.
Tworzenie zestawu danych plików w obszarze roboczym usługi AML na podstawie internetowego adresu URL

Wdróż na platformie Azure 		Ten szablon tworzy zestaw danych pliku na podstawie adresu URL sieci Web w obszarze roboczym usługi Azure Machine Learning.
Tworzenie tabelarycznego zestawu danych na podstawie ścieżki względnej w magazynie danych

Wdróż na platformie Azure 		Ten szablon tworzy tabelaryczny zestaw danych na podstawie ścieżki względnej w magazynie danych w obszarze roboczym usługi Azure Machine Learning.
Tworzenie tabelarycznego zestawu danych z magazynu danych SQL/PostgreSQL/MySQL

Wdróż na platformie Azure 		Ten szablon tworzy tabelaryczny zestaw danych na podstawie zapytania SQL w magazynie danych SQL/PostgreSQL/MySQL w obszarze roboczym usługi Azure Machine Learning.
Tworzenie tabelarycznego zestawu danych w obszarze roboczym usługi AML na podstawie internetowego adresu URL

Wdróż na platformie Azure 		Ten szablon tworzy tabelaryczny zestaw danych na podstawie internetowego adresu URL w obszarze roboczym usługi Azure Machine Learning.
Tworzenie obszaru roboczego usługi AML z wieloma zestawami danych & Magazyny danych

Wdróż na platformie Azure 		Ten szablon umożliwia utworzenie obszaru roboczego usługi Azure Machine Learning z wieloma zestawami danych & magazynami danych.

Definicja zasobu szablonu usługi ARM

Typ zasobu obszary robocze/zestawy danych można wdrożyć z operacjami docelowymi:

Aby uzyskać listę zmienionych właściwości w każdej wersji interfejsu API, zobacz dziennik zmian.

Format zasobu

Aby utworzyć zasób Microsoft.MachineLearningServices/workspaces/datasets, dodaj następujący kod JSON do szablonu.

{
  "type": "Microsoft.MachineLearningServices/workspaces/datasets",
  "apiVersion": "2020-05-01-preview",
  "name": "string",
  "datasetType": "string",
  "parameters": {
    "header": "string",
    "includePath": "bool",
    "partitionFormat": "string",
    "path": {
      "dataPath": {
        "datastoreName": "string",
        "relativePath": "string"
      },
      "httpUrl": "string"
    },
    "query": {
      "datastoreName": "string",
      "query": "string"
    },
    "separator": "string",
    "sourceType": "string"
  },
  "registration": {
    "description": "string",
    "name": "string",
    "tags": {}
  },
  "skipValidation": "bool",
  "timeSeries": {
    "coarseGrainTimestamp": "string",
    "fineGrainTimestamp": "string"
  }
}

Wartości właściwości

obszary robocze/zestawy danych

Nazwa Opis Wartość
typ Typ zasobu "Microsoft.MachineLearningServices/workspaces/datasets"
apiVersion Wersja interfejsu API zasobów "2020-05-01-preview"
name Nazwa zasobu

Zobacz, jak ustawić nazwy i typy dla zasobów podrzędnych w szablonach usługi ARM w formacie JSON.		 ciąg (wymagany)
datasetType Określa typ zestawu danych. "plik"
"Tabelaryczny" (wymagany)
parameters DatasetCreateRequestParameters (wymagane)
rejestracja DatasetCreateRequestRegistration (wymagane)
skipValidation Pomiń walidację, która gwarantuje, że dane można załadować z zestawu danych przed rejestracją. bool
timeSeries DatasetCreateRequestTimeSeries

DatasetCreateRequestParameters

Nazwa Opis Wartość
header Typ nagłówka. "all_files_have_same_headers"
"combine_all_files_headers"
"no_headers"
"only_first_file_has_headers"
includePath Wartość logiczna do przechowywania informacji o ścieżce jako kolumny w zestawie danych. Wartość domyślna to False. Jest to przydatne podczas odczytywania wielu plików i chce wiedzieć, z którego pliku pochodzi określony rekord, lub zachować przydatne informacje w ścieżce pliku. bool
partitionFormat Informacje o partycji każdej ścieżki zostaną wyodrębnione do kolumn na podstawie określonego formatu. Część formatu "{column_name}" tworzy kolumnę ciągu i "{column_name:rrrr/MM/dd/HH/mm/ss}" tworzy kolumnę datetime, gdzie "rrrr", "MM", "dd", "HH", "mm" i "ss" są używane do wyodrębniania roku, miesiąca, dnia, godziny, minuty i sekundy dla typu data/godzina. Format powinien rozpoczynać się od pozycji pierwszego klucza partycji do końca ścieżki pliku. Na przykład podana ścieżka '.. /USA/2019/01/01/data.parquet, gdzie partycja jest według kraju/regionu i czasu, partition_format='/{CountryOrRegion}/{PartitionDate:rrrr/MM/dd}/data.csv" tworzy kolumnę ciągu "CountryOrRegion" z wartością "USA" i kolumną datetime "PartitionDate" o wartości "2019-01-01-01" ciąg
path DatasetCreateRequestParametersPath
query DatasetCreateRequestParametersQuery
Separator Separator używany do dzielenia kolumn dla typu sourceType "delimited_files". ciąg
Sourcetype Typ źródła danych. "delimited_files"
"json_lines_files"
"parquet_files"

DatasetCreateRequestParametersPath

Nazwa Opis Wartość
dataPath DatasetCreateRequestParametersPathDataPath
httpUrl Adres URL http. ciąg

DatasetCreateRequestParametersPathDataPath

Nazwa Opis Wartość
datastoreName Nazwa magazynu danych. ciąg
relativePath Ścieżka w magazynie danych. ciąg

DatasetCreateRequestParametersQuery

Nazwa Opis Wartość
datastoreName Nazwa magazynu danych SQL/PostgreSQL/MySQL. ciąg
query Zapytanie SQL. ciąg

DatasetCreateRequestRegistration

Nazwa Opis Wartość
description (opis) Opis zestawu danych. ciąg
name Nazwa zestawu danych. ciąg
tags Tagi skojarzone z zestawem danych. object

DatasetCreateRequestTimeSeries

Nazwa Opis Wartość
coarseGrainTimestamp Nazwa kolumny do użycia jako CoarseGrainTimestamp. Można użyć tylko wtedy, gdy określono parametr "fineGrainTimestamp" i nie może być taki sam jak "fineGrainTimestamp". ciąg
fineGrainTimestamp Nazwa kolumny do użycia jako FineGrainTimestamp ciąg

Szablony szybkiego startu

Następujące szablony szybkiego startu wdrażają ten typ zasobu.

Template Opis
Tworzenie zestawu danych plików na podstawie ścieżki względnej w magazynie danych

Wdróż na platformie Azure 		Ten szablon tworzy zestaw danych plików na podstawie ścieżki względnej w magazynie danych w obszarze roboczym usługi Azure Machine Learning.
Tworzenie zestawu danych plików w obszarze roboczym AML na podstawie adresu URL sieci Web

Wdróż na platformie Azure 		Ten szablon tworzy zestaw danych plików z adresu URL sieci Web w obszarze roboczym usługi Azure Machine Learning.
Tworzenie tabelarycznego zestawu danych na podstawie ścieżki względnej w magazynie danych

Wdróż na platformie Azure 		Ten szablon tworzy tabelaryczny zestaw danych na podstawie ścieżki względnej w magazynie danych w obszarze roboczym usługi Azure Machine Learning.
Tworzenie tabelarycznego zestawu danych z magazynu danych SQL/PostgreSQL/MySQL

Wdróż na platformie Azure 		Ten szablon tworzy tabelaryczny zestaw danych z zapytania SQL w magazynie danych SQL/PostgreSQL/MySQL w obszarze roboczym usługi Azure Machine Learning.
Tworzenie tabelarycznego zestawu danych w obszarze roboczym AML na podstawie adresu URL sieci Web

Wdróż na platformie Azure 		Ten szablon tworzy tabelaryczny zestaw danych z adresu URL sieci Web w obszarze roboczym usługi Azure Machine Learning.
Tworzenie obszaru roboczego AML z wieloma zestawami danych & Magazyny danych

Wdróż na platformie Azure 		Ten szablon tworzy obszar roboczy usługi Azure Machine Learning z wieloma zestawami danych & magazynów danych.

Definicja zasobu narzędzia Terraform (dostawcy AzAPI)

Typ zasobu obszarów roboczych/zestawów danych można wdrożyć z operacjami docelowymi:

  • Grupy zasobów

Aby uzyskać listę zmienionych właściwości w każdej wersji interfejsu API, zobacz dziennik zmian.

Format zasobu

Aby utworzyć zasób Microsoft.MachineLearningServices/workspaces/datasets, dodaj następujący program Terraform do szablonu.

resource "azapi_resource" "symbolicname" {
  type = "Microsoft.MachineLearningServices/workspaces/datasets@2020-05-01-preview"
  name = "string"
  parent_id = "string"
  body = jsonencode({
    datasetType = "string"
    parameters = {
      header = "string"
      includePath = bool
      partitionFormat = "string"
      path = {
        dataPath = {
          datastoreName = "string"
          relativePath = "string"
        }
        httpUrl = "string"
      }
      query = {
        datastoreName = "string"
        query = "string"
      }
      separator = "string"
      sourceType = "string"
    }
    registration = {
      description = "string"
      name = "string"
      tags = {}
    }
    skipValidation = bool
    timeSeries = {
      coarseGrainTimestamp = "string"
      fineGrainTimestamp = "string"
    }
  })
}

Wartości właściwości

obszary robocze/zestawy danych

Nazwa Opis Wartość
typ Typ zasobu "Microsoft.MachineLearningServices/workspaces/datasets@2020-05-01-preview"
name Nazwa zasobu ciąg (wymagany)
parent_id Identyfikator zasobu, który jest elementem nadrzędnym dla tego zasobu. Identyfikator zasobu typu: obszary robocze
datasetType Określa typ zestawu danych. "plik"
"Tabelaryczny" (wymagany)
parameters DatasetCreateRequestParameters (wymagane)
rejestracja DatasetCreateRequestRegistration (wymagane)
skipValidation Pomiń walidację, która gwarantuje, że dane można załadować z zestawu danych przed rejestracją. bool
timeSeries DatasetCreateRequestTimeSeries

DatasetCreateRequestParameters

Nazwa Opis Wartość
header Typ nagłówka. "all_files_have_same_headers"
"combine_all_files_headers"
"no_headers"
"only_first_file_has_headers"
includePath Wartość logiczna do przechowywania informacji o ścieżce jako kolumny w zestawie danych. Wartość domyślna to False. Jest to przydatne podczas odczytywania wielu plików i chce wiedzieć, z którego pliku pochodzi określony rekord, lub zachować przydatne informacje w ścieżce pliku. bool
partitionFormat Informacje o partycji każdej ścieżki zostaną wyodrębnione do kolumn na podstawie określonego formatu. Część formatu "{column_name}" tworzy kolumnę ciągu i "{column_name:rrrr/MM/dd/HH/mm/ss}" tworzy kolumnę datetime, gdzie "rrrr", "MM", "dd", "HH", "mm" i "ss" są używane do wyodrębniania roku, miesiąca, dnia, godziny, minuty i sekundy dla typu data/godzina. Format powinien rozpoczynać się od pozycji pierwszego klucza partycji do końca ścieżki pliku. Na przykład, biorąc pod uwagę ścieżkę '.. /USA/2019/01/01/data.parquet' gdzie partycja jest według kraju/regionu i czasu, partition_format='/{CountryOrRegion}/{PartitionDate:rrrr/MM/dd}/data.csv' tworzy kolumnę ciągu "CountryOrRegion" z wartością "USA" i kolumną daty/godziny "PartitionDate" z wartością "2019-01-01-01" ciąg
path DatasetCreateRequestParametersPath
query DatasetCreateRequestParametersQuery
Separator Separator używany do dzielenia kolumn dla parametru sourceType "delimited_files". ciąg
Sourcetype Typ źródła danych. "delimited_files"
"json_lines_files"
"parquet_files"

DatasetCreateRequestParametersPath

Nazwa Opis Wartość
dataPath DatasetCreateRequestParametersPathDataPath
httpUrl Adres URL http. ciąg

DatasetCreateRequestParametersPathDataPath

Nazwa Opis Wartość
datastoreName Nazwa magazynu danych. ciąg
relativePath Ścieżka w magazynie danych. ciąg

DatasetCreateRequestParametersQuery

Nazwa Opis Wartość
datastoreName Nazwa magazynu danych SQL/PostgreSQL/MySQL. ciąg
query Zapytanie SQL. ciąg

DatasetCreateRequestRegistration

Nazwa Opis Wartość
description (opis) Opis zestawu danych. ciąg
name Nazwa zestawu danych. ciąg
tags Tagi skojarzone z zestawem danych. object

DatasetCreateRequestTimeSeries

Nazwa Opis Wartość
coarseGrainTimestamp Nazwa kolumny do użycia jako CoarseGrainTimestamp. Można użyć tylko wtedy, gdy określono parametr "fineGrainTimestamp" i nie może być taki sam jak "fineGrainTimestamp". ciąg
fineGrainTimestamp Nazwa kolumny do użycia jako FineGrainTimestamp ciąg