Udostępnij za pośrednictwem

AbstractDataset Klasa

  • Odwołanie

Podstawowa klasa zestawów danych w usłudze Azure Machine Learning.

Odwołaj się do TabularDatasetFactory klasy i FileDatasetFactory klasy, aby utworzyć wystąpienia zestawu danych.

Konstruktor Class AbstractDataset.

Ten konstruktor nie powinien być wywoływany bezpośrednio. Zestaw danych ma zostać utworzony przy użyciu TabularDatasetFactory klasy i FileDatasetFactory klasy.

Dziedziczenie
builtins.object
AbstractDataset

Konstruktor

AbstractDataset()

Metody

add_tags

Dodaj pary wartości klucza do słownika tagów tego zestawu danych.
as_named_input

Podaj nazwę tego zestawu danych, który będzie używany do pobierania zmaterializowanego zestawu danych w przebiegu.
get_all

Pobierz wszystkie zarejestrowane zestawy danych w obszarze roboczym.
get_by_id

Pobierz zestaw danych zapisany w obszarze roboczym.
get_by_name

Pobierz zarejestrowany zestaw danych z obszaru roboczego według jego nazwy rejestracji.
get_partition_key_values

Zwraca unikatowe wartości klucza partition_keys.

Sprawdź, czy partition_keys jest prawidłowym podzbiorem pełnego zestawu kluczy partycji, zwróć unikatowe wartości klucza partition_keys, domyślnie, aby zwrócić unikatowe kombinacje klawiszy, wykonując pełny zestaw kluczy partycji tego zestawu danych, jeśli partition_keys jest None


   # get all partition key value pairs
   partitions = ds.get_partition_key_values()
   # Return [{'country': 'US', 'state': 'WA', 'partition_date': datetime('2020-1-1')}]

   partitions = ds.get_partition_key_values(['country'])
   # Return [{'country': 'US'}]
register

Zarejestruj zestaw danych w podanym obszarze roboczym.
remove_tags

Usuń określone klucze ze słownika tagów tego zestawu danych.
unregister_all_versions

Wyrejestruj wszystkie wersje pod nazwą rejestracji tego zestawu danych z obszaru roboczego.
update

Wykonaj aktualizację w miejscu zestawu danych.

add_tags

Dodaj pary wartości klucza do słownika tagów tego zestawu danych.

add_tags(tags=None)

Parametry

Nazwa Opis
tags
Wymagane
dict[str, str]

Słownik tagów do dodania.

Zwraca

Typ Opis
Union[TabularDataset, FileDataset]

Zaktualizowany obiekt zestawu danych.

as_named_input

Podaj nazwę tego zestawu danych, który będzie używany do pobierania zmaterializowanego zestawu danych w przebiegu.

as_named_input(name)

Parametry

Nazwa Opis
name
Wymagane
str

Nazwa zestawu danych dla przebiegu.

Zwraca

Typ Opis
DatasetConsumptionConfig

Obiekt konfiguracji opisujący sposób materializacji zestawu danych w przebiegu.

Uwagi

Nazwa w tym miejscu będzie dotyczyć tylko w ramach przebiegu usługi Azure Machine Learning. Nazwa musi zawierać tylko znaki alfanumeryczne i podkreślenia, aby można je było udostępnić jako zmienną środowiskową. Ta nazwa służy do pobierania zestawu danych w kontekście przebiegu przy użyciu dwóch metod:

  • Zmienna środowiskowa:

    Nazwa będzie nazwą zmiennej środowiskowej, a zmaterializowany zestaw danych zostanie udostępniony jako wartość zmiennej środowiskowej. Jeśli zestaw danych zostanie pobrany lub zainstalowany, wartość będzie ścieżką pobraną/zainstalowaną. Na przykład:


   # in your job submission notebook/script:
   dataset.as_named_input('foo').as_download('/tmp/dataset')

   # in the script that will be executed in the run
   import os
   path = os.environ['foo'] # path will be /tmp/dataset

Uwaga

Jeśli zestaw danych jest ustawiony na tryb bezpośredni, wartość będzie identyfikatorem zestawu danych. Następnie możesz

pobierz obiekt zestawu danych, wykonując Dataset.get_by_id(os.environ['foo'])

  • Run.input_datasets:

    Jest to słownik, w którym kluczem będzie nazwa zestawu danych określona w tej metodzie, a wartość będzie zmaterializowanym zestawem danych. W przypadku pobranego i zainstalowanego zestawu danych wartość będzie ścieżką pobraną/zainstalowaną. W przypadku trybu bezpośredniego wartość będzie tym samym obiektem zestawu danych określonym w skryscie przesyłania zadania.


   # in your job submission notebook/script:
   dataset.as_named_input('foo') # direct mode

   # in the script that will be executed in the run
   run = Run.get_context()
   run.input_datasets['foo'] # this returns the dataset object from above.

get_all

Pobierz wszystkie zarejestrowane zestawy danych w obszarze roboczym.

static get_all(workspace)

Parametry

Nazwa Opis
workspace
Wymagane
Workspace

Istniejący obszar roboczy usługi AzureML, w którym zarejestrowano zestawy danych.

Zwraca

Typ Opis
dict[str, Union[TabularDataset, FileDataset]]

Słownik obiektów TabularDataset i FileDataset kluczy według ich nazwy rejestracji.

get_by_id

Pobierz zestaw danych zapisany w obszarze roboczym.

static get_by_id(workspace, id, **kwargs)

Parametry

Nazwa Opis
workspace
Wymagane
Workspace

Istniejący obszar roboczy usługi AzureML, w którym jest zapisywany zestaw danych.
id
Wymagane
str

Identyfikator zestawu danych.

Zwraca

Typ Opis
Union[TabularDataset, FileDataset]

Obiekt zestawu danych. Jeśli zestaw danych jest zarejestrowany, zostanie również zwrócona jego nazwa rejestracji i wersja.

get_by_name

Pobierz zarejestrowany zestaw danych z obszaru roboczego według jego nazwy rejestracji.

static get_by_name(workspace, name, version='latest', **kwargs)

Parametry

Nazwa Opis
workspace
Wymagane
Workspace

Istniejący obszar roboczy usługi AzureML, w którym zarejestrowano zestaw danych.
name
Wymagane
str

Nazwa rejestracji.
version
Wymagane
int

Wersja rejestracji. Wartość domyślna to "latest".

Zwraca

Typ Opis
Union[TabularDataset, FileDataset]

Zarejestrowany obiekt zestawu danych.

get_partition_key_values

Zwraca unikatowe wartości klucza partition_keys.

Sprawdź, czy partition_keys jest prawidłowym podzbiorem pełnego zestawu kluczy partycji, zwróć unikatowe wartości klucza partition_keys, domyślnie, aby zwrócić unikatowe kombinacje klawiszy, wykonując pełny zestaw kluczy partycji tego zestawu danych, jeśli partition_keys jest None


   # get all partition key value pairs
   partitions = ds.get_partition_key_values()
   # Return [{'country': 'US', 'state': 'WA', 'partition_date': datetime('2020-1-1')}]

   partitions = ds.get_partition_key_values(['country'])
   # Return [{'country': 'US'}]

get_partition_key_values(partition_keys=None)

Parametry

Nazwa Opis
partition_keys
Wymagane
list[str]

klucze partycji

register

Zarejestruj zestaw danych w podanym obszarze roboczym.

register(workspace, name, description=None, tags=None, create_new_version=False)

Parametry

Nazwa Opis
workspace
Wymagane
Workspace

Obszar roboczy do zarejestrowania zestawu danych.
name
Wymagane
str

Nazwa rejestrowania zestawu danych za pomocą polecenia .
description
Wymagane
str

Tekstowy opis zestawu danych. Domyślnie wartość Brak.
tags
Wymagane
dict[str, str]

Słownik tagów wartości klucza, aby nadać zestaw danych. Domyślnie wartość Brak.
create_new_version
Wymagane
bool

Wartość logiczna do zarejestrowania zestawu danych jako nowej wersji pod określoną nazwą.

Zwraca

Typ Opis
Union[TabularDataset, FileDataset]

Zarejestrowany obiekt zestawu danych.

remove_tags

Usuń określone klucze ze słownika tagów tego zestawu danych.

remove_tags(tags=None)

Parametry

Nazwa Opis
tags
Wymagane
list[str]

Lista kluczy do usunięcia.

Zwraca

Typ Opis
Union[TabularDataset, FileDataset]

Zaktualizowany obiekt zestawu danych.

unregister_all_versions

Wyrejestruj wszystkie wersje pod nazwą rejestracji tego zestawu danych z obszaru roboczego.

unregister_all_versions()

Uwagi

Operacja nie zmienia żadnych danych źródłowych.

update

Wykonaj aktualizację w miejscu zestawu danych.

update(description=None, tags=None)

Parametry

Nazwa Opis
description
Wymagane
str

Nowy opis do użycia dla zestawu danych. Ten opis zastępuje istniejący opis. Domyślnie jest to istniejący opis. Aby wyczyścić opis, wprowadź pusty ciąg.
tags
Wymagane
dict[str, str]

Słownik tagów do aktualizowania zestawu danych za pomocą polecenia . Te tagi zastępują istniejące tagi dla zestawu danych. Domyślnie do istniejących tagów. Aby wyczyścić tagi, wprowadź pusty słownik.

Zwraca

Typ Opis
Union[TabularDataset, FileDataset]

Zaktualizowany obiekt zestawu danych.

Atrybuty

data_changed_time

Zwróć czas zmiany danych źródłowych.

Zwraca

Typ Opis
datetime

Czas, kiedy nastąpiła ostatnia zmiana danych źródłowych.

Uwagi

Czas zmiany danych jest dostępny dla źródła danych opartego na plikach. Żaden nie zostanie zwrócony, gdy źródło danych nie jest obsługiwane do sprawdzania, kiedy nastąpiła zmiana.

description

Zwróć opis rejestracji.

Zwraca

Typ Opis
str

Opis zestawu danych.

id

Zwróć identyfikator zestawu danych.

Zwraca

Typ Opis
str

Identyfikator zestawu danych. Jeśli zestaw danych nie zostanie zapisany w żadnym obszarze roboczym, identyfikator będzie mieć wartość Brak.

name

Zwróć nazwę rejestracji.

Zwraca

Typ Opis
str

Nazwa zestawu danych.

partition_keys

Zwróć klucze partycji.

Zwraca

Typ Opis
list[str]

klucze partycji

tags

Zwróć tagi rejestracji.

Zwraca

Typ Opis
str

Tagi zestawu danych.

version

Zwróć wersję rejestracji.

Zwraca

Typ Opis
int

Wersja zestawu danych.