Condividi tramite


HDFSOutputDatasetConfig Classe

Rappresentare come restituire l'output in un percorso HDFS e essere alzato di livello come FileDataset.

Inizializzare un oggetto HDFSOutputDatasetConfig.

Ereditarietà
HDFSOutputDatasetConfig
HDFSOutputDatasetConfig

Costruttore

HDFSOutputDatasetConfig(name=None, destination=None)

Parametri

Nome Descrizione
name
Necessario
str

Nome dell'output specifico dell'esecuzione. Questa operazione viene in genere utilizzata per scopi di derivazione. Se impostato su Nessuno, verrà generato automaticamente un nome.

destination
Necessario

Destinazione dell'output. Se impostato su Nessuno, verrà restituito all'archivio dati workspaceblobstore, nel percorso /dataset/{run-id}/{output-name}, dove run-id è l'ID dell'esecuzione e il nome di output è il nome di output del parametro name precedente. La destinazione è una tupla in cui il primo elemento è l'archivio dati e il secondo è il percorso all'interno dell'archivio dati.

Commenti

È possibile passare HDFSOutputDatasetConfig come argomento di un'esecuzione e verrà convertito automaticamente nel percorso HDFS.

Metodi

as_input

Specificare come utilizzare l'output come input nei passaggi successivi della pipeline.

as_input

Specificare come utilizzare l'output come input nei passaggi successivi della pipeline.

as_input(name=None)

Parametri

Nome Descrizione
name
Necessario
str

Nome dell'input specifico dell'esecuzione.

Restituisce

Tipo Descrizione

DatasetConsumptionConfig Istanza che descrive come recapitare i dati di input.