HDFSOutputDatasetConfig Clase

Representa cómo generar una salida en una ruta de acceso de HDFS y cómo promoverla como un objeto FileDataset.

Inicialice un HDFSOutputDatasetConfig.

Herencia

OutputDatasetConfig

HDFSOutputDatasetConfig

TransformationMixin

HDFSOutputDatasetConfig

Constructor

HDFSOutputDatasetConfig(name=None, destination=None)

Parámetros

Nombre	Description
name Requerido	str Nombre de la salida específica para esta ejecución. Por lo general, se usa con fines de linaje. Si se establece en None, se generará automáticamente un nombre.
destination Requerido	tuple Destino de la salida. Si se establece en Ninguno, se generará en el almacén de datos workspaceblobstore, en la ruta de acceso /dataset/{run-id}/{output-name}, donde run-id es el identificador de ejecución y el nombre de salida es el nombre de salida del parámetro name anterior. El destino es una tupla donde el primer elemento es el almacén de datos y el segundo es la ruta de acceso del almacén de datos.

Comentarios

Puede pasar HDFSOutputDatasetConfig como argumento de una ejecución y se traducirá automáticamente a la ruta de acceso de HDFS.

Métodos

as_input

Especifica cómo consumir la salida como entrada en los pasos de canalización posteriores.

as_input

Especifica cómo consumir la salida como entrada en los pasos de canalización posteriores.

as_input(name=None)

Parámetros

Nombre	Description
name Requerido	str Nombre de la entrada específica de la ejecución.

Devoluciones

Tipo	Description
DatasetConsumptionConfig	Instancia DatasetConsumptionConfig de que describe cómo entregar los datos de entrada.