HDFSOutputDatasetConfig Класс

Объясняет способ вывода данных в путь HDFS и повышения их уровня до FileDataset.

Инициализация HDFSOutputDatasetConfig.

Наследование

OutputDatasetConfig

HDFSOutputDatasetConfig

TransformationMixin

HDFSOutputDatasetConfig

Конструктор

HDFSOutputDatasetConfig(name=None, destination=None)

Параметры

Имя	Описание
name Обязательно	str Имя выходных данных, характерных для этого запуска. Обычно используется в целях определения происхождения данных. Если задано значение None, имя будет создано автоматически.
destination Обязательно	tuple Назначение выходных данных. Если задано значение Нет, он будет выведен в хранилище данных workspaceblobstore по пути /dataset/{run-id}/{output-name}, где run-id — это идентификатор выполнения, а output-name — имя выходных данных из указанного выше параметра name . Назначение — это кортеж, где первый элемент является хранилищем данных, а второй — путем в хранилище данных.

Комментарии

Вы можете передать HDFSOutputDatasetConfig в качестве аргумента запуска, и он будет автоматически преобразован в путь HDFS.

Методы

as_input

Указание способа использования выходных данных в качестве входных данных на последующих этапах конвейера.

as_input

Указание способа использования выходных данных в качестве входных данных на последующих этапах конвейера.

as_input(name=None)

Параметры

Имя	Описание
name Обязательно	str Имя входных данных, характерных для запуска.

Возвращаемое значение

Тип	Описание
DatasetConsumptionConfig	Экземпляр DatasetConsumptionConfig, описывающий способ доставки входных данных.