dataset_utilities Модуль

Служебные методы для взаимодействия с azureml.core.Dataset.

Функции

collect_usage_telemetry

collect_usage_telemetry(compute: Any, spark_context: Any, **kwargs: Any) -> None

Параметры

Имя	Описание
compute Обязательно
spark_context Обязательно

convert_inputs

Преобразование заданных наборов данных в отслеживаемые определения.

convert_inputs(X: Any, y: Any, sample_weight: Any, X_valid: Any, y_valid: Any, sample_weight_valid: Any) -> Tuple[Any, Any, Any, Any, Any, Any]

Параметры

Имя	Описание
X Обязательно	набор данных, представляющий X
y Обязательно	набор данных, представляющий y
sample_weight Обязательно	набор данных, представляющий вес выборки
X_valid Обязательно	набор данных, представляющий X_valid
y_valid Обязательно	набор данных, представляющий y_valid
sample_weight_valid Обязательно	набор данных, представляющий вес выборки для проверки

convert_inputs_dataset

Преобразование заданных наборов данных в отслеживаемые определения.

convert_inputs_dataset(*datasets: Any) -> Tuple[Any, ...]

Параметры

Имя	Описание
datasets Обязательно	наборы данных, преобразуемые в отслеживаемые определения

ensure_saved

ensure_saved(workspace: Workspace, **kwargs: Any) -> None

Параметры

Имя	Описание
workspace Обязательно

get_dataset_from_mltable_data_json

Получение набора данных из объекта JSON с данными MLTable

get_dataset_from_mltable_data_json(ws: Workspace, mltable_data_json_obj: Dict[str, Any], data_label: MLTableDataLabel) -> AbstractDataset | None

Параметры

Имя	Описание
ws Обязательно	рабочая область, из которой необходимо получить набор данных
mltable_data_json_obj Обязательно	объект json с данными mltable
data_label Обязательно	метка, указывающая набор данных для загрузки из объекта json с данными mltable

get_datasets_from_data_json

Получение наборов данных из объекта JSON с данными MLTable (с URI) или JSON с данными Dataprep (с идентификатором набора данных)

get_datasets_from_data_json(ws: Workspace, data_preparation_json: Dict[str, Any], data_labels: List[MLTableDataLabel]) -> Tuple[AbstractDataset | None, AbstractDataset | None, AbstractDataset | None]

Параметры

Имя	Описание
ws Обязательно	рабочая область, из которой необходимо получить набор данных
data_preparation_json Обязательно	объект json с данными
data_labels Обязательно	список меток, указывающих набор данных для загрузки из объекта json с данными

get_datasets_from_dataprep_json

Получение набора данных из объекта JSON с данными Dataprep (с идентификатором набора данных)

get_datasets_from_dataprep_json(ws: Workspace, dataprep_json: Dict[str, Any], data_labels: List[MLTableDataLabel]) -> Tuple[AbstractDataset | None, AbstractDataset | None, AbstractDataset | None]

Параметры

Имя	Описание
ws Обязательно	рабочая область, из которой необходимо получить набор данных
data_preparation_json Обязательно	объект json с данными
data_labels Обязательно	список меток, указывающих набор данных для загрузки из объекта json с данными
dataprep_json Обязательно

get_datasets_from_mltable_data_json

Получение набора данных из объекта JSON с данными MLTable (с URI)

get_datasets_from_mltable_data_json(ws: Workspace, mltable_data_json_obj: Dict[str, Any], data_labels: List[MLTableDataLabel]) -> Tuple[AbstractDataset | None, AbstractDataset | None, AbstractDataset | None]

Параметры

Имя	Описание
ws Обязательно	рабочая область, из которой необходимо получить набор данных
data_preparation_json Обязательно	объект json с данными
data_labels Обязательно	список меток, указывающих набор данных для загрузки из объекта json с данными
mltable_data_json_obj Обязательно

get_datasets_json

Получение JSON dataprep.

get_datasets_json(training_data: Any | None = None, validation_data: Any | None = None, test_data: Any | None = None) -> str | None

Параметры

Имя	Описание
training_data	Dataset Обучающие данные. Default value: None
validation_data	Dataset Данные для проверки Default value: None
test_data	Dataset Тестирование данных Default value: None

Возвращаемое значение

Тип	Описание
	Строковое представление JSON набора данных

is_dataset

Проверка, является ли заданный объект набором данных или определением набора данных.

is_dataset(dataset: Any) -> bool

Параметры

Имя	Описание
dataset Обязательно	Проверяемый объект