OpenDatasetBase Classe

Abra a classe base do conjunto de dados para herança.

Construa conjuntos de dados abertos.

Herança

PublicData

OpenDatasetBase

Construtor

OpenDatasetBase(cols: List[str] | None = None, enable_telemetry: bool = True, **kwargs)

Parâmetros

Nome	Description
cols	list[str] Uma lista de nomes de colunas a serem carregadas do conjunto de dados, o padrão é None Valor padrão: None
enable_telemetry	bool Se deseja habilitar a telemetria nesse conjunto de dados, o padrão é True Valor padrão: True
kwargs Obrigatório	dict args para filtro

Métodos

get_file_dataset	Obtenha o conjunto de dados de arquivo do conjunto de dados em aberto.
get_tabular_dataset	Inicialize AbstractTabularOpenDataset com a URL do blob.
to_pandas_dataframe	Para o dataframe do Pandas.
to_spark_dataframe	Para o dataframe do Spark.

get_file_dataset

Obtenha o conjunto de dados de arquivo do conjunto de dados em aberto.

get_file_dataset(start_date: datetime = None, end_date: datetime = None, enable_telemetry: bool = True, **kwargs) -> FileDataset

Parâmetros

Nome	Description
cls Obrigatório	type classe atual
start_date Obrigatório	datetime data de início, o padrão é Nenhum
end_date Obrigatório	datetime data de término, o padrão é Nenhum
enable_telemetry Obrigatório	bool Habilitar telemetria ou não; o padrão é True

Retornos

Tipo	Description
FileDataset	conjunto de dados de arquivo

get_tabular_dataset

Inicialize AbstractTabularOpenDataset com a URL do blob.

get_tabular_dataset(start_date: datetime = None, end_date: datetime = None, cols: List[str] = None, enable_telemetry: bool = True, **kwargs) -> TabularDataset

Parâmetros

Nome	Description
cls Obrigatório	type nome de tipo do Conjunto de Dados em Aberto.
start_date Obrigatório	datetime A data de início da consulta, inclusive.
end_date Obrigatório	datetime A data de término da consulta, inclusive.
cols Obrigatório	list[str] Uma lista de nomes de coluna a serem recuperados. Nenhum obterá todas as colunas.
enable_telemetry Obrigatório	bool Se a telemetria deve ser habilitada ou desabilitada somente para UT.

Retornos

Tipo	Description
TabularDataset	TabularDataset

to_pandas_dataframe

Para o dataframe do Pandas.

to_pandas_dataframe() -> DataFrame

to_spark_dataframe

Para o dataframe do Spark.

to_spark_dataframe()

Atributos

cols

Obter a lista de nomes de coluna a ser recuperada.

data

Obtenha os dados do objeto OpenDataset.

id

Obter a ID da localização dos dados abertos.

log_properties

Obtenha as propriedades do log.

registry_id

Obter a ID do registro desse conjunto de dados público registrado no back-end.

Essa ID do registro é usada para obter os metadados mais recentes, como o local de armazenamento. Espere que todas as sub classes de dados públicos atribuam _registry_id.

Retornos

Tipo	Description
str	Cadeia de caracteres da ID do registro.

time_column_name

Nome da coluna de hora.