DatasetDefinition クラス
データセット内のデータの読み取りおよび変換方法を指定する一連の手順を定義します。
Note
このクラスは非推奨とされます。 詳細については、「https://aka.ms/dataset-deprecation」を参照してください。
Azure Machine Learning ワークスペースに登録されているデータセットには、update_definition を呼び出すことによって作成される複数の定義を含めることができます。 各定義には一意の識別子があります。 現在の定義は、最後に作成されたものです。
登録されていないデータセットに対して、定義は 1 つしか存在しません。
データセット定義では、<xref:azureml.dataprep.Dataflow> クラスのすべての変換がサポートされています。http://aka.ms/azureml/howto/transformdata を参照してください。 データセット定義の詳細については、https://aka.ms/azureml/howto/versiondata を参照してください。
データセット定義オブジェクトを初期化します。
- 継承
-
azureml.dataprep.api.engineless_dataflow.EnginelessDataflowDatasetDefinition
コンストラクター
DatasetDefinition(workspace=None, dataset_id=None, version_id=None, dataflow=None, dataflow_json=None, notes=None, etag=None, created_time=None, modified_time=None, state=None, deprecated_by_dataset_id=None, deprecated_by_definition_version=None, data_path=None, dataset=None, file_type='Unknown')パラメーター
| 名前 | 説明 |
|---|---|
|
workspace
必須
|
データセットが登録されるワークスペース。 |
|
dataset_id
必須
|
データセット識別子。 |
|
version_id
必須
|
定義バージョン。 |
|
dataflow
必須
|
Dataflow オブジェクト。 |
|
dataflow_json
必須
|
データフロー json。 |
|
notes
必須
|
定義に関するオプションの情報。 |
|
etag
必須
|
Etag。 |
|
created_time
必須
|
定義の作成時刻。 |
|
modified_time
必須
|
定義の最終変更時刻。 |
|
deprecated_by_dataset_id
必須
|
この定義を非推奨とするデータセットの ID。 |
|
deprecated_by_definition_version
必須
|
この定義を非推奨とする定義のバージョン。 |
|
data_path
必須
|
データ パス。 |
|
dataset
必須
|
親 Dataset オブジェクト。 |
メソッド
| archive |
データセット定義をアーカイブします。 |
| create_snapshot |
登録されているデータセットのスナップショットを作成します。 |
| deprecate |
新しいデータセットへのポインターを使用して、データセットを非推奨にします。 |
| reactivate |
データセット定義を再度有効にします。 非推奨またはアーカイブされたデータセット定義に対して機能します。 |
| to_pandas_dataframe |
このデータセット定義によって定義された変換パイプラインを実行して、Pandas データフレームを作成します。 |
| to_spark_dataframe |
このデータフローによって定義された変換パイプラインを実行できる Spark データフレームを作成します。 |
archive
データセット定義をアーカイブします。
archive()戻り値
| 型 | 説明 |
|---|---|
|
なし。 |
注釈
アーカイブ後にデータセットを取得しようとすると、エラーが発生します。 誤ってアーカイブされた場合は、reactivate を使用してアクティブ化します。
create_snapshot
登録されているデータセットのスナップショットを作成します。
create_snapshot(snapshot_name, compute_target=None, create_data_snapshot=False, target_datastore=None)パラメーター
| 名前 | 説明 |
|---|---|
|
snapshot_name
必須
|
スナップショット名。 スナップショット名は、データセット内で一意である必要があります。 |
|
compute_target
|
ComputeTarget または
str
スナップショット プロファイルの作成を実行するためのコンピューティング先。 省略した場合は、ローカル コンピューティングが使用されます。 規定値: None
|
|
create_data_snapshot
|
True の場合、データの具体化されたコピーが作成されます。 規定値: False
|
|
target_datastore
|
スナップショットを保存するターゲット データストア。 省略した場合、スナップショットはワークスペースの既定のストレージに作成されます。 規定値: None
|
戻り値
| 型 | 説明 |
|---|---|
|
DatasetSnapshot オブジェクト。 |
注釈
スナップショットは、基になるデータの特定の時点の概要統計情報と、データ自体のオプションのコピーがキャプチャします。 スナップショットの作成の詳細については、「https://aka.ms/azureml/howto/createsnapshots」を参照 してください。
deprecate
新しいデータセットへのポインターを使用して、データセットを非推奨にします。
deprecate(deprecate_by_dataset_id, deprecated_by_definition_version=None)パラメーター
| 名前 | 説明 |
|---|---|
|
deprecate_by_dataset_id
必須
|
現在のデータセットの非推奨の原因となるデータセット ID。 |
|
deprecated_by_definition_version
|
現在のデータセット定義の非推奨の原因となるデータセット定義バージョン。 規定値: None
|
戻り値
| 型 | 説明 |
|---|---|
|
なし。 |
注釈
非推奨のデータセット定義は、使用されたときにログに警告が記録されます。 データセット定義の使用を完全にブロックするには、それをアーカイブします。
データセット定義が誤って非推奨になった場合は、reactivate を使用してアクティブ化します。
reactivate
to_pandas_dataframe
このデータセット定義によって定義された変換パイプラインを実行して、Pandas データフレームを作成します。
to_pandas_dataframe()戻り値
| 型 | 説明 |
|---|---|
|
Pandas データフレーム。 |
注釈
メモリ内で完全に具体化された Pandas データフレームを返します。
to_spark_dataframe
このデータフローによって定義された変換パイプラインを実行できる Spark データフレームを作成します。
to_spark_dataframe()戻り値
| 型 | 説明 |
|---|---|
|
Spark データフレーム。 |
注釈
返される Spark データフレームは実行プランに限定され、Spark データフレームは遅延評価されるので、実際にはデータを含みません。