DataReference 類別
表示數據存放區中數據的參考。
DataReference 代表數據存放區中的路徑,可用來描述如何在執行中提供數據及位置。 它不再是 Azure Machine Learning 中數據存取和傳遞的建議方法。 數據集支援從 Azure Blob 記憶體、Azure 檔案儲存體、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2、Azure SQL Database 和 適用於 PostgreSQL 的 Azure 資料庫 存取數據透過整合介面與新增的數據管理功能。 建議您使用數據集來讀取機器學習項目中的數據。
如需如何在兩個常見案例中使用 Azure ML 數據集的詳細資訊,請參閱文章:
類別 DataReference 建構函式。
- 繼承
-
builtins.objectDataReference
建構函式
DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)
參數
名稱 | Description |
---|---|
datastore
必要
|
要參考的資料存放區。 |
data_reference_name
|
數據參考的名稱。 預設值: None
|
path_on_datastore
|
支援儲存體中的資料參考相對路徑。 預設值: None
|
mode
|
數據參考上的作業。 支援的值是 『mount』 (預設) 和 'download'。 當您的文稿需要特定 (例如輸入數據的硬式編碼) 路徑時,請使用「下載」模式。
在此情況下,當您宣告 DataReference 時,請使用 使用 「掛接」模式時,會使用掛接的數據建立暫存目錄,而環境變數 $AZUREML_DATAREFERENCE_<data_reference_name> 會設定暫存目錄的路徑。 如果您將 DataReference 傳遞給管線步驟的自變數清單 (,例如 PythonScriptStep) ,則會在運行時間將參考擴充至本機數據路徑。 預設值: mount
|
path_on_compute
|
數據參考之計算目標上的路徑。 預設值: None
|
overwrite
|
指出是否要覆寫現有的數據。 預設值: False
|
datastore
必要
|
要參考的資料存放區。 |
data_reference_name
必要
|
數據參考的名稱。 |
path_on_datastore
必要
|
支援儲存體中的資料參考相對路徑。 |
mode
必要
|
數據參考上的作業。 支援的值 'mount' (預設) 和 'download'。 當您的文稿需要特定 (例如輸入數據的硬式編碼) 路徑時,請使用「下載」模式。
在此情況下,當您宣告 DataReference 時,請使用 使用 「掛接」模式時,會使用掛接的數據建立暫存目錄,而環境變數 $AZUREML_DATAREFERENCE_<data_reference_name> 會設定暫存目錄的路徑。 如果您將 DataReference 傳遞給管線步驟的自變數清單 (,例如 PythonScriptStep) ,則會在運行時間將參考擴充至本機數據路徑。 |
path_on_compute
必要
|
數據參考之計算目標上的路徑。 |
overwrite
必要
|
指出是否要覆寫現有的數據。 |
備註
DataReference 會定義數據位置,以及如何在目標計算系結上使用數據, (掛接或上傳) 。 數據存放區中數據的路徑可以是根 /、數據存放區內的目錄,或數據存放區中的檔案。
方法
as_download |
切換要下載的數據參考作業。 DataReference 下載僅支援 Azure Blob 和 Azure 檔案共用。 若要從 Azure Blob、Azure 檔案共用、Azure Data Lake Gen1 和 Azure Data Lake Gen2 下載數據,建議您使用 Azure Machine Learning 數據集。 如需如何建立和使用資料集的詳細資訊,請造訪 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets。 |
as_mount |
切換要掛接的數據參考作業。 DataReference 掛接僅支援 Azure Blob。 若要在 Azure Blob、Azure 檔案共用、Azure Data Lake Gen1 和 Azure Data Lake Gen2 中掛接數據,建議您使用 Azure Machine Learning 數據集。 如需如何建立和使用資料集的詳細資訊,請造訪 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets。 |
as_upload |
切換要上傳的數據參考作業。 如需哪些計算和數據存放區支援上傳數據的詳細資訊,請參閱: https://aka.ms/datastore-matrix。 |
create |
使用 DataPath 和 DataPathComputeBinding Create DataReference。 |
path |
Create 以指定路徑為基礎的 DataReference 實例。 |
to_config |
將 DataReference 物件轉換為 DataReferenceConfiguration 物件。 |
as_download
切換要下載的數據參考作業。
DataReference 下載僅支援 Azure Blob 和 Azure 檔案共用。 若要從 Azure Blob、Azure 檔案共用、Azure Data Lake Gen1 和 Azure Data Lake Gen2 下載數據,建議您使用 Azure Machine Learning 數據集。 如需如何建立和使用資料集的詳細資訊,請造訪 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets。
as_download(path_on_compute=None, overwrite=False)
參數
名稱 | Description |
---|---|
path_on_compute
|
數據參考之計算的路徑。 預設值: None
|
overwrite
|
指出是否要覆寫現有的數據。 預設值: False
|
傳回
類型 | Description |
---|---|
新的資料參考物件。 |
as_mount
切換要掛接的數據參考作業。
DataReference 掛接僅支援 Azure Blob。 若要在 Azure Blob、Azure 檔案共用、Azure Data Lake Gen1 和 Azure Data Lake Gen2 中掛接數據,建議您使用 Azure Machine Learning 數據集。 如需如何建立和使用資料集的詳細資訊,請造訪 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets。
as_mount()
傳回
類型 | Description |
---|---|
新的資料參考物件。 |
as_upload
切換要上傳的數據參考作業。
如需哪些計算和數據存放區支援上傳數據的詳細資訊,請參閱: https://aka.ms/datastore-matrix。
as_upload(path_on_compute=None, overwrite=False)
參數
名稱 | Description |
---|---|
path_on_compute
|
數據參考之計算的路徑。 預設值: None
|
overwrite
|
指出是否要覆寫現有的數據。 預設值: False
|
傳回
類型 | Description |
---|---|
新的資料參考物件。 |
create
使用 DataPath 和 DataPathComputeBinding Create DataReference。
static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)
參數
名稱 | Description |
---|---|
data_reference_name
|
要建立的數據參考名稱。 預設值: None
|
datapath
|
[必要]要使用的數據路徑。 預設值: None
|
datapath_compute_binding
|
[必要]要使用的 datapath 計算系結。 預設值: None
|
傳回
類型 | Description |
---|---|
DataReference 物件。 |
path
Create 以指定路徑為基礎的 DataReference 實例。
path(path=None, data_reference_name=None)
參數
名稱 | Description |
---|---|
path
|
數據存放區上的路徑。 預設值: None
|
data_reference_name
|
數據參考的名稱。 預設值: None
|
傳回
類型 | Description |
---|---|
數據參考物件。 |
to_config
將 DataReference 物件轉換為 DataReferenceConfiguration 物件。
to_config()
傳回
類型 | Description |
---|---|
新的 DataReferenceConfiguration 物件。 |