azure.ai.ml package

建立 Command 物件，該物件可在 dsl.pipeline 函式內使用，或做為獨立 Command 作業使用。

command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command

參數

name: Optional[str]

命令作業或元件的名稱。

description: Optional[str]

命令的描述。預設為 [無]。

tags: Optional[dict[str, str]]

標記字典。標記可以新增、移除和更新。預設為 [無]。

properties: Optional[dict[str, str]]

job 屬性字典。預設為 [無]。

display_name: Optional[str]

作業的顯示名稱。預設為隨機產生的名稱。

command: Optional[str]

要執行的命令。預設為 [無]。

experiment_name: Optional[str]

將建立作業的實驗名稱。預設為目前的目錄名稱。

environment: Optional[Union[str, Environment]]

作業將執行的環境。

environment_variables: Optional[dict[str, str]]

環境變數名稱和值的字典。這些環境變數會在執行使用者指令碼的程序上設定。預設為 [無]。

distribution: Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]

分散式作業的組態。預設為 [無]。

compute: Optional[str]

作業將執行的目標計算目標。預設為預設計算。

inputs: Optional[dict[str, Union[Input, str, bool, int, float, <xref:Enum>]]]

輸入名稱與作業中使用的輸入資料來源對應。預設為 [無]。

outputs: Optional[dict[str, Union[str, Output]]]

輸出名稱與作業中使用的輸出資料來源對應。預設為 [無]。

instance_count: Optional[int]

計算目標要使用的實例或節點數目。預設值為 1。

instance_type: Optional[str]

計算目標要使用的 VM 類型。

locations: Optional[list[str]]

作業將執行的位置清單。

docker_args: Optional[str]

要傳遞至 Docker run 命令的額外引數。這會覆寫系統或本節中已設定的任何參數。此參數僅支援 Azure ML 計算類型。預設為 [無]。

shm_size: Optional[str]

Docker 容器的共用記憶體區塊大小。這應該是 (number) (單位) 的格式，其中數位必須大於 0，而單位可以是 b (位元組) 、k (kb) 、m (MB) 或 g (GB) 。

timeout: Optional[int]

數位，以秒為單位，之後將會取消作業。

code: Optional[Union[str, PathLike]]

要執行作業的原始程式碼。可以是指向遠端位置的本機路徑或「HTTP：」、「HTTPs：」或「azureml：」 URL。

identity: Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

在計算上執行時，命令作業將使用的身分識別。

is_deterministic: bool

指定命令是否會在相同的輸入下傳回相同的輸出。預設值為 True。當為 True 時，如果命令元件具決定性且已在目前工作區中執行，且具有相同輸入和設定，當做管線中的節點或步驟使用時，將會重複使用先前提交作業的結果。在該案例中，將不會使用任何計算資源。

services: Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]

節點的互動式服務。預設為 [無]。這是實驗性參數，可以隨時變更。請參閱 https://aka.ms/azuremlexperimental 以取得詳細資訊。

job_tier: Optional[str]

作業層。接受的值為「Spot」、「Basic」、「Standard」或「Premium」。

priority: Optional[str]

計算上作業的優先順序。接受的值為「low」、「medium」和「high」。預設為「medium」。

傳回

Command 物件。

傳回類型

Command

範例

使用命令 () 產生器方法建立命令作業。


   from azure.ai.ml import Input, Output, command

   train_func = command(
       environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
       command='echo "hello world"',
       distribution={"type": "Pytorch", "process_count_per_instance": 2},
       inputs={
           "training_data": Input(type="uri_folder"),
           "max_epochs": 20,
           "learning_rate": 1.8,
           "learning_rate_schedule": "time-based",
       },
       outputs={"model_output": Output(type="uri_folder")},
   )

從 yaml 檔案建構批次部署物件。

load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

批次部署物件的本機 yaml 來源。必須是本機檔案的路徑，或是已開啟的檔案。如果來源是路徑，則會開啟並讀取。如果檔案不存在，則會引發例外狀況。如果來源是開啟的檔案，則會直接讀取檔案，如果檔案無法讀取，則會引發例外狀況。

relative_origin: str

在剖析的 yaml 中參考之檔案的相對位置時，要使用的來源。如果是檔案或檔案路徑輸入，則預設為輸入來源的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: List[Dict]

要覆寫 yaml 檔案頂端的欄位。格式為 [{「field1」：「value1」}， {「field2」：「value2」}]

傳回

建構的批次部署物件。

傳回類型

BatchDeployment

從 yaml 檔案建構批次端點物件。

load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

批次端點物件的本機 yaml 來源。必須是本機檔案的路徑，或是已開啟的檔案。如果來源是路徑，則會開啟並讀取。如果檔案不存在，則會引發例外狀況。如果來源是開啟的檔案，則會直接讀取檔案，如果檔案無法讀取，則會引發例外狀況。

relative_origin: str

預設值: None

在剖析的 yaml 中參考之檔案的相對位置時，要使用的來源。如果是檔案或檔案路徑輸入，則預設為輸入來源的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: List[Dict]

要覆寫 yaml 檔案頂端的欄位。格式為 [{「field1」：「value1」}， {「field2」：「value2」}]

傳回

建構的批次端點物件。

傳回類型

BatchEndpoint

將元件從本機或遠端載入元件函式。

load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

預設值: None

元件的本機 yaml 來源。必須是本機檔案的路徑，或已開啟的檔案。如果來源是路徑，則會開啟並讀取。如果檔案不存在，則會引發例外狀況。如果來源是開啟的檔案，則會直接讀取檔案，如果檔案無法讀取，則會引發例外狀況。

relative_origin: str

在剖析的 yaml 中參考之檔案的相對位置時，要使用的來源。如果是檔案或檔案路徑輸入，則預設為輸入來源的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: List[Dict]

要覆寫 yaml 檔案頂端的欄位。格式為 [{「field1」：「value1」}， {「field2」：「value2」}]

傳回

Component 物件

傳回類型

Union[CommandComponent, ParallelComponent, PipelineComponent]

範例

從 YAML 檔案載入 Component 物件，並將其版本覆寫為「1.0.2」，並從遠端註冊它。


   from azure.ai.ml import load_component

   component = load_component(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
       params_override=[{"version": "1.0.2"}],
   )
   registered_component = ml_client.components.create_or_update(component)

從 yaml 檔案建構計算物件。

load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

計算的本機 yaml 來源。必須是本機檔案的路徑，或已開啟的檔案。如果來源是路徑，則會開啟並讀取。如果檔案不存在，則會引發例外狀況。如果來源是開啟的檔案，則會直接讀取檔案，如果檔案無法讀取，則會引發例外狀況。

relative_origin: Optional[str]

在剖析的 yaml 中參考之檔案的相對位置時，要使用的來源。如果是檔案或檔案路徑輸入，則預設為輸入來源的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: Optional[List[Dict]]

要覆寫 yaml 檔案頂端的欄位。格式為 [{「field1」：「value1」}， {「field2」：「value2」}]

傳回

載入的計算物件。

傳回類型

Compute

範例

從 YAML 檔案載入 Compute 物件，並覆寫其描述。


   from azure.ai.ml import load_compute

   compute = load_compute(
       "../tests/test_configs/compute/compute-vm.yaml",
       params_override=[{"description": "loaded from compute-vm.yaml"}],
   )

從 yaml 檔案建構資料物件。

load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

資料物件的本機 yaml 來源。必須是本機檔案的路徑，或已開啟的檔案。如果來源是路徑，則會開啟並讀取。如果檔案不存在，則會引發例外狀況。如果來源是開啟的檔案，則會直接讀取檔案，如果檔案無法讀取，則會引發例外狀況。

relative_origin: str

在剖析的 yaml 中參考之檔案的相對位置時，要使用的來源。如果是檔案或檔案路徑輸入，則預設為輸入來源的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: List[Dict]

要覆寫 yaml 檔案頂端的欄位。格式為 [{「field1」：「value1」}， {「field2」：「value2」}]

傳回

建構的資料或 DataImport 物件。

傳回類型

Data

例外狀況

ValidationException

如果無法成功驗證資料，則引發。錯誤訊息中將會提供詳細資料。

從 yaml 檔案建構資料存放區物件。

load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

資料存放區的本機 yaml 來源。必須是本機檔案的路徑，或已開啟的檔案。如果來源是路徑，則會開啟並讀取。如果檔案不存在，則會引發例外狀況。如果來源是開啟的檔案，則會直接讀取檔案，如果檔案無法讀取，則會引發例外狀況。

relative_origin: str

在剖析的 yaml 中參考之檔案的相對位置時，要使用的來源。如果是檔案或檔案路徑輸入，則預設為輸入來源的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: List[Dict]

要覆寫 yaml 檔案頂端的欄位。格式為 [{「field1」：「value1」}， {「field2」：「value2」}]

傳回

載入的資料存放區物件。

傳回類型

Datastore

例外狀況

ValidationException

如果無法成功驗證資料存放區，則引發。錯誤訊息中將會提供詳細資料。

從 yaml 檔案建構環境物件。

load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

環境的本機 yaml 來源。必須是本機檔案的路徑，或已開啟的檔案。如果來源是路徑，則會開啟並讀取。如果檔案不存在，則會引發例外狀況。如果來源是開啟的檔案，則會直接讀取檔案，如果檔案無法讀取，則會引發例外狀況。

relative_origin: str

在剖析的 yaml 中參考之檔案的相對位置時，要使用的來源。如果是檔案或檔案路徑輸入，則預設為輸入來源的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: List[Dict]

要覆寫 yaml 檔案頂端的欄位。格式為 [{「field1」：「value1」}， {「field2」：「value2」}]

傳回

建構的環境物件。

傳回類型

Environment

例外狀況

ValidationException

如果無法成功驗證環境，則會引發。錯誤訊息中將會提供詳細資料。

從 YAML 檔案建構 Job 物件。

load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

本機 YAML 檔案的路徑，或包含作業組態的已開啟檔案物件。如果來源是路徑，則會開啟並讀取。如果來源是開啟的檔案，則會直接讀取檔案。

relative_origin: Optional[str]

YAML 的根目錄。此目錄將用來作為在剖析 YAML 中參考之檔案的相對位置的來源。如果來源是檔案或檔案路徑輸入，則預設為與來源相同的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: Optional[list[dict]]

要覆寫 YAML 檔案中值的參數欄位。

傳回

載入的 Job 物件。

傳回類型

Job

例外狀況

ValidationException

如果無法成功驗證 Job，則引發。錯誤訊息中將會提供詳細資料。

範例

從 YAML 組態檔載入作業。


   from azure.ai.ml import load_job

   job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")

從 YAML 檔案建構 Model 物件。

load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

本機 YAML 檔案的路徑，或包含作業組態的已開啟檔案物件。如果來源是路徑，則會開啟並讀取。如果來源是開啟的檔案，則會直接讀取檔案。

relative_origin: Optional[str]

YAML 的根目錄。此目錄將用來作為在剖析 YAML 中參考之檔案的相對位置的來源。如果來源是檔案或檔案路徑輸入，則預設為與來源相同的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: Optional[list[dict]]

要覆寫 YAML 檔案中值的參數欄位。

傳回

載入的 Model 物件。

傳回類型

Model

例外狀況

ValidationException

如果無法成功驗證 Job，則引發。錯誤訊息中將會提供詳細資料。

範例

從 YAML 組態檔載入模型，並覆寫名稱和版本參數。


   from azure.ai.ml import load_model

   model = load_model(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
       params_override=[{"name": "new_model_name"}, {"version": "1"}],
   )

注意

這是實驗性方法，可以隨時變更。請參閱 https://aka.ms/azuremlexperimental 以取得詳細資訊。

從 YAML 檔案建構 ModelPackage 物件。

load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

本機 YAML 檔案的路徑，或包含作業組態的已開啟檔案物件。如果來源是路徑，則會開啟並讀取。如果來源是開啟的檔案，則會直接讀取檔案。

relative_origin: Optional[str]

YAML 的根目錄。此目錄將用來做為衍生剖析 YAML 中所參考檔案的相對位置。如果來源是檔案或檔案路徑輸入，則預設為與來源相同的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: Optional[list[dict]]

要覆寫 YAML 檔案中值的參數欄位。

傳回

載入的 ModelPackage 物件。

傳回類型

ModelPackage

例外狀況

ValidationException

如果無法成功驗證 Job，則引發。錯誤訊息中將會提供詳細資料。

範例

從 YAML 設定檔載入 ModelPackage。


   from azure.ai.ml import load_model_package

   model_package = load_model_package(
       "./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
   )

從 yaml 檔案建構線上部署物件。

load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

線上部署物件的本機 yaml 來源。必須是本機檔案的路徑，或是已開啟的檔案。如果來源是路徑，則會開啟並讀取。如果檔案不存在，則會引發例外狀況。如果來源是開啟的檔案，則會直接讀取檔案，如果檔案無法讀取，則會引發例外狀況。

relative_origin: str

在剖析的 yaml 中參考之檔案的相對位置時，要使用的來源。如果是檔案或檔案路徑輸入，則預設為輸入來源的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: List[Dict]

要覆寫 yaml 檔案頂端的欄位。格式為 [{「field1」：「value1」}， {「field2」：「value2」}]

傳回

建構的線上部署物件。

傳回類型

OnlineDeployment

例外狀況

ValidationException

如果無法成功驗證線上部署，則引發。錯誤訊息中將會提供詳細資料。

從 yaml 檔案建構線上端點物件。

load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

線上端點物件的本機 yaml 來源。必須是本機檔案的路徑，或是已開啟的檔案。如果來源是路徑，則會開啟並讀取。如果檔案不存在，則會引發例外狀況。如果來源是開啟的檔案，則會直接讀取檔案，如果檔案無法讀取，則會引發例外狀況。

relative_origin: str

在剖析的 yaml 中參考之檔案的相對位置時，要使用的來源。如果是檔案或檔案路徑輸入，則預設為輸入來源的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: List[Dict]

要覆寫 yaml 檔案頂端的欄位。格式為 [{「field1」：「value1」}， {「field2」：「value2」}]

傳回

建構的線上端點物件。

傳回類型

OnlineEndpoint

例外狀況

ValidationException

如果無法成功驗證線上端點，則引發。錯誤訊息中將會提供詳細資料。

從 yaml 檔案載入登錄物件。

load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

登錄的本機 yaml 來源。必須是本機檔案的路徑，或是已開啟的檔案。如果來源是路徑，則會開啟並讀取。如果檔案不存在，則會引發例外狀況。如果來源是開啟的檔案，則會直接讀取檔案，如果檔案無法讀取，則會引發例外狀況。

relative_origin: str

在剖析的 yaml 中參考之檔案的相對位置時，要使用的來源。如果是檔案或檔案路徑輸入，則預設為輸入來源的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: List[Dict]

要覆寫 yaml 檔案頂端的欄位。格式為 [{「field1」：「value1」}， {「field2」：「value2」}]

傳回

載入的登錄物件。

傳回類型

Registry

從 yaml 檔案載入工作區物件。

load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

工作區的本機 yaml 來源。必須是本機檔案的路徑，或是已開啟的檔案。如果來源是路徑，則會開啟並讀取。如果檔案不存在，則會引發例外狀況。如果來源是開啟的檔案，則會直接讀取檔案，如果檔案無法讀取，則會引發例外狀況。

relative_origin: str

在剖析的 yaml 中參考之檔案的相對位置時，要使用的來源。如果是檔案或檔案路徑輸入，則預設為輸入來源的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: List[Dict]

要覆寫 yaml 檔案頂端的欄位。格式為 [{「field1」：「value1」}， {「field2」：「value2」}]

傳回

載入的工作區物件。

傳回類型

Workspace

從 yaml 檔案建構工作區連線物件。

load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

工作區連線物件的本機 yaml 來源。必須是本機檔案的路徑，或是已開啟的檔案。如果來源是路徑，則會開啟並讀取。如果檔案不存在，則會引發例外狀況。如果來源是開啟的檔案，則會直接讀取檔案，如果檔案無法讀取，則會引發例外狀況。

relative_origin: str

在剖析的 yaml 中參考之檔案的相對位置時，要使用的來源。如果是檔案或檔案路徑輸入，則預設為輸入來源的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: List[Dict]

要覆寫 yaml 檔案頂端的欄位。格式為 [{「field1」：「value1」}， {「field2」：「value2」}]

傳回

建構的工作區連線物件。

傳回類型

WorkspaceConnection

注意

這是實驗性方法，可以隨時變更。請參閱 https://aka.ms/azuremlexperimental 以取得詳細資訊。

從 yaml 檔案載入 WorkspaceHub 物件。

load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub

參數

source: Union[<xref:PathLike>, str, TextIOWrapper]

必要

WorkspaceHub 的本機 yaml 來源。必須是本機檔案的路徑，或是已開啟的檔案。如果來源是路徑，則會開啟並讀取。如果檔案不存在，則會引發例外狀況。如果來源是開啟的檔案，則會直接讀取檔案，如果檔案無法讀取，則會引發例外狀況。

relative_origin: str

在剖析的 yaml 中參考之檔案的相對位置時，要使用的來源。如果是檔案或檔案路徑輸入，則預設為輸入來源的目錄。如果來源是沒有名稱值的資料流程輸入，則預設為「./」。

params_override: List[Dict]

要覆寫 yaml 檔案頂端的欄位。格式為 [{「field1」：「value1」}， {「field2」：「value2」}]

傳回

載入的 WorkspaceHub 物件。

傳回類型

WorkspaceHub

建立 Spark 物件，該物件可在 dsl.pipeline 函式內使用，或當做獨立 Spark 作業使用。

spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark

參數

experiment_name: Optional[str]

將建立作業的實驗名稱。

name: Optional[str]

作業的名稱。

display_name: Optional[str]

作業顯示名稱。

description: Optional[str]

這是作業的描述。預設為 [無]。

tags: Optional[dict[str, str]]

作業標籤的字典。標記可以新增、移除和更新。預設為 [無]。

code

要執行作業的原始程式碼。可以是指向遠端位置的本機路徑或「HTTP：」、「HTTPs：」或「azureml：」 URL。

entry: Optional[Union[dict[str, str], SparkJobEntry]]

檔案或類別進入點。

py_files: Optional[list[str]]

要放在 Python 應用程式的 PYTHONPATH 上 .zip、.egg 或 .py 檔案的清單。預設為 [無]。

jars: Optional[list[str]]

的清單。要包含在驅動程式和執行程式類別路徑上的 JAR 檔案。預設為 [無]。

files: Optional[list[str]]

要放在每個執行程式工作目錄中的檔案清單。預設為 [無]。

archives: Optional[list[str]]

要擷取到每個執行程式的工作目錄中的封存清單。預設為 [無]。

identity: Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

在計算上執行時，Spark 作業將使用的身分識別。

driver_cores: Optional[int]

用於驅動程式進程的核心數目，僅適用于叢集模式。

driver_memory: Optional[str]

要用於驅動程式進程的記憶體數量，格式化為大小單位尾碼 (「k」、「m」、「g」或「t」) (例如「512m」、「2g」) 。

executor_cores: Optional[int]

要用於每個執行程式的核心數目。

executor_memory: Optional[str]

每個執行程式進程使用的記憶體數量，格式化為大小單位尾碼為 (「k」、「m」、「g」或「t」) (的字串，例如「512m」、「2g」) 。

executor_instances: Optional[int]

執行程式的初始數目。

dynamic_allocation_enabled: Optional[bool]

是否要使用動態資源配置，這會根據工作負載來相應增加和減少向此應用程式註冊的執行程式數目。

dynamic_allocation_min_executors: Optional[int]

如果已啟用動態配置，則執行程式數目的下限。

dynamic_allocation_max_executors: Optional[int]

如果啟用動態配置，執行程式數目的上限。

conf: Optional[dict[str, str]]

具有預先定義 Spark 組態索引鍵和值的字典。預設為 [無]。

environment: Optional[Union[str, Environment]]

要執行作業的 Azure ML 環境。

inputs: Optional[dict[str, Input]]

輸入名稱與作業中使用的輸入資料對應。預設為 [無]。

outputs: Optional[dict[str, Output]]

輸出名稱與作業中使用的輸出資料對應。預設為 [無]。

args: Optional[str]

作業的引數。

compute: Optional[str]

作業執行的計算資源。

resources: Optional[Union[dict, SparkResourceConfiguration]]

作業的計算資源組態。

傳回

Spark 物件。

傳回類型

Spark

範例

使用 DSL 管線裝飾專案建置 Spark 管線


   from azure.ai.ml import Input, Output, dsl, spark
   from azure.ai.ml.constants import AssetTypes, InputOutputModes

   # define the spark task
   first_step = spark(
       code="/src",
       entry={"file": "add_greeting_column.py"},
       py_files=["utils.zip"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       args="--file_input ${{inputs.file_input}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   second_step = spark(
       code="/src",
       entry={"file": "count_by_row.py"},
       jars=["scala_project.jar"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
       args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   # Define pipeline
   @dsl.pipeline(description="submit a pipeline with spark job")
   def spark_pipeline_from_builder(data):
       add_greeting_column = first_step(file_input=data)
       count_by_row = second_step(file_input=data)
       return {"output": count_by_row.outputs.output}

   pipeline = spark_pipeline_from_builder(
       data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
   )

automl	包含 Azure Machine Learning SDKv2 的自動化機器學習類別。主要區域包括管理 AutoML 工作。
constants	此套件會定義 Azure Machine Learning SDKv2 中使用的常數。
data_transfer
dsl
entities	包含 Azure Machine Learning SDKv2 的實體和 SDK 物件。主要領域包括管理計算目標、建立/管理工作區和作業，以及提交/存取模型、執行和執行輸出/記錄等。
identity	包含 Azure Machine Learning SDKv2 的身分識別組態。
operations	包含 Azure Machine Learning SDKv2 支援的作業。作業是包含與後端服務互動的邏輯，通常是自動產生的作業呼叫。
parallel
sweep

AmlTokenConfiguration	AzureML 權杖身分識別設定。
Input	初始化 Input 物件。
MLClient	與 Azure ML 服務互動的用戶端類別。使用此用戶端來管理 Azure ML 資源，例如工作區、作業、模型等等。
ManagedIdentityConfiguration	受控識別認證組態。
MpiDistribution	MPI 散發組態。
Output
PyTorchDistribution	PyTorch 散發組態。
RayDistribution	注意這是實驗性類別，可以隨時變更。請參閱 https://aka.ms/azuremlexperimental 以取得詳細資訊。光線分佈設定。
TensorFlowDistribution	TensorFlow 散發組態。
UserIdentityConfiguration	使用者身分識別設定。

共用方式為

ml 套件

套件

單元

類別

函數

command

參數

傳回

傳回類型

範例

load_batch_deployment

參數

傳回

傳回類型

load_batch_endpoint

參數

傳回

傳回類型

load_component

參數

傳回

傳回類型

範例

load_compute

參數

傳回

傳回類型

範例

load_data

參數

傳回

傳回類型

例外狀況

load_datastore

參數

傳回

傳回類型

例外狀況

load_environment

參數

傳回

傳回類型

例外狀況

load_job

參數

傳回

傳回類型

例外狀況

範例

load_model

參數

傳回

傳回類型

例外狀況

範例

load_model_package

參數

傳回

傳回類型

例外狀況

範例

load_online_deployment

參數

傳回

傳回類型

例外狀況

load_online_endpoint

參數

傳回

傳回類型

例外狀況

load_registry

參數

傳回

傳回類型

load_workspace

參數

傳回

傳回類型