ml 패키지
패키지
automl |
Azure Machine Learning SDKv2에 대한 자동화된 기계 학습 클래스를 포함합니다. 주요 영역에는 AutoML 작업 관리가 포함됩니다. |
constants |
이 패키지는 Azure Machine Learning SDKv2에서 사용되는 상수를 정의합니다. |
data_transfer | |
dsl | |
entities |
Azure Machine Learning SDKv2에 대한 엔터티 및 SDK 개체를 포함합니다. 주요 영역에는 컴퓨팅 대상 관리, 작업 영역 및 작업 만들기/관리, 모델 제출/액세스, 실행 및 실행 출력/로깅 등이 있습니다. |
identity |
Azure Machine Learning SDKv2에 대한 ID 구성을 포함합니다. |
operations |
Azure Machine Learning SDKv2에 대해 지원되는 작업을 포함합니다. 작업은 클래스에 백 엔드 서비스와 상호 작용하는 논리(일반적으로 자동 생성된 작업 호출)가 포함됩니다. |
parallel | |
sweep |
모듈
exceptions |
Azure Machine Learning SDKv2의 예외 모듈을 포함합니다. 여기에는 예외에 대한 열거형 및 클래스가 포함됩니다. |
클래스
AmlTokenConfiguration |
AzureML 토큰 ID 구성. |
Input |
Input 개체를 초기화합니다. |
MLClient |
Azure ML 서비스와 상호 작용하는 클라이언트 클래스입니다. 이 클라이언트를 사용하여 작업 영역, 작업, 모델 등과 같은 Azure ML 리소스를 관리합니다. |
ManagedIdentityConfiguration |
관리 ID 자격 증명 구성. |
MpiDistribution |
MPI 배포 구성. |
Output | |
PyTorchDistribution |
PyTorch 배포 구성. |
RayDistribution |
참고 이는 실험적인 클래스이며 언제든지 변경될 수 있습니다. 자세한 내용은 https://aka.ms/azuremlexperimental을 참조하세요. 광선 분포 구성. |
TensorFlowDistribution |
TensorFlow 배포 구성. |
UserIdentityConfiguration |
사용자 ID 구성. |
함수
command
dsl.pipeline 함수 내에서 사용하거나 독립 실행형 명령 작업으로 사용할 수 있는 Command 개체를 만듭니다.
command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command
매개 변수
- environment
- Optional[Union[str, Environment]]
작업이 실행될 환경입니다.
환경 변수 이름 및 값의 사전입니다. 이러한 환경 변수는 사용자 스크립트가 실행되는 프로세스에서 설정됩니다. 기본값은 None입니다.
- distribution
- Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]
분산 작업에 대한 구성입니다. 기본값은 None입니다.
입력 이름을 작업에 사용되는 입력 데이터 원본에 매핑합니다. 기본값은 None입니다.
Docker 실행 명령에 전달할 추가 인수입니다. 이렇게 하면 시스템 또는 이 섹션에서 이미 설정된 매개 변수가 재정의됩니다. 이 매개 변수는 Azure ML 컴퓨팅 유형에 대해서만 지원됩니다. 기본값은 None입니다.
Docker 컨테이너의 공유 메모리 블록 크기입니다. 이 형식은 (number)(unit) 형식이어야 합니다. 여기서 숫자는 0보다 커야 하며 단위는 b(바이트), k(킬로바이트), m(메가바이트) 또는 g(기가바이트) 중 하나일 수 있습니다.
작업을 실행할 소스 코드입니다. 원격 위치를 가리키는 로컬 경로 또는 "http:", "https:" 또는 "azureml:" URL일 수 있습니다.
- identity
- Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]
컴퓨팅에서 실행하는 동안 명령 작업이 사용할 ID입니다.
- is_deterministic
- bool
동일한 입력이 지정된 경우 명령이 동일한 출력을 반환할지 여부를 지정합니다. 기본값은 True입니다. True이면 명령 구성 요소가 결정적이며 동일한 입력 및 설정을 사용하여 현재 작업 영역에서 이전에 실행된 경우 파이프라인에서 노드 또는 단계로 사용할 때 이전에 제출된 작업의 결과를 다시 사용합니다. 이 시나리오에서는 컴퓨팅 리소스가 사용되지 않습니다.
- services
- Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]
노드에 대한 대화형 서비스입니다. 기본값은 None입니다. 실험적 매개 변수이며 언제든지 변경 될 수 있습니다. 자세한 내용은 https://aka.ms/azuremlexperimental을 참조하세요.
반환
Command 개체
반환 형식
예제
command() 작성기 메서드를 사용하여 명령 작업을 만듭니다.
from azure.ai.ml import Input, Output, command
train_func = command(
environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
command='echo "hello world"',
distribution={"type": "Pytorch", "process_count_per_instance": 2},
inputs={
"training_data": Input(type="uri_folder"),
"max_epochs": 20,
"learning_rate": 1.8,
"learning_rate_schedule": "time-based",
},
outputs={"model_output": Output(type="uri_folder")},
)
load_batch_deployment
yaml 파일에서 일괄 처리 배포 개체를 생성합니다.
load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
일괄 배포 개체의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.
- relative_origin
- str
구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
생성된 일괄 처리 배포 개체입니다.
반환 형식
load_batch_endpoint
yaml 파일에서 일괄 처리 엔드포인트 개체를 생성합니다.
load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
일괄 처리 엔드포인트 개체의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.
- relative_origin
- str
구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
생성된 일괄 처리 엔드포인트 개체입니다.
반환 형식
load_component
로컬 또는 원격에서 구성 요소 함수로 구성 요소를 로드합니다.
load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
구성 요소의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없는 경우 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.
- relative_origin
- str
구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
Component 개체
반환 형식
예제
YAML 파일에서 Component 개체를 로드하고 해당 버전을 "1.0.2"로 재정의한 다음 원격으로 등록합니다.
from azure.ai.ml import load_component
component = load_component(
source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
params_override=[{"version": "1.0.2"}],
)
registered_component = ml_client.components.create_or_update(component)
load_compute
yaml 파일에서 컴퓨팅 개체를 생성합니다.
load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
컴퓨팅의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없는 경우 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.
구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
yaml 파일 위에 덮어쓸 필드입니다. 형식은 [{"field1": "value1"}, {"field2": "value2"}]
반환
로드된 컴퓨팅 개체입니다.
반환 형식
예제
YAML 파일에서 Compute 개체를 로드하고 설명을 재정의합니다.
from azure.ai.ml import load_compute
compute = load_compute(
"../tests/test_configs/compute/compute-vm.yaml",
params_override=[{"description": "loaded from compute-vm.yaml"}],
)
load_data
yaml 파일에서 데이터 개체를 생성합니다.
load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
데이터 개체의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없는 경우 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.
- relative_origin
- str
구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
생성된 Data 또는 DataImport 개체입니다.
반환 형식
예외
데이터의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 자세한 내용은 오류 메시지에 제공됩니다.
load_datastore
yaml 파일에서 데이터 저장소 개체를 생성합니다.
load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
데이터 저장소의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없는 경우 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.
- relative_origin
- str
구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
로드된 데이터 저장소 개체입니다.
반환 형식
예외
Datastore의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 자세한 내용은 오류 메시지에 제공됩니다.
load_environment
yaml 파일에서 환경 개체를 생성합니다.
load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
환경의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없는 경우 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.
- relative_origin
- str
구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
생성된 환경 개체입니다.
반환 형식
예외
환경의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 자세한 내용은 오류 메시지에 제공됩니다.
load_job
YAML 파일에서 Job 개체를 생성합니다.
load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
로컬 YAML 파일 또는 작업 구성을 포함하는 이미 열려 있는 파일 개체에 대한 경로입니다. 원본이 경로이면 열리고 읽습니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽습니다.
YAML의 루트 디렉터리입니다. 이 디렉터리가 구문 분석된 YAML에서 참조되는 파일의 상대 위치를 추론하기 위한 원본으로 사용됩니다. 원본이 파일 또는 파일 경로 입력인 경우 기본값은 원본과 동일한 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
로드된 Job 개체입니다.
반환 형식
예외
작업의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 자세한 내용은 오류 메시지에 제공됩니다.
예제
YAML 구성 파일에서 작업 로드
from azure.ai.ml import load_job
job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")
load_model
YAML 파일에서 Model 개체를 생성합니다.
load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
로컬 YAML 파일 또는 작업 구성을 포함하는 이미 열려 있는 파일 개체에 대한 경로입니다. 원본이 경로이면 열리고 읽습니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽습니다.
YAML의 루트 디렉터리입니다. 이 디렉터리가 구문 분석된 YAML에서 참조되는 파일의 상대 위치를 추론하기 위한 원본으로 사용됩니다. 원본이 파일 또는 파일 경로 입력인 경우 기본값은 원본과 동일한 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
로드된 Model 개체입니다.
반환 형식
예외
작업의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 자세한 내용은 오류 메시지에 제공됩니다.
예제
YAML 구성 파일에서 모델을 로드하고 이름 및 버전 매개 변수를 재정의합니다.
from azure.ai.ml import load_model
model = load_model(
source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
params_override=[{"name": "new_model_name"}, {"version": "1"}],
)
load_model_package
참고
이는 실험적인 메서드이며 언제든지 변경될 수도 있습니다. 자세한 내용은 https://aka.ms/azuremlexperimental을 참조하세요.
YAML 파일에서 ModelPackage 개체를 생성합니다.
load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
로컬 YAML 파일 또는 작업 구성을 포함하는 이미 열려 있는 파일 개체에 대한 경로입니다. 원본이 경로이면 열리고 읽습니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽습니다.
YAML의 루트 디렉터리입니다. 이 디렉터리가 구문 분석된 YAML에서 참조되는 파일의 상대 위치를 추론하기 위한 원본으로 사용됩니다. 원본이 파일 또는 파일 경로 입력인 경우 기본적으로 원본과 동일한 디렉터리로 설정됩니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
로드된 ModelPackage 개체입니다.
반환 형식
예외
작업의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 세부 정보는 오류 메시지에 제공됩니다.
예제
YAML 구성 파일에서 ModelPackage 로드
from azure.ai.ml import load_model_package
model_package = load_model_package(
"./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
)
load_online_deployment
yaml 파일에서 온라인 배포 개체를 생성합니다.
load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
온라인 배포 개체의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.
- relative_origin
- str
구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
생성된 온라인 배포 개체입니다.
반환 형식
예외
온라인 배포의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 세부 정보는 오류 메시지에 제공됩니다.
load_online_endpoint
yaml 파일에서 온라인 엔드포인트 개체를 생성합니다.
load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
온라인 엔드포인트 개체의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.
- relative_origin
- str
구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
생성된 온라인 엔드포인트 개체입니다.
반환 형식
예외
온라인 엔드포인트의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 세부 정보는 오류 메시지에 제공됩니다.
load_registry
yaml 파일에서 레지스트리 개체를 로드합니다.
load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
레지스트리의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.
- relative_origin
- str
구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
로드된 레지스트리 개체입니다.
반환 형식
load_workspace
yaml 파일에서 작업 영역 개체를 로드합니다.
load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
작업 영역의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.
- relative_origin
- str
구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
로드된 작업 영역 개체입니다.
반환 형식
load_workspace_connection
yaml 파일에서 작업 영역 연결 개체를 생성합니다.
load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
작업 영역 연결 개체의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.
- relative_origin
- str
구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
생성된 작업 영역 연결 개체입니다.
반환 형식
load_workspace_hub
참고
이는 실험적인 메서드이며 언제든지 변경될 수도 있습니다. 자세한 내용은 https://aka.ms/azuremlexperimental을 참조하세요.
yaml 파일에서 WorkspaceHub 개체를 로드합니다.
load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub
매개 변수
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
WorkspaceHub의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.
- relative_origin
- str
구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.
반환
로드된 WorkspaceHub 개체입니다.
반환 형식
spark
dsl.pipeline 함수 내에서 사용하거나 독립 실행형 Spark 작업으로 사용할 수 있는 Spark 개체를 만듭니다.
spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark
매개 변수
- code
작업을 실행할 소스 코드입니다. 원격 위치를 가리키는 로컬 경로 또는 "http:", "https:" 또는 "azureml:" URL일 수 있습니다.
- identity
- Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]
컴퓨팅에서 실행하는 동안 Spark 작업이 사용할 ID입니다.
드라이버 프로세스에 사용할 메모리 양이며 크기 단위 접미사("k", "m", "g" 또는 "t")(예: "512m", "2g")가 있는 문자열 형식입니다.
실행기 프로세스당 사용할 메모리 양이며 크기 단위 접미사("k", "m", "g" 또는 "t")(예: "512m", "2g")가 있는 문자열 형식입니다.
워크로드에 따라 이 애플리케이션에 등록된 실행기 수를 확장 및 축소하는 동적 리소스 할당을 사용할지 여부입니다.
- environment
- Optional[Union[str, Environment]]
작업을 실행할 Azure ML 환경입니다.
- resources
- Optional[Union[dict, SparkResourceConfiguration]]
작업에 대한 컴퓨팅 리소스 구성입니다.
반환
Spark 개체입니다.
반환 형식
예제
DSL 파이프라인 데코레이터를 사용하여 Spark 파이프라인 빌드
from azure.ai.ml import Input, Output, dsl, spark
from azure.ai.ml.constants import AssetTypes, InputOutputModes
# define the spark task
first_step = spark(
code="/src",
entry={"file": "add_greeting_column.py"},
py_files=["utils.zip"],
files=["my_files.txt"],
driver_cores=2,
driver_memory="1g",
executor_cores=1,
executor_memory="1g",
executor_instances=1,
inputs=dict(
file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
),
args="--file_input ${{inputs.file_input}}",
resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
)
second_step = spark(
code="/src",
entry={"file": "count_by_row.py"},
jars=["scala_project.jar"],
files=["my_files.txt"],
driver_cores=2,
driver_memory="1g",
executor_cores=1,
executor_memory="1g",
executor_instances=1,
inputs=dict(
file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
),
outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
)
# Define pipeline
@dsl.pipeline(description="submit a pipeline with spark job")
def spark_pipeline_from_builder(data):
add_greeting_column = first_step(file_input=data)
count_by_row = second_step(file_input=data)
return {"output": count_by_row.outputs.output}
pipeline = spark_pipeline_from_builder(
data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
)
Azure SDK for Python