Azure Machine Learning용 MLflow 구성

아티클
10/16/2024

이 문서에서는 추적, 레지스트리 및 배포를 위해 Azure Machine Learning에 연결하도록 MLflow를 구성하는 방법을 알아봅니다.

Azure Machine Learning 작업 영역은 MLflow와 호환되므로 추가 구성 없이 MLflow 서버 역할을 할 수 있습니다. 각 작업 영역에는 MLflow에서 작업 영역에 연결하기 위해 사용하는 MLflow 추적 URI가 있습니다. Azure Machine Learning 작업 영역 은 MLflow에서 작동하도록 이미 구성되어 있으므로 추가 구성이 필요하지 않습니다.

그러나 Azure Machine Learning 외부에서 작업할 경우(예: 로컬 머신, Azure Synapse Analytics 또는 Azure Databricks) 작업 영역을 가리키도록 MLflow를 구성해야 합니다.

Important

Azure Compute(Azure Machine Learning Notebooks, Azure Machine Learning 컴퓨팅 인스턴스에서 호스트되는 Jupyter Notebook 또는 Azure Machine Learning 컴퓨팅 클러스터에서 실행되는 작업)에서 실행하는 경우 추적 URI를 구성할 필요가 없습니다. 자동으로 구성됩니다.

필수 조건

이 자습서를 따라하려면 다음 필수 구성 요소가 필요합니다.

다음과 같이 MLflow SDK mlflow 패키지 및 MLflow용 Azure Machine Learning azureml-mlflow 플러그 인을 설치합니다.
```
pip install mlflow azureml-mlflow
```
팁

SQL 스토리지, 서버, UI 또는 데이터 과학 종속성이 없는 경량 MLflow 패키지인 mlflow-skinny 패키지를 사용할 수 있습니다. 이 패키지는 배포를 비롯한 전체 기능 제품군을 가져오지 않고 MLflow 추적 및 로깅 기능이 주로 필요한 사용자에게 권장됩니다.
Azure Machine Learning 작업 영역을 만듭니다. 작업 영역을 만들려면 시작해야 하는 리소스 만들기를 참조하세요. 작업 영역에서 MLflow 작업을 수행하는 데 필요한 액세스 권한을 검토합니다.
원격 추적을 수행하거나 Azure Machine Learning 외부에서 실행되는 실험을 추적하려면 Azure Machine Learning 작업 영역의 추적 URI를 가리키도록 MLflow를 구성합니다. MLflow를 작업 영역에 연결하는 방법에 대한 자세한 내용은 Azure Machine Learning에 대한 MLflow 구성을 참조하세요.

MLflow Tracking URI 구성

MLflow를 Azure Machine Learning 작업 영역에 연결하려면 작업 영역에 대한 추적 URI가 필요합니다. 각 작업 영역에는 자체 추적 URI가 있으며 azureml:// 프로토콜이 있습니다.

다음과 같이 작업 영역에 대한 추적 URI를 가져옵니다.
- Azure CLI
- Python
- Studio
- 수동…
적용 대상: Azure CLI ml 확장 v2(현재)
1. 다음과 같이 작업 영역에 로그인하고 구성합니다.
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location> 
```
2. az ml workspace 명령을 사용하여 추적 URI를 가져올 수 있습니다.
```
az ml workspace show --query mlflow_tracking_uri
```
적용 대상: Python SDK azure-ai-ml v2(현재)

Python용 Azure Machine Learning SDK v2를 사용하여 Azure ML MLflow 추적 URI를 가져올 수 있습니다. 사용 중인 컴퓨팅에 azure-ai-ml 라이브러리가 설치되어 있는지 확인합니다. 다음 샘플에서는 작업 영역과 연결된 고유한 MLFLow 추적 URI를 가져옵니다.
1. MLClient를 사용하여 작업 영역에 로그인합니다. 이렇게 하는 더 쉬운 방법은 작업 영역 구성 파일을 사용하는 것입니다.
```
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())
```
  팁
  
  작업 영역 구성 파일은 다음을 수행하여 다운로드할 수 있습니다.
  
  Azure ML 스튜디오로 이동합니다.
  
  페이지의 오른쪽 위 모서리를 클릭하고 -> 구성 파일을 다운로드합니다.
  
  config.json 파일을 작업 중인 동일한 디렉터리에 저장합니다.
2. 또는 구독 ID, 리소스 그룹 이름, 작업 영역 이름을 사용하여 가져올 수 있습니다.
```
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

#Enter details of your AzureML workspace
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace_name = '<WORKSPACE_NAME>'

ml_client = MLClient(credential=DefaultAzureCredential(),
                        subscription_id=subscription_id, 
                        resource_group_name=resource_group,
                        workspace_name=workspace_name)
```
  Important
  
  DefaultAzureCredential은 사용 가능한 컨텍스트에서 자격 증명을 끌어오려고 시도합니다. 다른 방법으로 자격 증명을 지정하려는 경우(예: 대화형 방식으로 웹 브라우저를 사용) InteractiveBrowserCredential 또는 azure.identity 패키지에서 사용 가능한 다른 방법을 사용할 수 있습니다.
3. 다음과 같이 Azure Machine Learning 추적 URI를 가져옵니다.
```
mlflow_tracking_uri = ml_client.workspaces.get(ml_client.workspace_name).mlflow_tracking_uri
```
다음과 같이 Azure Machine Learning 포털을 사용하여 추적 URI를 가져옵니다.
1. Azure Machine Learning 스튜디오 포털을 열고 자격 증명을 사용하여 로그인합니다.
2. 오른쪽 위 모서리에서 작업 영역 이름을 클릭하여 디렉터리 + 구독 + 작업 영역 블레이드를 표시합니다.
3. Azure Portal에서 모든 속성 보기를 클릭합니다.
4. Essentials 섹션에서 MLflow 추적 URI 속성을 찾을 수 있습니다.
Azure Machine Learning 추적 URI는 구독 ID, 리소스가 배포된 지역, 리소스 그룹 이름 및 작업 영역 이름을 사용하여 생성할 수 있습니다. 다음 코드 샘플은 방법을 보여줍니다.

Warning

프라이빗 링크 지원 작업 영역에서 작업하는 경우 MLflow 엔드포인트는 프라이빗 링크를 사용하여 Azure Machine Learning과 통신합니다. 결과적으로 추적 URI는 여기에서 제안된 대로 다르게 표시됩니다. 이러한 경우 Azure Machine Learning SDK 또는 CLI v2를 사용하여 추적 URI를 가져와야 합니다.
```
region = "<LOCATION>"
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace_name = '<AML_WORKSPACE_NAME>'

mlflow_tracking_uri = f"azureml://{region}.api.azureml.ms/mlflow/v1.0/subscriptions/{subscription_id}/resourceGroups/{resource_group}/providers/Microsoft.MachineLearningServices/workspaces/{workspace_name}"
```
추적 URI 구성:
- MLflow SDK 사용
- 환경 변수 사용
그런 다음, 메서드 set_tracking_uri()는 MLflow 추적 URI로 해당 URI를 가리킵니다.
```
import mlflow

mlflow.set_tracking_uri(mlflow_tracking_uri)
```
컴퓨팅에서 MLFLOW_TRACKING_URI MLflow 환경 변수를 설정하여 기본적으로 Azure Machine Learning을 가리키도록 해당 컴퓨팅의 MLflow와 상호 작용할 수 있습니다.
```
MLFLOW_TRACKING_URI=$(az ml workspace show --query mlflow_tracking_uri | sed 's/"//g') 
```
팁

Azure Databricks 클러스터, Azure Synapse Analytics 클러스터 등과 같은 공유 환경에서 작업하는 경우 클러스터 수준에서 MLFLOW_TRACKING_URI 환경 변수를 설정하여 세션별로 수행하지 않고 클러스터에서 실행되는 모든 세션에 대해 Azure Machine Learning을 가리키도록 MLflow 추적 URI를 자동으로 구성하는 것이 유용합니다.

인증 구성

추적이 설정되면 연결된 작업 영역에서 인증 방법도 구성해야 합니다. 기본적으로 MLflow용 Azure Machine Learning 플러그 인은 기본 브라우저를 열고 자격 증명을 묻는 메시지를 표시하여 대화형 인증을 수행합니다.

MLflow용 Azure Machine Learning 플러그인은 azureml-mlflow 플러그인에 대한 종속성으로 설치된 azure-identity 패키지를 통해 여러 인증 메커니즘을 지원합니다. 다음 인증 방법은 그 중 하나가 성공할 때까지 하나씩 시도됩니다.

환경: 환경 변수를 통해 지정된 계정 정보를 읽고 인증에 사용합니다.
관리 ID: 관리 ID를 사용하도록 설정된 상태에서 Azure 호스트에 애플리케이션을 배포하는 경우 해당 계정으로 인증합니다.
Azure CLI: 사용자가 Azure CLI az login 명령을 통해 로그인할 경우 해당 사용자로 인증됩니다.
Azure PowerShell: 사용자가 Azure PowerShell Connect-AzAccount 명령을 통해 로그인할 경우 해당 사용자로 인증됩니다.
대화형 브라우저: 기본 브라우저를 통해 사용자를 대화형으로 인증합니다.

세션에 연결된 사용자가 있는 대화형 작업의 경우 대화형 인증을 사용할 수 있으므로 추가 작업이 필요하지 않습니다.

Warning

대화형 브라우저 인증은 자격 증명을 묻는 메시지가 표시되면 코드 실행을 차단합니다. 이 방법은 학습 작업과 같은 무인 환경에서 인증에 적합하지 않습니다. 다른 인증 모드를 구성하는 것이 좋습니다.

무인 실행이 필요한 시나리오의 경우 Azure Machine Learning과 통신하도록 서비스 주체를 구성해야 합니다.

MLflow SDK
환경 변수 사용

import os

os.environ["AZURE_TENANT_ID"] = "<AZURE_TENANT_ID>"
os.environ["AZURE_CLIENT_ID"] = "<AZURE_CLIENT_ID>"
os.environ["AZURE_CLIENT_SECRET"] = "<AZURE_CLIENT_SECRET>"

export AZURE_TENANT_ID="<AZURE_TENANT_ID>"
export AZURE_CLIENT_ID="<AZURE_CLIENT_ID>"
export AZURE_CLIENT_SECRET="<AZURE_CLIENT_SECRET>"

팁

공유 환경에서 작업할 때 컴퓨팅에서 이러한 환경 변수를 구성하는 것이 좋습니다. 가능한 경우 Azure Key Vault 인스턴스에서 비밀로 관리하세요.

예를 들어 Azure Databricks에서는 다음과 같이 클러스터 구성의 환경 변수에서 비밀을 사용할 수 있습니다. AZURE_CLIENT_SECRET={{secrets/<scope-name>/<secret-name>}} Azure Databricks에서 이 방법을 구현하는 방법에 대한 자세한 내용은 환경 변수에서 비밀 참조 또는 플랫폼에 대한 설명서를 참조하세요.

비밀 대신 인증서를 사용하려는 경우 PEM 또는 PKCS12 인증서 파일의 경로(프라이빗 키 포함)와 인증서 파일의 AZURE_CLIENT_CERTIFICATE_PASSWORD 암호(있는 경우)로 AZURE_CLIENT_CERTIFICATE_PATH 환경 변수를 구성할 수 있습니다.

권한 부여 및 권한 수준 구성

일부 기본 역할(예: ‘AzureML 데이터 과학자’ 또는 ‘기여자’)은 이미 Azure Machine Learning 작업 영역에서 MLflow 작업을 수행하도록 구성되어 있습니다. 사용자 지정 역할을 사용하는 경우 다음 권한이 필요합니다.

MLflow 추적을 사용하려면:
- Microsoft.MachineLearningServices/workspaces/experiments/*
- Microsoft.MachineLearningServices/workspaces/jobs/*
MLflow 모델 레지스트리를 사용하려면:
- Microsoft.MachineLearningServices/workspaces/models/*/*

생성된 서비스 주체 또는 사용자 계정에 작업 영역에 대한 액세스 권한을 부여하는 방법을 알아보려면 액세스 권한 부여를 참조하세요.

인증 문제 해결

MLflow는 mlflow.set_experiment() 또는 mlflow.start_run()와 같이 서비스와 상호 작용하는 첫 번째 작업에서 Azure Machine Learning에 인증을 시도합니다. 프로세스 중에 문제 또는 예기치 않은 인증 프롬프트가 발견되면 로깅 수준을 늘려 오류에 대한 자세한 내용을 확인할 수 있습니다.

import logging

logging.getLogger("azure").setLevel(logging.DEBUG)

실험 이름 설정(선택 사항)

모든 MLflow 실행은 활성 실험에 기록됩니다. 기본적으로 실행은 자동으로 만들어지는 Default라는 실험에 로그됩니다. 추적이 발생하는 실험을 구성할 수 있습니다.

팁

Azure Machine Learning CLI v2를 사용하여 작업을 제출할 때 작업의 YAML 정의에서 속성 experiment_name을 사용하여 실험 이름을 설정할 수 있습니다. 학습 스크립트에서 구성할 필요가 없습니다. 자세한 내용은 YAML: 표시 이름, 실험 이름, 설명 및 태그를 참조하세요.

MLflow SDK
환경 변수 사용

MLflow 명령 mlflow.set_experiment()을 사용하여 실험을 구성합니다.

experiment_name = 'experiment_with_mlflow'
mlflow.set_experiment(experiment_name)

실험 이름을 사용하여 MLflow 환경 변수 MLFLOW_EXPERIMENT_NAME 또는 MLFLOW_EXPERIMENT_ID 중 하나를 설정할 수도 있습니다.

export MLFLOW_EXPERIMENT_NAME="experiment_with_mlflow"

비공용 Azure 클라우드 지원

MLflow용 Azure Machine Learning 플러그 인은 기본적으로 글로벌 Azure 클라우드에서 작동하도록 구성됩니다. 그러나 AZUREML_CURRENT_CLOUD 환경 변수를 설정하여 사용 중인 Azure 클라우드를 구성할 수 있습니다.

MLflow SDK
환경 변수 사용

import os

os.environ["AZUREML_CURRENT_CLOUD"] = "AzureChinaCloud"

export AZUREML_CURRENT_CLOUD="AzureChinaCloud"

다음 Azure CLI 명령을 사용하여 사용 중인 클라우드를 식별할 수 있습니다.

az cloud list

현재 클라우드의 값 IsActive은 True로 설정됩니다.

다음 단계

이제 환경이 Azure Machine Learning의 작업 영역에 연결되었으므로 작업을 시작할 수 있습니다.

다음을 통해 공유