서버리스 API 엔드포인트로 모델 배포

아티클
09/04/2024

이 문서에서는 종량제 토큰 기반 청구를 사용하여 모델 카탈로그의 모델을 서버리스 API로 배포하는 방법을 알아봅니다.

모델 카탈로그 특정 모델은 종량제 청구를 사용하여 서버리스 API로 배포할 수 있습니다. 이 종류의 배포를 활용하면 조직에 필요한 엔터프라이즈 보안 및 규정 준수를 유지하면서 구독에서 모델을 호스트하지 않고 API로 모델을 사용할 수 있습니다. 이 배포 옵션에는 구독으로부터의 할당량이 필요하지 않습니다.

이 문서에서는 설명을 위해 Meta Llama 모델 배포를 사용합니다. 그러나 동일한 단계를 사용하여 서버리스 API 배포에 사용할 수 있는 모델 카탈로그의 모델을 배포할 수 있습니다.

필수 조건

유효한 결제 방법을 사용하는 Azure 구독입니다. 무료 또는 평가판 Azure 구독은 작동하지 않습니다. Azure 구독이 없으면 유료 Azure 계정을 만들어 시작합니다.
Azure Machine Learning 작업 영역
Azure RBAC(Azure 역할 기반 액세스 제어)는 Azure Machine Learning의 작업에 대한 액세스 권한을 부여하는 데 사용됩니다. 이 문서의 단계를 수행하려면 사용자 계정에 리소스 그룹에 대한 Azure AI 개발자 역할이 할당되어야 합니다. 권한에 대한 자세한 내용은 Azure Machine Learning의 역할 기반 액세스 제어를 참조하세요.
Azure Machine Learning을 사용하려면 다음 소프트웨어를 설치해야 합니다.
- Studio
- Azure CLI
- Python SDK
- ARM
호환되는 웹 브라우저를 사용하여 Azure Machine Learning을 탐색할 수 있습니다.
Azure CLI 및 Azure Machine Learning용 ml 확장.
```
az extension add -n ml
```
확장 기능이 이미 설치되어 있는 경우 최신 버전이 설치되어 있는지 확인합니다.
```
az extension update -n ml
```
확장이 설치되면 다음과 같이 구성합니다.
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
```
Python용 Azure Machine Learning SDK 설치
```
pip install -U azure-ai-ml
```
설치가 완료되면 필요한 네임스페이스를 가져오고 작업 영역에 연결된 클라이언트를 만듭니다.
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<workspace-name>",
)
```
호환 가능한 웹 브라우저를 사용하여 Microsoft Azure Portal에 또는 배포 도구 중 하나를 사용하여 ARM 템플릿을 배포할 수 있습니다. 이 자습서에서는 Azure CLI를 사용합니다.

모델 카탈로그에서 모델 및 모델 ID 찾기

Azure Machine Learning Studio에 로그인
Azure Marketplace를 통해 제공되는 모델의 경우 계정에 리소스 그룹에 대한 Azure AI 개발자 역할 권한이 있는지 또는 모델 제품을 구독하는 데 필요한 권한을 충족하는지 확인합니다.

Microsoft 이외의 공급자가 제공하는 모델(예: Llama 및 Mistral 모델)은 Azure Marketplace를 통해 요금이 청구됩니다. 이러한 모델의 경우 작업 영역에서 특정 모델 제품을 구독해야 합니다. 이 요구 사항은 Microsoft에서 제공하는 모델(예: Phi-3 모델)의 경우 청구가 다르게 수행되므로 적용되지 않습니다. 모델 카탈로그의 서버리스 모델 배포에 대한 청구에 대한 자세한 내용은 서버리스 API 청구를 참조하세요.
작업 영역으로 이동합니다. 서버리스 API 모델 배포 서비스를 사용하려면 작업 영역이 배포하려는 특정 모델에 대해 서버리스 배포가 지원되는 지역 중 하나에 속해야 합니다.
왼쪽 사이드바에서 모델 카탈로그를 선택하고 배포하려는 모델의 모델 카드를 찾습니다. 이 문서에서는 Meta-Llama-3-8B-Instruct 모델을 선택합니다.
1. Azure CLI, Python SDK 또는 ARM을 사용하여 모델을 배포하는 경우 모델 ID를 복사합니다.
Important

모델 ID를 복사할 때 버전을 포함하지 마세요. 서버리스 API 엔드포인트는 항상 사용 가능한 모델의 최신 버전을 배포합니다. 예를 들어, 모델 ID가 azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3인 경우 azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct을(를) 복사합니다.

다음 섹션에서는 작업 영역을 모델 제품에 구독하는 단계를 설명합니다. Microsoft 모델을 배포하는 경우 이 섹션을 건너뛰고 서버리스 API 엔드포인트에 모델 배포로 이동할 수 있습니다.

서버리스 API 엔드포인트는 Microsoft 제공 모델과 타사 제공 모델을 모두 배포할 수 있습니다. Microsoft 모델(예: Phi-3 모델)의 경우 Azure Marketplace 구독을 만들 필요가 없으며 예측을 사용하도록 서버리스 API 엔드포인트에 직접 배포할 수 있습니다. 타사 모델의 경우 먼저 구독을 만들어야 합니다. 작업 영역에 모델을 처음 배포하는 경우 Azure Marketplace에서 특정 모델 제품에 대한 작업 영역을 구독해야 합니다. 각 작업 영역에는 지출을 제어하고 모니터링할 수 있는 모델의 특정 Azure Marketplace 제품에 대한 자체 구독이 있습니다.

참고 항목

Azure Marketplace를 통해 제공되는 모델은 특정 지역의 서버리스 API 엔드포인트에 배포하는 데 사용할 수 있습니다. 사용 가능한 모델과 지역을 확인하려면 서버리스 API 엔드포인트의 모델에 대한 지역 가용성을 확인합니다. 필요한 항목이 목록에 없으면 지원되는 지역의 작업 영역에 배포한 다음 다른 작업 영역에서 서버리스 API 엔드포인트를 사용할 수 있습니다.

모델의 마켓플레이스 구독을 만듭니다. 구독을 만들면 모델 제품과 관련된 사용 약관에 동의하게 됩니다. Microsoft에서 제공하는 모델(예: Phi-3)의 경우 이 단계를 수행할 필요가 없습니다.
- Studio
- Azure CLI
- Python SDK
- ARM
1. 모델의 세부 정보 페이지에서 배포를 선택합니다. 배포 옵션 창이 열리면 서버리스 API 배포와 관리형 컴퓨팅을 사용하는 배포 중에서 선택할 수 있습니다.
  
  참고 항목
  
  서버리스 API 배포를 통해서만 배포할 수 있는 모델의 경우 모델의 세부 정보 페이지에서 배포를 선택한 직후 서버리스 API 배포 마법사가 열립니다.
2. Azure AI 콘텐츠 보안이 포함된 서버리스 API(미리 보기)를 선택하여 서버리스 API 배포 마법사를 엽니다.
3. Microsoft 구매 정책을 확인하려면 확인란을 선택합니다.
4. 이 작업 영역에 대한 Azure Marketplace 구독이 이미 있습니다라는 메모가 표시되면 이미 구독이 있으므로 구독을 만들 필요가 없습니다. 서버리스 API 엔드포인트에 모델 배포를 진행할 수 있습니다.
5. 배포 마법사에서 Azure Marketplace 사용 약관에 대한 링크를 선택하여 사용 약관에 대해 자세히 알아봅니다. 또한 가격 책정 및 사용 약관 탭을 선택하여 선택한 모델의 가격 책정을 알아볼 수도 있습니다.
6. 배포 마법사에서 Azure Marketplace 사용 약관에 대한 링크를 선택하여 사용 약관에 대해 자세히 알아봅니다. Marketplace 제품 세부 정보 탭을 선택하여 선택한 모델의 가격 책정에 대해 알아볼 수도 있습니다.
7. 구독 및 배포를 선택합니다.
subscription.yml
```
name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
```
구독을 만들려면 subscription.yml 파일을 사용합니다.
```
az ml marketplace-subscription create -f subscription.yml
```
```
model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
subscription_name="Meta-Llama-3-8B-Instruct"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()
```
모델 구독을 만들려면 다음 템플릿을 사용합니다.

template.json
```
{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Meta-Llama-3-8B-Instruct",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}
```
특정 Azure Marketplace 제품에 대한 작업 영역을 등록한 후에는 동일한 작업 영역에서 동일한 제품의 후속 배포 를 다시 구독할 필요가 없습니다.
언제든지 사용자의 작업 영역이 현재 구독하고 있는 모델 제품을 확인할 수 있습니다.
- Studio
- Azure CLI
- Python SDK
- ARM
1. Azure Portal로 이동
2. 작업 영역이 속한 리소스 그룹으로 이동합니다.
3. 형식 필터에서 SaaS를 선택합니다.
4. 현재 구독 중인 모든 서비스가 표시됩니다.
5. 세부 정보를 보려면 리소스를 선택합니다.
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
리소스 관리 도구를 사용하여 리소스를 쿼리할 수 있습니다. 다음 코드는 Azure CLI를 사용합니다.
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

서버리스 API 엔드포인트에 모델 배포

Microsoft 이외의 모델에 대한 구독을 만든 후에는 연결된 모델을 서버리스 API 엔드포인트에 배포할 수 있습니다. Microsoft 모델(예: Phi-3 모델)의 경우 구독을 만들 필요가 없습니다.

서버리스 API 엔드포인트는 모델을 구독에서 호스팅하지 않고 모델을 API로 사용하는 동시에 조직에 필요한 엔터프라이즈 보안 및 규정 준수를 유지하는 방법을 제공합니다. 이 배포 옵션에는 구독으로부터의 할당량이 필요하지 않습니다.

이 섹션에서는 meta-llama3-8b-qwerty라는 이름의 엔드포인트를 만듭니다.

서버리스 엔드포인트 만들기

모델 제품에 구독할 필요가 없는 Microsoft 모델을 배포하려면 배포를 선택한 다음 Azure AI 콘텐츠 보안이 포함된 서버리스 API(미리 보기)를 선택하여 배포 마법사를 엽니다.
또는 모델 구독이 필요한 Microsoft 이외의 모델의 경우, 이전 섹션에서 모델 제품에 작업 영역을 구독했다면 계속해서 배포를 선택합니다. 또는 계속 배포를 선택합니다(배포 마법사에 이 작업 영역에 대한 Azure Marketplace 구독이 이미 있음이라는 메모가 있는 경우).
배포에 이름을 지정합니다. 이 이름은 배포 API URL의 일부가 됩니다. 이 URL은 각 Azure 지역에서 고유해야 합니다.

팁

콘텐츠 필터(미리 보기) 옵션은 기본적으로 사용하도록 설정되어 있습니다. 증오, 자해, 성적, 폭력적인 콘텐츠와 같은 유해한 콘텐츠를 감지하려면 서비스의 기본 설정을 그대로 둡니다. 콘텐츠 필터링(미리 보기)에 대한 자세한 내용은 서버리스 API를 통해 배포된 모델의 콘텐츠 안전을 참조 하세요.
배포를 선택합니다. 배포가 준비되고 배포 페이지로 리디렉션될 때까지 기다립니다.

endpoint.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

endpoint.yml 파일을 사용하여 엔드포인트를 만듭니다.

az ml serverless-endpoint create -f endpoint.yml

endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

엔드포인트를 만들려면 다음 템플릿을 사용합니다.

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "meta-llama3-8b-qwerty",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}

그런 다음 배포를 만듭니다.

az deployment group create \
    --name model-subscription-deployment \
    --resource-group <resource-group> \
    --template-file template.json

Azure 배포 템플릿을 완료하는 데 몇 분 정도 걸릴 수 있습니다. 완료되면 결과가 포함된 메시지가 표시됩니다.

"provisioningState": "Succeeded",

언제든지 작업 영역에 배포된 엔드포인트를 볼 수 있습니다.
- Studio
- Azure CLI
- Python SDK
- ARM
1. 작업 영역으로 이동합니다.
2. 엔드포인트를 선택합니다.
3. 서버리스 API 엔드포인트를 표시하려면 서버리스 엔드포인트 탭을 선택합니다.
```
az ml serverless-endpoint list
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
리소스 관리 도구를 사용하여 리소스를 쿼리할 수 있습니다. 다음 코드는 Azure CLI를 사용합니다.
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
만들어진 엔드포인트는 권한 부여를 위해 키 인증을 사용합니다. 특정 엔드포인트와 연결된 키를 가져오려면 다음 단계를 따릅니다.
- Studio
- Azure CLI
- Python SDK
- ARM
1. 배포 페이지로 돌아가려면 서버리스 엔드포인트 목록에서 엔드포인트 이름을 선택합니다.
2. 엔드포인트의 대상 URI와 키를 기록해 둡니다. 이를 사용하여 배포를 호출하고 예측을 생성합니다.
참고 항목

Azure Portal을 사용할 때 서버리스 API 엔드포인트는 기본적으로 리소스 그룹에 표시되지 않습니다. 리소스 그룹에 표시하려면 숨겨진 형식 표시 옵션을 사용합니다.
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
REST API를 사용하여 이 정보를 쿼리합니다.
이제 엔드포인트를 사용할 준비가 되었습니다.
다른 작업 영역에서 이 배포를 사용해야 하거나 프롬프트 흐름을 사용하여 지능형 애플리케이션을 빌드하려는 경우 서버리스 API 배포에 대한 연결을 만들어야 합니다. 새 작업 영역 또는 허브에서 기존 서버리스 API 엔드포인트를 구성하는 방법을 알아보려면 다른 작업 영역이나 프롬프트 흐름에서 배포된 서버리스 API 엔드포인트 사용을 참조하세요.

팁

배포가 배포된 동일한 작업 영역에서 프롬프트 흐름을 사용하는 경우에도 연결을 만들어야 합니다.

서버리스 API 엔드포인트 사용

서버리스 API 엔드포인트의 Azure Machine Learning 및 Azure AI 스튜디오에 배포된 모델은 기본 모델에 대한 공통 기능 집합을 공개하고 개발자가 균일하고 일관된 방식으로 다양한 모델 집합의 예측을 사용하는 데 사용할 수 있는 Azure AI 모델 유추 API를 지원합니다.

이 API의 기능과 애플리케이션 빌드 시 API를 사용할 수 있는 방법에 대해 자세히 알아봅니다.

엔드포인트 및 구독 삭제

모델 구독 및 엔드포인트를 삭제할 수 있습니다. 모델 구독을 삭제하면 연결된 모든 엔드포인트가 비정상되어 사용할 수 없게 됩니다.

서버리스 API 엔드포인트를 삭제하려면 다음을 수행합니다.

Azure Machine Learning 스튜디오로 이동합니다.
왼쪽 사이드바에서 엔드포인트를 선택합니다.
서버리스 API 엔드포인트를 표시하려면 서버리스 엔드포인트 탭을 선택합니다.
삭제하려는 엔드포인트를 엽니다.
삭제를 선택합니다.

연결된 모델 구독을 삭제하려면 다음을 수행합니다.

Azure Portal로 이동
작업 영역이 속한 리소스 그룹으로 이동합니다.
형식 필터에서 SaaS를 선택합니다.
삭제하려는 구독을 선택합니다.
삭제를 선택합니다.

서버리스 API 엔드포인트를 삭제하려면 다음을 수행합니다.

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

연결된 모델 구독을 삭제하려면 다음을 수행합니다.

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

서버리스 API 엔드포인트를 삭제하려면 다음을 수행합니다.

client.serverless_endpoints.begin_delete(endpoint_name).wait()

연결된 모델 구독을 삭제하려면 다음을 수행합니다.

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

리소스 관리 도구를 사용하여 리소스를 관리할 수 있습니다. 다음 코드는 Azure CLI를 사용합니다.

az resource delete --name <resource-name>

서버리스 API 엔드포인트로 배포된 모델에 대한 비용 및 할당량 고려 사항

할당량은 배포당 관리됩니다. 각 배포에는 분당 200,000개의 토큰과 분당 1,000개의 API 요청의 속도 제한이 있습니다. 그러나 현재는 작업 영역당 모델당 배포 하나로 제한됩니다. 현재 속도 제한이 시나리오에 충분하지 않은 경우 Microsoft Azure 지원에 문의하세요.

Microsoft 모델 비용

Microsoft 모델(예: Phi-3 모델)을 서버리스 API 엔드포인트로 배포할 때 배포 마법사의 가격 책정 및 사용 조건 탭에서 가격 책정 정보를 확인할 수 있습니다.

Microsoft 이외의 모델 비용

서버리스 API 엔드포인트로 배포된 Microsoft 이외의 모델은 Azure Marketplace를 통해 제공되며 Azure AI Studio와 통합되어 사용할 수 있습니다. 이러한 모델을 배포하거나 미세 조정하는 경우 Azure Marketplace 가격 책정을 찾을 수 있습니다.

작업 영역이 Azure Marketplace에서 지정된 제품을 구독할 때마다 사용에 연결된 비용을 추적하기 위해 새 리소스가 만들어집니다. 유추 및 미세 조정과 관련된 비용을 추적하는 데는 동일한 리소스가 사용되지만 여러 미터를 사용하여 각 시나리오를 독립적으로 추적할 수 있습니다.

비용을 추적하는 방법에 대한 자세한 내용은 Azure Marketplace를 통해 제공되는 모델에 대한 비용 모니터링을 참조하세요.

Azure RBAC(Azure 역할 기반 액세스 제어)는 Azure Machine Learning의 작업에 대한 액세스 권한을 부여하는 데 사용됩니다. 이 문서의 단계를 수행하려면 사용자 계정에 Azure 구독에 대한 소유자, 기여자 또는 Azure AI 개발자 역할이 할당되어야 합니다. 또는 계정에 다음 권한이 있는 사용자 지정 역할을 할당할 수 있습니다.

Azure 구독에서 작업 영역을 Azure Marketplace 제품에 등록하려면(각 작업 영역에 대해 제품별로 한 번씩) 다음을 수행합니다.
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
리소스 그룹에서 SaaS 리소스를 만들고 사용하려면 다음을 수행합니다.
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
작업 영역에서 엔드포인트를 배포하려면 다음을 수행합니다(Azure Machine Learning 데이터 과학자 역할에는 이미 이러한 권한이 포함되어 있음).
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

권한에 대한 자세한 내용은 Azure Machine Learning 작업 영역에 대한 액세스 관리를 참조하세요.

다음을 통해 공유

서버리스 API 엔드포인트로 모델 배포

필수 조건

모델 카탈로그에서 모델 및 모델 ID 찾기

서버리스 API 엔드포인트에 모델 배포

서버리스 API 엔드포인트 사용

엔드포인트 및 구독 삭제

서버리스 API 엔드포인트로 배포된 모델에 대한 비용 및 할당량 고려 사항

Microsoft 모델 비용

Microsoft 이외의 모델 비용

피드백

추가 리소스

다음을 통해 공유

서버리스 API 엔드포인트로 모델 배포

필수 조건

모델 카탈로그에서 모델 및 모델 ID 찾기

사용자의 작업 영역에서 모델 제품 구독

서버리스 API 엔드포인트에 모델 배포

서버리스 API 엔드포인트 사용

엔드포인트 및 구독 삭제

서버리스 API 엔드포인트로 배포된 모델에 대한 비용 및 할당량 고려 사항

Microsoft 모델 비용

Microsoft 이외의 모델 비용

모델 제품을 구독하는 데 필요한 권한

관련 콘텐츠

피드백

추가 리소스