Azure AI 서비스에 모델 추가 및 구성 - Azure AI Foundry

Important

이 문서에 표시된 항목(미리 보기)은 현재 퍼블릭 미리 보기에서 확인할 수 있습니다. 이 미리 보기는 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다. 자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.

유추 엔드포인트에서 유추에 사용할 수 있는 모델을 결정하고 구성할 수 있습니다. 지정된 모델이 구성된 경우 요청에 모델 이름 또는 배포 이름을 표시하여 해당 모델에서 예측을 생성할 수 있습니다. 코드를 사용하기 위해 코드에서 더 이상 변경할 필요가 없습니다.

이 문서에서는 Azure AI Foundry에서 Azure AI 모델 유추에 새 모델을 추가하는 방법을 알아봅니다.

필수 조건

이 문서를 완료하려면 다음이 필요합니다.

Azure 구독 GitHub 모델을 사용하는 경우 환경을 업그레이드하고 프로세스에서 Azure 구독을 만들 수 있습니다. 이 경우 GitHub 모델에서 Azure AI 모델 유추로 업그레이드를 읽습니다.
Azure AI 서비스 리소스입니다.

Azure AI 모델 유추 서비스에 모델 배포 기능을 사용하여 Azure AI Services 리소스에 연결된 AI 프로젝트입니다.
- Azure AI Foundry의 프로젝트에서 Azure AI 모델 유추 서비스 구성의 단계를 따를 수 있습니다.

모델 추가

다음 단계를 사용하여 Azure AI 모델 유추 엔드포인트에 모델을 추가할 수 있습니다.

Azure AI Foundry 포털의 모델 카탈로그 섹션으로 이동합니다.
관심 있는 모델로 스크롤하여 선택합니다.
모델 카드에서 모델의 세부 정보를 검토할 수 있습니다.
배포를 선택합니다.
더 많은 계약 조건이 필요한 모델 공급자의 경우 해당 약관에 동의하라는 메시지가 표시됩니다. 예를 들어 Mistral 모델의 경우입니다. 구독 및 배포를 선택하여 해당 사례에 대한 약관에 동의합니다.
현재 배포 설정을 구성할 수 있습니다. 기본적으로 배포는 배포하려는 모델의 이름을 받습니다. 배포 이름은 이 특정 모델 배포로 model 라우팅하기 위한 요청에 대한 매개 변수에 사용됩니다. 이렇게 하면 특정 구성을 연결할 때 모델의 특정 이름을 구성할 수도 있습니다. 예를 들어 o1-preview-safe 엄격한 콘텐츠 안전 콘텐츠 필터가 있는 모델의 경우입니다.

팁

각 모델은 다양한 배포 유형을 지원하여 서로 다른 데이터 상주 또는 처리량 보장을 제공할 수 있습니다. 자세한 내용은 배포 유형을 참조하세요.
프로젝트에 따라 Azure AI Services 연결을 자동으로 선택합니다. 사용자 지정 옵션을 사용하여 필요에 따라 연결을 변경합니다. 표준 배포 유형으로 배포하는 경우 Azure AI Services 리소스의 지역에서 모델을 사용할 수 있어야 합니다.

팁

원하는 리소스가 나열되지 않은 경우 해당 리소스에 대한 연결을 만들어야 할 수 있습니다. Azure AI Foundry 포털의 내 프로젝트에서 Azure AI 모델 유추 서비스 구성을 참조하세요.
배포를 선택합니다.
배포가 완료되면 새 모델이 페이지에 나열되고 사용할 준비가 된 것입니다.

모델 관리

Azure AI Foundry 포털을 사용하여 리소스에서 기존 모델 배포를 관리할 수 있습니다.

Azure AI Foundry 포털의 모델 + 엔드포인트 섹션으로 이동합니다.
Azure AI Services 리소스에 대한 연결로 스크롤합니다. 모델 배포는 연결별로 그룹화되고 표시됩니다.
각 연결에서 사용할 수 있는 모델 목록이 표시됩니다. 관심 있는 모델 배포를 선택합니다.
필요에 따라 배포를 편집 하거나 삭제 합니다.

플레이그라운드에서 배포 테스트

플레이그라운드를 사용하여 Azure AI Foundry 포털에서 새 모델과 상호 작용할 수 있습니다.

참고 항목

플레이그라운드는 Azure AI Foundry에서 AI 프로젝트를 사용하는 경우에만 사용할 수 있습니다. AI 프로젝트를 만들어 Azure AI Foundry의 모든 기능에 대한 모든 액세스 권한을 얻습니다.

Azure AI Foundry 포털의 플레이그라운드 섹션으로 이동합니다.
배포한 모델 유형에 따라 필요한 플레이그라운드를 선택합니다. 이 경우 채팅 플레이그라운드를 선택합니다.
배포 드롭다운의 설치 아래에서 만든 모델 배포의 이름을 선택합니다.
프롬프트를 입력하고 출력을 확인합니다.
또한 보기 코드를 사용할 수 있으므로 프로그래밍 방식으로 모델 배포에 액세스하는 방법에 대한 세부 정보를 볼 수 있습니다.

Important

이 문서에 표시된 항목(미리 보기)은 현재 퍼블릭 미리 보기에서 확인할 수 있습니다. 이 미리 보기는 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다. 자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.

유추 엔드포인트에서 유추에 사용할 수 있는 모델을 결정하고 구성할 수 있습니다. 지정된 모델이 구성된 경우 요청에 모델 이름 또는 배포 이름을 표시하여 해당 모델에서 예측을 생성할 수 있습니다. 코드를 사용하기 위해 코드에서 더 이상 변경할 필요가 없습니다.

이 문서에서는 Azure AI Foundry에서 Azure AI 모델 유추에 새 모델을 추가하는 방법을 알아봅니다.

필수 조건

이 문서를 완료하려면 다음이 필요합니다.

Azure 구독 GitHub 모델을 사용하는 경우 환경을 업그레이드하고 프로세스에서 Azure 구독을 만들 수 있습니다. 이 경우 GitHub 모델에서 Azure AI 모델 유추로 업그레이드를 읽습니다.
Azure AI 서비스 리소스입니다.

Azure CLI 및 cognitiveservices Azure AI Services에 대한 확장을 설치합니다.
```
az extension add -n cognitiveservices
```
이 자습서의 일부 명령은 시스템에 설치되지 않을 수 있는 도구를 사용합니다 jq . 설치 지침은 다운로드를 참조 하세요 jq.
다음 정보를 식별합니다.
- Azure 구독 ID.
- Azure AI Services 리소스 이름입니다.
- Azure AI Services 리소스가 배포되는 리소스 그룹입니다.

모델 추가

모델을 추가하려면 먼저 배포하려는 모델을 식별해야 합니다. 다음과 같이 사용 가능한 모델을 쿼리할 수 있습니다.

Azure 구독에 로그인합니다.
```
az login
```
구독이 1개 이상인 경우 리소스가 있는 구독을 선택합니다.
```
az account set --subscription $subscriptionId>
```
사용하려는 Azure AI Services 리소스 및 리소스 그룹의 이름으로 다음 환경 변수를 설정합니다.
```
accountName="<ai-services-resource-name>"
resourceGroupName="<resource-group>"
```
Azure AI Services 계정이 아직 만들어지지 않은 경우 다음과 같이 만들 수 있습니다.
```
az cognitiveservices account create -n $accountName -g $resourceGroupName
```

먼저 사용할 수 있는 모델과 해당 SKU를 살펴보겠습니다. 다음 명령은 사용 가능한 모든 모델 정의를 나열합니다.

az cognitiveservices account list-models \
    -n $accountName \
    -g $resourceGroupName \
| jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'

출력은 다음과 같습니다.

{
  "name": "Phi-3.5-vision-instruct",
  "format": "Microsoft",
  "version": "2",
  "sku": "GlobalStandard",
  "capacity": 1
}

배포하려는 모델을 식별합니다. 속성name, format및 versionsku. 배포 유형에 따라 용량이 필요할 수도 있습니다.

팁

모든 SKU에서 모든 모델을 사용할 수 있는 것은 아닙니다.

리소스에 모델 배포를 추가합니다. 다음 예제에서는 다음을 추가합니다.Phi-3.5-vision-instruct

az cognitiveservices account deployment create \
    -n $accountName \
    -g $resourceGroupName \
    --deployment-name Phi-3.5-vision-instruct \
    --model-name Phi-3.5-vision-instruct \
    --model-version 2 \
    --model-format Microsoft \
    --sku-capacity 1 \
    --sku-name GlobalStandard

모델을 사용할 준비가 된 것입니다.

다른 배포 이름 아래에 있는 한 필요한 경우 동일한 모델을 여러 번 배포할 수 있습니다. 이 기능은 콘텐츠 안전을 포함하여 지정된 모델에 대한 다양한 구성을 테스트하려는 경우에 유용할 수 있습니다.

배포 관리

CLI를 사용하여 사용 가능한 모든 배포를 볼 수 있습니다.

다음 명령을 실행하여 모든 활성 배포를 확인합니다.

az cognitiveservices account deployment list -n $accountName -g $resourceGroupName

지정된 배포의 세부 정보를 볼 수 있습니다.

az cognitiveservices account deployment show \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

지정된 배포는 다음과 같이 삭제할 수 있습니다.

    az cognitiveservices account deployment delete \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

모델 사용

Azure AI 모델 유추에 배포된 모델은 리소스에 대한 Azure AI 모델의 유추 엔드포인트를 사용하여 사용할 수 있습니다. 요청을 생성할 때 매개 변수 model 를 지정하고 만든 모델 배포 이름을 삽입합니다. 다음 코드를 사용하여 유추 엔드포인트에 대한 URI를 프로그래밍 방식으로 가져올 수 있습니다.

유추 엔드포인트

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Azure AI 모델 유추 엔드포인트에 요청하려면 경로를 models추가합니다(예: https://<resource>.services.ai.azure.com/models). Azure AI 모델 유추 API 참조 페이지에서 엔드포인트에 대한 API 참조를 볼 수 있습니다.

유추 키

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Important

이 문서에 표시된 항목(미리 보기)은 현재 퍼블릭 미리 보기에서 확인할 수 있습니다. 이 미리 보기는 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다. 자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.

유추 엔드포인트에서 유추에 사용할 수 있는 모델을 결정하고 구성할 수 있습니다. 지정된 모델이 구성된 경우 요청에 모델 이름 또는 배포 이름을 표시하여 해당 모델에서 예측을 생성할 수 있습니다. 코드를 사용하기 위해 코드에서 더 이상 변경할 필요가 없습니다.

이 문서에서는 Azure AI Foundry에서 Azure AI 모델 유추에 새 모델을 추가하는 방법을 알아봅니다.

필수 조건

이 문서를 완료하려면 다음이 필요합니다.

Azure 구독 GitHub 모델을 사용하는 경우 환경을 업그레이드하고 프로세스에서 Azure 구독을 만들 수 있습니다. 이 경우 GitHub 모델에서 Azure AI 모델 유추로 업그레이드를 읽습니다.
Azure AI 서비스 리소스입니다.

Azure CLI를 설치합니다.
다음 정보를 식별합니다.
- Azure 구독 ID.
- Azure AI Services 리소스 이름입니다.
- Azure AI Services 리소스가 배포되는 리소스 그룹입니다.
- 배포하려는 모델 이름, 공급자, 버전 및 SKU입니다. Azure AI Foundry 포털 또는 Azure CLI를 사용하여 식별할 수 있습니다. 이 예제에서는 다음 모델을 배포합니다.
  - 모델 이름:: Phi-3.5-vision-instruct
  - 공급자: Microsoft
  - 버전:2
  - 배포 유형: 전역 표준

모델 추가

템플릿 ai-services-deployment-template.bicep 을 사용하여 모델 배포를 설명합니다.

ai-services-deployment-template.bicep

@description('Name of the Azure AI services account')
param accountName string

@description('Name of the model to deploy')
param modelName string

@description('Version of the model to deploy')
param modelVersion string

@allowed([
  'AI21 Labs'
  'Cohere'
  'Core42'
  'DeepSeek'
  'Meta'
  'Microsoft'
  'Mistral AI'
  'OpenAI'
])
@description('Model provider')
param modelPublisherFormat string

@allowed([
    'GlobalStandard'
    'Standard'
    'GlobalProvisioned'
    'Provisioned'
])
@description('Model deployment SKU name')
param skuName string = 'GlobalStandard'

@description('Content filter policy name')
param contentFilterPolicyName string = 'Microsoft.DefaultV2'

@description('Model deployment capacity')
param capacity int = 1

resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
  name: '${accountName}/${modelName}'
  sku: {
    name: skuName
    capacity: capacity
  }
  properties: {
    model: {
      format: modelPublisherFormat
      name: modelName
      version: modelVersion
    }
    raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
  }
}

배포를 실행합니다.

RESOURCE_GROUP="<resource-group-name>"
ACCOUNT_NAME="<azure-ai-model-inference-name>" 
MODEL_NAME="Phi-3.5-vision-instruct"
PROVIDER="Microsoft"
VERSION=2

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file ai-services-deployment-template.bicep \
    --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER

모델 사용

Azure AI 모델 유추에 배포된 모델은 리소스에 대한 Azure AI 모델의 유추 엔드포인트를 사용하여 사용할 수 있습니다. 요청을 생성할 때 매개 변수 model 를 지정하고 만든 모델 배포 이름을 삽입합니다.

다음을 통해 공유

Azure AI 모델 유추에 모델 추가 및 구성

필수 조건

모델 추가

모델 관리

플레이그라운드에서 배포 테스트

필수 조건

모델 추가

배포 관리

모델 사용

필수 조건

모델 추가

모델 사용

다음 단계

피드백

추가 리소스