GitHub 모델에서 Azure AI 모델 유추로 업그레이드

생성 AI 애플리케이션을 개발하려는 경우 GitHub 모델을 사용하여 무료로 AI 모델을 찾아 실험할 수 있습니다. 플레이그라운드 및 무료 API 사용량은 분당 요청, 일별 요청, 요청당 토큰 및 동시 요청에 의해 제한 됩니다. 속도가 제한되는 경우 더 많은 요청을 하기 전에 적중한 속도 제한이 재설정될 때까지 기다려야 합니다.

애플리케이션을 프로덕션으로 전환할 준비가 되면 Azure 구독에 Azure AI Services 리소스를 배포하여 환경을 업그레이드하고 Azure AI 모델 유추 서비스를 사용할 수 있습니다. 코드에서 다른 항목은 변경할 필요가 없습니다.

다음 문서에서는 GitHub 모델에서 시작하고 Azure AI 모델 유추를 사용하여 Azure AI Services 리소스를 배포하는 방법을 설명합니다.

필수 조건

이 자습서를 완전히 학습하려면 다음이 필요합니다.

• GitHub 모델에 액세스할 수 있는 GitHub 계정입니다.
• Azure 구독 계정이 없는 경우 프로덕션에 모델을 배포할 준비가 되면 Azure 계정을 만들거나 급여로 업데이트하라는 메시지가 표시됩니다.

Azure AI 모델 유추로 업그레이드

플레이그라운드 및 무료 API 사용에 대한 속도 제한은 모델을 실험하고 AI 애플리케이션을 개발하는 데 도움을 주기 위한 것입니다. 애플리케이션을 프로덕션으로 가져올 준비가 되면 유료 Azure 계정의 키와 엔드포인트를 사용합니다. 코드에서 다른 항목은 변경할 필요가 없습니다.

키 및 엔드포인트를 가져오려면 다음을 수행합니다.

1. GitHub 모델로 이동하여 관심 있는 모델을 선택합니다.

2. 모델의 플레이그라운드에서 API 키 가져오기를 선택합니다.

3. 프로덕션 키 가져오기를 선택합니다.

   

4. Azure 계정이 없는 경우 내 계정 만들기를 선택하고 단계에 따라 계정을 만듭니다.

5. Azure 계정이 있는 경우 다시 로그인을 선택합니다.

6. 기존 계정이 무료 계정인 경우 먼저 요금제로 업그레이드해야 합니다. 업그레이드한 후 플레이그라운드로 돌아가서 API 키 가져오기를 다시 선택한 다음 업그레이드된 계정으로 로그인합니다.

7. Azure 계정에 로그인하면 Azure AI Studio > GitHub로 이동합니다. AI Studio에서 초기 모델 세부 정보를 로드하는 데 1~2분 정도 걸릴 수 있습니다.

8. 페이지가 모델의 세부 정보와 함께 로드됩니다. 배포 단추를 선택하여 계정에 모델을 배포합니다.

9. 배포되면 모델의 API 키 및 엔드포인트가 개요에 표시됩니다. 코드에서 이러한 값을 사용하여 프로덕션 환경에서 모델을 사용합니다.

이 시점에서 선택한 모델을 사용할 준비가 된 것입니다.

새 엔드포인트를 사용하도록 코드 업그레이드

Azure AI Services 리소스가 구성되면 코드에서 사용을 시작할 수 있습니다. Azure AI Services 리소스를 사용하려면 개요 섹션에서 사용할 수 있는 엔드포인트 URL 및 키가 필요합니다.

지원되는 SDK를 사용하여 엔드포인트에서 예측을 가져올 수 있습니다. 공식적으로 지원되는 SDK는 다음과 같습니다.

• OpenAI SDK
• Azure OpenAI SDK
• Azure AI 유추 SDK

자세한 내용 및 예제는 지원되는 언어 및 SDK 섹션을 참조하세요. 다음 예제에서는 새로 배포된 모델에서 Azure AI 모델 유추 SDK를 사용하는 방법을 보여줍니다.

Python

pip와 같은 패키지 관리 시스템을 사용하여 azure-ai-inference 패키지를 설치합니다.

pip install azure-ai-inference>=1.0.0b5

Warning

Azure AI Services 리소스에는 Python 버전 azure-ai-inference>=1.0.0b5 이 필요합니다.

그런 다음 패키지를 사용하여 모델을 이용할 수 있습니다. 다음 예에서는 채팅 완성을 이용하는 클라이언트를 만드는 방법을 보여 줍니다.

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

시작하려면 샘플을 살펴보고 API 참조 설명서를 참조하세요.

JavaScript

npm을 사용하여 @azure-rest/ai-inference 패키지를 설치합니다.

npm install @azure-rest/ai-inference

그런 다음 패키지를 사용하여 모델을 이용할 수 있습니다. 다음 예에서는 채팅 완성을 이용하는 클라이언트를 만드는 방법을 보여 줍니다.

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

시작하려면 샘플을 살펴보고 API 참조 설명서를 참조하세요.

C#

다음 명령을 사용하여 Azure AI 유추 라이브러리를 설치합니다.

dotnet add package Azure.AI.Inference --prerelease

다음 네임스페이스를 가져옵니다.

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

그런 다음 패키지를 사용하여 모델을 이용할 수 있습니다. 다음 예에서는 채팅 완성을 이용하는 클라이언트를 만드는 방법을 보여 줍니다.

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

시작하려면 샘플을 살펴보고 API 참조 설명서를 참조하세요.

Java

프로젝트에 패키지를 추가합니다.

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

그런 다음 패키지를 사용하여 모델을 이용할 수 있습니다. 다음 예에서는 채팅 완성을 이용하는 클라이언트를 만드는 방법을 보여 줍니다.

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

시작하려면 샘플을 살펴보고 API 참조 설명서를 참조하세요.

REST (영문)

참조 섹션을 사용하여 API 디자인 및 사용할 수 있는 매개 변수를 살펴봅니다. 예를 들어 채팅 완료에 대한 참조 섹션에서는 경로를 /chat/completions 사용하여 채팅 형식의 지침에 따라 예측을 생성하는 방법을 자세히 설명합니다. 경로 /models 는 URL의 루트에 포함됩니다.

요청

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

첫 번째 채팅 완료를 생성합니다.

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST (영문)

요청

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

매개 변수 model="<deployment-name> 를 사용하여 요청을 이 배포로 라우팅합니다. 배포는 특정 구성에서 지정된 모델의 별칭으로 작동합니다. Azure AI Services가 배포를 라우팅하는 방법을 알아보려면 라우팅 개념 페이지를 참조하세요.

Important

모든 모델이 이미 구성된 GitHub 모델과 반대로 Azure AI Services 리소스를 사용하면 엔드포인트에서 사용할 수 있는 모델과 구성을 제어할 수 있습니다. 매개 변수에 표시 model 하기 전에 사용하려는 만큼 모델을 추가합니다. 리소스에 더 많은 모델을 추가하는 방법을 알아봅니다.

추가 기능 살펴보기

Azure AI 모델 유추는 다음을 포함하여 GitHub 모델에서 사용할 수 없는 추가 기능을 지원합니다.

• 모델 카탈로그 를 탐색하여 GitHub 모델에서 사용할 수 없는 추가 모델을 확인합니다.
• 콘텐츠 필터링을 구성 합니다.
• 속도 제한을 구성합니다(특정 모델에 대해).
• 추가 배포 SKU(특정 모델)를 살펴봅니다.
• 프라이빗 네트워킹을 구성 합니다.

문제가 있나요?

자세한 도움말은 FAQ 섹션 을 참조하세요.

다음 단계

• Azure AI Studio에서 모델 카탈로그 를 탐색합니다.
• 엔드포인트에 모델을 더 추가합니다.