從 GitHub 模型升級至 Azure AI 模型推斷

如果您想要開發產生式 AI 應用程式，您可以使用 GitHub 模型 免費尋找並實驗 AI 模型。 遊樂場和免費的 API 使用量會受到每分鐘要求、每日要求、每個要求令牌和並行要求的限制。 如果您獲得速率限制，則必須先等候所達到的速率限制重設，才能提出更多要求。

準備好將應用程式帶入生產環境之後，您可以在 Azure 訂用帳戶中部署 Azure AI 服務資源並開始使用 Azure AI 模型推斷服務來升級您的體驗。 您不需要變更程式代碼中的任何其他專案。

下列文章說明如何開始使用 GitHub 模型，並使用 Azure AI 模型推斷來部署 Azure AI 服務資源。

必要條件

若要完成本教學課程，您需要：

• 可存取 GitHub 模型的 GitHub 帳戶。
• Azure 訂用帳戶。 如果您沒有帳戶，系統會提示您在準備好將模型部署至生產環境時，建立或更新您的 Azure 帳戶以隨用隨付帳戶。

升級至 Azure AI 模型推斷

遊樂場和免費 API 使用量的速率限制旨在協助您實驗模型並開發 AI 應用程式。 準備好讓應用程式進入生產環境之後，請使用付費 Azure 帳戶中的密鑰和端點。 您不需要變更程式代碼中的任何其他專案。

若要取得金鑰和端點：

1. 請移至 GitHub 模型 ，然後選取您感興趣的模型。

2. 在模型的遊樂場中，選取 [ 取得 API 金鑰]。

3. 選取 [ 取得生產密鑰]。

   

4. 如果您沒有 Azure 帳戶，請選取 [建立我的帳戶]，然後遵循步驟來建立帳戶。

5. 如果您有 Azure 帳戶，請選取 [重新登入]。

6. 如果您的現有帳戶是免費帳戶，您必須先升級為隨用隨付方案。 升級之後，請返回遊樂場，然後再次選取 [取得 API 金鑰 ]，然後使用升級的帳戶登入。

7. 登入 Azure 帳戶之後，系統會將您帶往 Azure AI Studio > GitHub。 在 AI Studio 中載入初始模型詳細數據可能需要一兩分鐘的時間。

8. 頁面會隨著模型的詳細數據載入。 選取 [ 部署] 按鈕，將模型部署至您的帳戶。

9. 部署之後，您的模型 API 金鑰和端點會顯示在概觀中。 在程式代碼中使用這些值，以在生產環境中使用模型。

此時，您選取的模型已準備好取用。

升級您的程式代碼以使用新的端點

設定 Azure AI 服務資源之後，您就可以開始從程式代碼取用它。 若要取用 Azure AI 服務資源，您需要端點 URL 和密鑰，其可在 [ 概觀 ] 區段中取得：

您可以使用任何支援的 SDK，從端點取得預測。 正式支援下列 SDK：

• OpenAI SDK
• Azure OpenAI SDK
• Azure AI 推斷 SDK

如需詳細資訊和範例，請參閱支援的語言和 SDK 一節。 下列範例示範如何搭配新部署的模型使用 Azure AI 模型推斷 SDK：

Python

使用套件管理員安裝套件 azure-ai-inference，例如 pip：

pip install azure-ai-inference>=1.0.0b5

警告

Azure AI Services 資源需要適用於 Python 的版本 azure-ai-inference>=1.0.0b5 。

然後，您可以使用套件來取用模型。 下列範例會示範如何建立用戶端以取用聊天完成：

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

探索我們的範例，並閱讀 API 參考文件 以開始使用。

JavaScript

從 npm 安裝套件 @azure-rest/ai-inference：

npm install @azure-rest/ai-inference

然後，您可以使用套件來取用模型。 下列範例會示範如何建立用戶端以取用聊天完成：

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

探索我們的範例，並閱讀 API 參考文件 以開始使用。

C#

使用下列命令來安裝 Azure AI 推斷程式庫：

dotnet add package Azure.AI.Inference --prerelease

匯入下列命名空間：

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

然後，您可以使用套件來取用模型。 下列範例會示範如何建立用戶端以取用聊天完成：

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

探索我們的範例，並閱讀 API 參考文件 以開始使用。

Java

將套件新增至您的專案：

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

然後，您可以使用套件來取用模型。 下列範例會示範如何建立用戶端以取用聊天完成：

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

探索我們的範例，並閱讀 API 參考文件 以開始使用。

REST

使用參考區段來探索 API 設計和可用的參數。 例如，聊天完成的參考區段會詳細說明如何使用路由/chat/completions，根據聊天格式的指示產生預測。 請注意，URL 的根目錄包含路徑 /models ：

要求

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

產生您的第一個聊天完成：

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

要求

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

使用 參數 model="<deployment-name> 將要求路由傳送至此部署。 部署可作為特定組態下指定模型的別名。 請參閱 路由 概念頁面，以瞭解 Azure AI Services 如何路由部署。

重要

與已設定所有模型的 GitHub 模型相反，Azure AI 服務資源可讓您控制端點中可用的模型，以及哪些設定。 在 參數中 model 指出模型之前，請新增您打算使用的模型數量。 瞭解如何 將更多模型 新增至您的資源。

探索其他功能

Azure AI 模型推斷支援 GitHub 模型不提供的其他功能，包括：

• 探索模型目錄 ，以查看 GitHub Models 中無法使用的其他模型。
• 設定 內容篩選。
• 設定速率限制 （針對特定模型）。
• 探索其他部署 SKU （適用於特定模型）。
• 設定 專用網。

有麻煩嗎？

請參閱常見問題一節以探索更多說明。

下一步

• 探索 Azure AI Studio 中的模型目錄 。
• 將更多模型 新增至您的端點。