Praca z modelami usługi Azure OpenAI
Usługa Azure OpenAI Service jest obsługiwana przez zróżnicowany zestaw modeli z różnymi możliwościami i cenami. Dostępność modelu różni się w zależności od regionu.
Listę modeli, które są dostępne zarówno do wnioskowania, jak i dostrajania przez zasób usługi Azure OpenAI, można uzyskać przy użyciu interfejsu API listy modeli.
Aktualizacje modelu
Usługa Azure OpenAI obsługuje teraz aktualizacje automatyczne dla wybranych wdrożeń modelu. W modelach, w których jest dostępna obsługa automatycznej aktualizacji, lista rozwijana wersji modelu jest widoczna w portalu usługi Azure AI Foundry w obszarze Wdrożenia i Edytuj:
Więcej informacji na temat wersji modelu usługi Azure OpenAI i sposobu ich działania można uzyskać w artykule Wersje modelu usługi Azure OpenAI.
Uwaga
Automatyczne aktualizacje modelu są obsługiwane tylko w przypadku typów wdrożeń w warstwie Standardowa. Aby uzyskać więcej informacji na temat zarządzania aktualizacjami modeli i migracjami w przypadku aprowizowania typów wdrożeń, zapoznaj się z sekcją dotyczącą zarządzania modelami w przypadku aprowizowania typów wdrożeń
Automatyczna aktualizacja do domyślnej
Po ustawieniu wdrożenia na Wartość domyślna Automatyczna aktualizacja zostanie automatycznie zaktualizowana w ciągu dwóch tygodni od zmiany wersji domyślnej. W przypadku wersji zapoznawczej jest ona aktualizowana automatycznie, gdy nowa wersja zapoznawcza jest dostępna od dwóch tygodni po wydaniu nowej wersji zapoznawczej.
Jeśli nadal używasz wczesnych faz testowania dla modeli wnioskowania, zalecamy wdrażanie modeli z automatyczną aktualizacją do ustawienia domyślnego zawsze, gdy jest dostępna.
Określona wersja modelu
W miarę rozwoju korzystania z usługi Azure OpenAI i rozpoczynasz tworzenie i integrowanie z aplikacjami, możesz ręcznie kontrolować aktualizacje modelu. Przed uaktualnieniem można najpierw przetestować i sprawdzić, czy zachowanie aplikacji jest spójne dla twojego przypadku użycia.
Po wybraniu konkretnej wersji modelu dla wdrożenia ta wersja pozostaje wybrana do momentu wybrania opcji ręcznej aktualizacji lub po osiągnięciu daty wycofania modelu. Po osiągnięciu daty wycofania model zostanie automatycznie uaktualniony do domyślnej wersji w momencie wycofania.
Wyświetlanie dat wycofania
W przypadku aktualnie wdrożonych modeli w portalu azure AI Foundry wybierz pozycję Wdrożenia:
Konfiguracja uaktualniania wdrożenia modelu
Możesz sprawdzić, jakie opcje uaktualniania modelu są ustawione dla wcześniej wdrożonych modeli w portalu usługi Azure AI Foundry. Wybierz pozycję Wdrożenia> w kolumnie Nazwa wdrożenia wybierz jedną z nazw wdrożeń wyróżnioną kolorem niebieskim.
Wybranie nazwy wdrożenia powoduje otwarcie właściwości wdrożenia modelu. W obszarze Zasady aktualizacji wersji można wyświetlić, jakie opcje uaktualniania zostały ustawione dla wdrożenia:
Dostęp do odpowiedniej właściwości można również uzyskać za pośrednictwem interfejsu wiersza polecenia REST, programu Azure PowerShell i interfejsu wiersza polecenia platformy Azure.
| Opcja | Czytaj | Zaktualizuj |
|---|---|---|
| REST | Tak. Jeśli versionUpgradeOption nie zostanie zwrócona, oznacza to, że jest null |
Tak |
| Azure PowerShell | Tak.
VersionUpgradeOption można sprawdzić, czy $null |
Tak |
| Interfejs wiersza polecenia platformy Azure | Tak.
null Pokazuje, czy versionUpgradeOption nie jest ustawiona. |
L.p. Obecnie nie można zaktualizować opcji uaktualnienia wersji. |
Istnieją trzy różne opcje uaktualniania wdrożenia modelu:
| Nazwa/nazwisko | opis |
|---|---|
OnceNewDefaultVersionAvailable |
Po wyznaczeniu nowej wersji jako domyślnej wdrożenie modelu automatycznie uaktualnia do wersji domyślnej w ciągu dwóch tygodni od wprowadzenia tej zmiany oznaczenia. |
OnceCurrentVersionExpired |
Po osiągnięciu daty wycofania wdrożenie modelu zostanie automatycznie uaktualnione do bieżącej wersji domyślnej. |
NoAutoUpgrade |
Wdrożenie modelu nigdy nie jest automatycznie uaktualniane. Po osiągnięciu daty wycofania wdrożenie modelu przestanie działać. Należy zaktualizować kod odwołujący się do tego wdrożenia, aby wskazywał na nieistniejące wdrożenie modelu. |
Uwaga
null jest równoważne z OnceCurrentVersionExpired.
Jeśli opcja Zasady aktualizacji wersji nie istnieje we właściwościach modelu obsługującego uaktualnienia modelu, oznacza to, że wartość jest obecnie nullwartością . Po jawnym zmodyfikowaniu tej wartości właściwość będzie widoczna na stronie właściwości studio, a także za pośrednictwem interfejsu API REST.
Przykłady
Zapoznaj się z przewodnikiem wprowadzenie do programu Azure PowerShell, aby zainstalować program Azure PowerShell lokalnie lub możesz użyć usługi Azure Cloud Shell.
W poniższych krokach pokazano sprawdzanie VersionUpgradeOption właściwości opcji, a także aktualizowanie jej:
// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
// Step 2: Show Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
// VersionUpgradeOption can be null - one way to check is
$null -eq $deployment.Properties.VersionUpgradeOption
// Step 3: Update Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
// repeat step 1 and 2 to confirm the change.
// If not sure about deployment name, use this command to show all deployments under an account
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}
// To update to a new model version
// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
// Step 2: Show Deployment Model properties
$deployment.Properties.Model.Version
// Step 3: Update Deployed Model Version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
// repeat step 1 and 2 to confirm the change.
Aktualizowanie i wdrażanie modeli za pośrednictwem interfejsu API
PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01
Parametry ścieżki
| Parametr | Type | Wymagane? | opis |
|---|---|---|---|
acountname |
string | Wymagania | Nazwa zasobu usługi Azure OpenAI. |
deploymentName |
string | Wymagania | Nazwa wdrożenia wybrana podczas wdrażania istniejącego modelu lub nazwa, którą ma mieć nowe wdrożenie modelu. |
resourceGroupName |
string | Wymagania | Nazwa skojarzonej grupy zasobów dla tego wdrożenia modelu. |
subscriptionId |
string | Wymagania | Identyfikator subskrypcji skojarzonej subskrypcji. |
api-version |
string | Wymagania | Wersja interfejsu API do użycia dla tej operacji. Jest zgodna z formatem RRRR-MM-DD. |
Obsługiwane wersje
-
2023-05-01Specyfikacja struktury Swagger
Treść żądania
Jest to tylko podzestaw dostępnych parametrów treści żądania. Pełną listę parametrów można znaleźć w dokumentacji referencyjnej interfejsu API REST.
| Parametr | Type | Opis |
|---|---|---|
| versionUpgradeOption | String | Opcje uaktualniania wersji modelu wdrażania:OnceNewDefaultVersionAvailableOnceCurrentVersionExpiredNoAutoUpgrade |
| capacity | integer | Reprezentuje to ilość przydziału przypisywanego do tego wdrożenia. Wartość 1 równa 1000 tokenów na minutę (TPM) |
Przykładowe żądanie
curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2023-05-01 \
-H "Content-Type: application/json" \
-H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
-d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'
Uwaga
Istnieje wiele sposobów generowania tokenu autoryzacji. Najprostszą metodą testowania początkowego jest uruchomienie usługi Cloud Shell w witrynie Azure Portal. Następnie należy uruchomić polecenie az account get-access-token. Możesz użyć tego tokenu jako tymczasowego tokenu autoryzacji na potrzeby testowania interfejsu API.
Przykładowa odpowiedź
{
"id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
"type": "Microsoft.CognitiveServices/accounts/deployments",
"name": "gpt-35-turbo",
"sku": {
"name": "Standard",
"capacity": 120
},
"properties": {
"model": {
"format": "OpenAI",
"name": "gpt-35-turbo",
"version": "0613"
},
"versionUpgradeOption": "OnceCurrentVersionExpired",
"capabilities": {
"chatCompletion": "true"
},
"provisioningState": "Succeeded",
"rateLimits": [
{
"key": "request",
"renewalPeriod": 10,
"count": 120
},
{
"key": "token",
"renewalPeriod": 60,
"count": 120000
}
]
},
"systemData": {
"createdBy": "docs@contoso.com",
"createdByType": "User",
"createdAt": "2023-02-28T02:57:15.8951706Z",
"lastModifiedBy": "docs@contoso.com",
"lastModifiedByType": "User",
"lastModifiedAt": "2023-10-31T15:35:53.082912Z"
},
"etag": "\"GUID\""
}
Zarządzanie modelami w przypadku aprowizowania typów wdrożeń
Aprowizowania wdrożeń obsługują różne praktyki zarządzania modelami. Aprowizowane praktyki zarządzania modelami wdrażania mają na celu zapewnienie największej kontroli nad tym, kiedy i jak migrujesz między wersjami modelu i rodzinami modeli. Obecnie dostępne są dwa podejścia do zarządzania modelami wdrożeń aprowizowanych: (1) migracji w miejscu i (2) migracje obejmujące wiele wdrożeń.
Wymagania wstępne
- Sprawdź, czy wersja lub rodzina modeli docelowych jest obsługiwana dla istniejącego typu wdrożenia. Migracje mogą wystąpić tylko między aprowizowanych wdrożeniami tego samego typu wdrożenia. Aby uzyskać więcej informacji na temat typów wdrożeń, zapoznaj się z dokumentacją typu wdrożenia.
- Przed podjęciem próby migracji zweryfikuj dostępność pojemności dla docelowej wersji modelu lub rodziny modeli. Aby uzyskać więcej informacji na temat określania dostępności pojemności, zapoznaj się z dokumentacją przejrzystości pojemności.
- W przypadku migracji obejmujących wiele wdrożeń sprawdź, czy masz wystarczający limit przydziału, aby obsługiwać wiele wdrożeń jednocześnie. Aby uzyskać więcej informacji na temat sprawdzania limitu przydziału dla każdego typu aprowizowania wdrożenia, zapoznaj się z dokumentacją aprowizowanego limitu przydziału.
Migracje w miejscu dla aprowizowania wdrożeń
Migracje w miejscu umożliwiają zachowanie tej samej nazwy i rozmiaru aprowizowanego wdrożenia podczas zmiany wersji modelu lub rodziny modeli przypisanej do tego wdrożenia. W przypadku migracji w miejscu usługa Azure OpenAI Service zajmuje się migracją dowolnego istniejącego ruchu między wersjami modelu lub rodzinami modeli w całym przedziale 20–30 minut. W całym oknie migracji aprowizowane wdrożenie wyświetli stan aprowizacji aktualizacji. Możesz nadal używać aprowizowanego wdrożenia, tak jak zwykle. Po zakończeniu migracji w miejscu aprowizacja zostanie zaktualizowana do stanu "powodzenie", co oznacza, że cały ruch został zmigrowany do docelowej wersji modelu lub rodziny modeli.
Migracja w miejscu: aktualizacja wersji modelu
Migracje w miejscu przeznaczone do aktualizacji istniejącego aprowizowanego wdrożenia do nowej wersji modelu w ramach tej samej rodziny modeli są obsługiwane za pośrednictwem usługi Azure AI Foundry, interfejsu API REST i interfejsu wiersza polecenia platformy Azure. Aby przeprowadzić migrację w miejscu przeznaczoną dla aktualizacji wersji modelu w rozwiązaniu Azure AI Foundry, wybierz pozycję Wdrożenia> w kolumnie Nazwa wdrożenia wybierz nazwę wdrożenia aprowizowanego wdrożenia, które chcesz zmigrować.
Wybranie nazwy wdrożenia powoduje otwarcie właściwości wdrożenia modelu. W tym widoku wybierz przycisk edytuj, w którym zostanie wyświetlone okno dialogowe Aktualizowanie wdrożenia. Wybierz listę rozwijaną wersja modelu, aby ustawić nową wersję modelu dla aprowizowania wdrożenia. Jak wspomniano, stan aprowizacji zmieni się na "aktualizowanie" podczas migracji i powróci do "powodzenia" po zakończeniu migracji.
Migracja w miejscu: zmiana rodziny modeli
Migracja w miejscu, która dotyczy aktualizowania istniejącego aprowizowania wdrożenia do nowej rodziny modeli, jest obsługiwana za pośrednictwem interfejsu API REST i interfejsu wiersza polecenia platformy Azure. Aby przeprowadzić migrację w miejscu ukierunkowaną na zmianę rodziny modeli, skorzystaj z poniższego przykładowego żądania jako przewodnika. W żądaniu należy zaktualizować nazwę modelu i wersję modelu dla modelu docelowego, do którego przeprowadzasz migrację.
curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-ptu-deployment?api-version=2024-10-01 \
-H "Content-Type: application/json" \
-H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
-d '{"sku":{"name":"GlobalProvisionedManaged","capacity":100},"properties": {"model": {"format": "OpenAI","name": "gpt-4o-mini","version": "2024-07-18"}}}'
Przykładowa odpowiedź
{
"id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-ptu-deployment",
"type": "Microsoft.CognitiveServices/accounts/deployments",
"name": "gpt-4o-ptu-deployment",
"sku": {
"name": "GlobalProvisionedManaged",
"capacity": 100
},
"properties": {
"model": {
"format": "OpenAI",
"name": "gpt-4o-mini",
"version": "2024-07-18"
},
"versionUpgradeOption": "OnceCurrentVersionExpired",
"currentCapacity": 100
"capabilities": {
"area": "EUR",
"chatCompletion": "true"
"jsonObjectResponse": "true",
"maxContextToken": "128000",
"maxOutputToken": "16834",
"assistants": "true"
},
"provisioningState": "Updating",
"rateLimits": [
{
"key": "request",
"renewalPeriod": 10,
"count": 300
}
]
},
"systemData": {
"createdBy": "docs@contoso.com",
"createdByType": "User",
"createdAt": "2025-01-28T02:57:15.8951706Z",
"lastModifiedBy": "docs@contoso.com",
"lastModifiedByType": "User",
"lastModifiedAt": "2025-01-29T15:35:53.082912Z"
},
"etag": "\"GUID\""
}
Uwaga
Istnieje wiele sposobów generowania tokenu autoryzacji. Najprostszą metodą testowania początkowego jest uruchomienie usługi Cloud Shell w witrynie Azure Portal. Następnie należy uruchomić polecenie az account get-access-token. Możesz użyć tego tokenu jako tymczasowego tokenu autoryzacji na potrzeby testowania interfejsu API.
Migracje z wieloma wdrożeniami dla wdrożeń aprowizowania
Migracje z wieloma wdrożeniami umożliwiają większą kontrolę nad procesem migracji modelu. W przypadku migracji obejmujących wiele wdrożeń możesz dyktować, jak szybko chcesz migrować istniejący ruch do docelowej wersji modelu lub rodziny modeli w nowym zaaprowizowanym wdrożeniu. Proces migracji do nowej wersji modelu lub rodziny modeli przy użyciu podejścia do migracji obejmującej wiele wdrożeń jest następujący:
- Utwórz nowe aprowizowane wdrożenie. W przypadku tego nowego wdrożenia możesz zachować ten sam typ wdrożenia aprowizowanego co istniejące wdrożenie lub wybrać nowy typ wdrożenia, jeśli jest to konieczne.
- Przeniesienie ruchu z istniejącego aprowizowania wdrożenia do nowo utworzonego wdrożenia aprowizowania z docelową wersją modelu lub rodziną modeli do momentu odciążania całego ruchu z oryginalnego wdrożenia.
- Po przeprowadzeniu migracji ruchu do nowego wdrożenia sprawdź, czy nie ma żadnych żądań wnioskowania przetwarzanych w poprzednim zaaprowizowanym wdrożeniu, upewniając się, że metryka Azure OpenAI Requests nie pokazuje żadnych wywołań interfejsu API wykonanych w ciągu 5–10 minut od ruchu wnioskowania migrowanego do nowego wdrożenia. Aby uzyskać więcej informacji na temat tej metryki, zobacz dokumentację usługi Monitor Azure OpenAI.
- Po potwierdzeniu, że nie wykonano żadnych wywołań wnioskowania, usuń oryginalne zainicjowane wdrożenie.