Práce s modely Azure OpenAI
Služba Azure OpenAI Service využívá různorodou sadu modelů s různými možnostmi a cenovými body. Dostupnost modelu se liší podle oblasti.
Seznam modelů, které jsou k dispozici pro odvozování i vyladění, můžete získat pomocí rozhraní API pro seznam modelů.
Aktualizace modelu
Azure OpenAI teď podporuje automatické aktualizace pro výběr nasazení modelu. V modelech, kde je dostupná podpora automatických aktualizací, je rozevírací seznam verze modelu viditelný na portálu Azure AI Foundry v části Nasazení a úpravy:
Další informace o verzích modelů Azure OpenAI a jejich fungování najdete v článku o verzích modelů Azure OpenAI.
Poznámka:
Automatické aktualizace modelu jsou podporovány pouze pro typy nasazení úrovně Standard. Další informace o správě aktualizací modelů a migrací u zřízených typů nasazení najdete v části o správě modelů ve zřízených typech nasazení.
Automatická aktualizace na výchozí
Když nastavíte nasazení na automatické aktualizace na výchozí, nasazení modelu se automaticky aktualizuje během dvou týdnů od změny ve výchozí verzi. U verze Preview se aktualizuje automaticky, když je nová verze Preview dostupná od dvou týdnů od vydání nové verze Preview.
Pokud jste stále ve fázích prvotního testování pro odvozovací modely, doporučujeme nasadit modely s automatickou aktualizací do výchozího nastavení, kdykoli je k dispozici.
Konkrétní verze modelu
S tím, jak se vaše použití Azure OpenAI vyvíjí, a začnete sestavovat a integrovat s aplikacemi, které můžete chtít ručně řídit aktualizace modelu. Před upgradem můžete nejprve otestovat a ověřit, že chování aplikace je konzistentní pro váš případ použití.
Když pro nasazení vyberete konkrétní verzi modelu, zůstane tato verze vybraná, dokud se nerozhodnete provést ruční aktualizaci, nebo jakmile dosáhnete data vyřazení modelu z provozu. Po dosažení data vyřazení se model automaticky upgraduje na výchozí verzi v době vyřazení.
Zobrazení dat vyřazení
U aktuálně nasazených modelů na portálu Azure AI Foundry vyberte Nasazení:
Konfigurace upgradu nasazení modelu
Na portálu Azure AI Foundry můžete zkontrolovat, jaké možnosti upgradu modelu jsou nastavené pro dříve nasazené modely. > Ve sloupci Název nasazení vyberte jeden z názvů nasazení, které jsou zvýrazněné modře.
Výběrem názvu nasazení se otevře vlastnosti pro nasazení modelu. Možnosti upgradu, které jsou pro vaše nasazení nastavené, můžete zobrazit v části Zásady aktualizace verzí:
K odpovídající vlastnosti je také možné přistupovat přes REST, Azure PowerShell a Azure CLI.
| Možnost | Čtení | Aktualizace |
|---|---|---|
| REST | Ano. Pokud versionUpgradeOption se nevrátí, znamená to, že se jedná o null |
Ano |
| Azure PowerShell | Ano.
VersionUpgradeOption lze zkontrolovat $null |
Ano |
| Azure CLI | Ano.
null Zobrazí se, pokud versionUpgradeOption není nastavená. |
Ne. V současné době není možné aktualizovat možnost upgradu verze. |
Existují tři různé možnosti upgradu nasazení modelu:
| Název | Popis |
|---|---|
OnceNewDefaultVersionAvailable |
Jakmile je nová verze označená jako výchozí, nasazení modelu se automaticky upgraduje na výchozí verzi do dvou týdnů od provedení této změny označení. |
OnceCurrentVersionExpired |
Po dosažení data vyřazení modelu se nasazení modelu automaticky upgraduje na aktuální výchozí verzi. |
NoAutoUpgrade |
Nasazení modelu se nikdy automaticky neupgraduje. Jakmile se dosáhne data vyřazení, nasazení modelu přestane fungovat. Je potřeba aktualizovat kód odkazující na toto nasazení tak, aby odkazoval na neprozkoušané nasazení modelu. |
Poznámka:
null je ekvivalent OnceCurrentVersionExpired.
Pokud ve vlastnostech modelu, který podporuje upgrady modelů, není k dispozici možnost zásady aktualizace verze, znamená to, že hodnota je aktuálně null. Jakmile tuto hodnotu explicitně upravíte, vlastnost se zobrazí na stránce vlastností studia a také prostřednictvím rozhraní REST API.
Příklady
Projděte si úvodní příručku k Azure PowerShellu pro místní instalaci Azure PowerShellu nebo můžete použít Azure Cloud Shell.
Následující postup ukazuje kontrolu VersionUpgradeOption vlastnosti možnosti a jeho aktualizace:
// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
// Step 2: Show Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
// VersionUpgradeOption can be null - one way to check is
$null -eq $deployment.Properties.VersionUpgradeOption
// Step 3: Update Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
// repeat step 1 and 2 to confirm the change.
// If not sure about deployment name, use this command to show all deployments under an account
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}
// To update to a new model version
// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
// Step 2: Show Deployment Model properties
$deployment.Properties.Model.Version
// Step 3: Update Deployed Model Version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
// repeat step 1 and 2 to confirm the change.
Aktualizace a nasazení modelů prostřednictvím rozhraní API
PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01
Parametry cesty
| Parametr | Typ | Povinné? | Popis |
|---|---|---|---|
acountname |
string | Požaduje se | Název prostředku Azure OpenAI |
deploymentName |
řetězec | Požaduje se | Název nasazení, který jste zvolili při nasazení existujícího modelu nebo názvu, který má mít nové nasazení modelu. |
resourceGroupName |
řetězec | Požaduje se | Název přidružené skupiny prostředků pro toto nasazení modelu. |
subscriptionId |
řetězec | Požaduje se | ID předplatného přidruženého předplatného. |
api-version |
řetězec | Požaduje se | Verze rozhraní API, která se má použít pro tuto operaci. To má formát RRRR-MM-DD. |
Podporované verze
-
2023-05-01Swagger spec
Text požadavku
Jedná se pouze o podmnožinu dostupných parametrů textu požadavku. Úplný seznam parametrů najdete v referenční dokumentaci k rozhraní REST API.
| Parametr | Typ | Popis |
|---|---|---|
| versionUpgradeOption | String | Možnosti upgradu verze modelu nasazení:OnceNewDefaultVersionAvailableOnceCurrentVersionExpiredNoAutoUpgrade |
| capacity | integer | Představuje velikost kvóty , kterou k tomuto nasazení přiřazujete. Hodnota 1 se rovná 1 000 tokenů za minutu (TPM) |
Příklad požadavku
curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2023-05-01 \
-H "Content-Type: application/json" \
-H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
-d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'
Poznámka:
Existuje několik způsobů, jak vygenerovat autorizační token. Nejjednodušší metodou počátečního testování je spuštění Cloud Shellu z webu Azure Portal. Potom spusťte az account get-access-token. Tento token můžete použít jako dočasný autorizační token pro testování rozhraní API.
Příklad odpovědi
{
"id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
"type": "Microsoft.CognitiveServices/accounts/deployments",
"name": "gpt-35-turbo",
"sku": {
"name": "Standard",
"capacity": 120
},
"properties": {
"model": {
"format": "OpenAI",
"name": "gpt-35-turbo",
"version": "0613"
},
"versionUpgradeOption": "OnceCurrentVersionExpired",
"capabilities": {
"chatCompletion": "true"
},
"provisioningState": "Succeeded",
"rateLimits": [
{
"key": "request",
"renewalPeriod": 10,
"count": 120
},
{
"key": "token",
"renewalPeriod": 60,
"count": 120000
}
]
},
"systemData": {
"createdBy": "docs@contoso.com",
"createdByType": "User",
"createdAt": "2023-02-28T02:57:15.8951706Z",
"lastModifiedBy": "docs@contoso.com",
"lastModifiedByType": "User",
"lastModifiedAt": "2023-10-31T15:35:53.082912Z"
},
"etag": "\"GUID\""
}
Správa modelů u zřízených typů nasazení
Zřízená nasazení podporují různé postupy správy modelů. Postupy správy modelu zřizování nasazení jsou určené k tomu, abyste měli největší kontrolu nad tím, kdy a jak migrujete mezi verzemi modelů a rodinami modelů. V současné době existují dva přístupy ke správě modelů při zřízených nasazeních: (1) místní migrace a (2) migrace s více nasazeními.
Požadavky
- Ověřte, že je verze cílového modelu nebo řada modelů podporovaná pro váš existující typ nasazení. K migracím může dojít pouze mezi zřízenými nasazeními stejného typu nasazení. Další informace o typech nasazení najdete v dokumentaci k typu nasazení.
- Před pokusem o migraci ověřte dostupnost kapacity pro cílovou verzi modelu nebo řadu modelů. Další informace o určování dostupnosti kapacity najdete v dokumentaci k transparentnosti kapacity.
- U migrací s více nasazeními ověřte, že máte dostatečnou kvótu pro podporu více nasazení současně. Další informace o tom, jak ověřit kvótu pro každý zřízený typ nasazení, najdete v dokumentaci ke zřízené kvótě.
Místní migrace pro zřízená nasazení
Místní migrace umožňují zachovat stejný zřízený název a velikost nasazení při změně verze modelu nebo řady modelů přiřazené k danému nasazení. Při místních migracích se služba Azure OpenAI postará o migraci veškerého existujícího provozu mezi verzemi modelu nebo rodinami modelů během migrace za 20 až 30 minut. V průběhu okna migrace se ve zřízeném nasazení zobrazí stav aktualizace. Zřízené nasazení můžete dál používat stejně jako obvykle. Po dokončení místní migrace se zřízený stav aktualizuje na "úspěch", což znamená, že veškerý provoz se migroval do verze cílového modelu nebo do řady modelů.
Místní migrace: aktualizace verze modelu
Místní migrace, které cílí na aktualizaci existujícího zřízeného nasazení na novou verzi modelu ve stejné řadě modelů, se podporují prostřednictvím Azure AI Foundry, ROZHRANÍ REST API a Azure CLI. Pokud chcete provést místní migraci, která cílí na aktualizaci verze modelu v azure AI Foundry, vyberte nasazení> ve sloupci s názvem nasazení název nasazení, který chcete migrovat.
Výběrem názvu nasazení se otevře vlastnosti pro nasazení modelu. V tomto zobrazení vyberte tlačítko upravit , které zobrazí dialogové okno Nasazení aktualizace. Výběrem rozevíracího seznamu verze modelu nastavte novou verzi modelu pro zřízené nasazení. Jak je uvedeno, stav zřizování se během migrace změní na "aktualizace" a po dokončení migrace se vrátí na "úspěšné".
Místní migrace: Změna rodiny modelů
Místní migrace, která cílí na aktualizaci existujícího zřízeného nasazení do nové řady modelů, se podporuje prostřednictvím rozhraní REST API a Azure CLI. Pokud chcete provést místní migraci zaměřenou na změnu rodiny modelů, použijte jako vodítko následující příklad žádosti. V požadavku budete muset aktualizovat název modelu a verzi modelu pro cílový model, na který migrujete.
curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-ptu-deployment?api-version=2024-10-01 \
-H "Content-Type: application/json" \
-H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
-d '{"sku":{"name":"GlobalProvisionedManaged","capacity":100},"properties": {"model": {"format": "OpenAI","name": "gpt-4o-mini","version": "2024-07-18"}}}'
Příklad odpovědi
{
"id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-ptu-deployment",
"type": "Microsoft.CognitiveServices/accounts/deployments",
"name": "gpt-4o-ptu-deployment",
"sku": {
"name": "GlobalProvisionedManaged",
"capacity": 100
},
"properties": {
"model": {
"format": "OpenAI",
"name": "gpt-4o-mini",
"version": "2024-07-18"
},
"versionUpgradeOption": "OnceCurrentVersionExpired",
"currentCapacity": 100
"capabilities": {
"area": "EUR",
"chatCompletion": "true"
"jsonObjectResponse": "true",
"maxContextToken": "128000",
"maxOutputToken": "16834",
"assistants": "true"
},
"provisioningState": "Updating",
"rateLimits": [
{
"key": "request",
"renewalPeriod": 10,
"count": 300
}
]
},
"systemData": {
"createdBy": "docs@contoso.com",
"createdByType": "User",
"createdAt": "2025-01-28T02:57:15.8951706Z",
"lastModifiedBy": "docs@contoso.com",
"lastModifiedByType": "User",
"lastModifiedAt": "2025-01-29T15:35:53.082912Z"
},
"etag": "\"GUID\""
}
Poznámka:
Existuje několik způsobů, jak vygenerovat autorizační token. Nejjednodušší metodou počátečního testování je spuštění Cloud Shellu z webu Azure Portal. Potom spusťte az account get-access-token. Tento token můžete použít jako dočasný autorizační token pro testování rozhraní API.
Migrace s více nasazeními pro zřízená nasazení
Migrace s více nasazeními umožňují mít větší kontrolu nad procesem migrace modelu. Při migraci s více nasazeními můžete určit, jak rychle chcete migrovat stávající provoz na cílovou verzi modelu nebo řadu modelů v novém zřízeném nasazení. Proces migrace na novou verzi modelu nebo řadu modelů pomocí přístupu pro migraci s více nasazeními je následující:
- Vytvořte nové zřízené nasazení. Pro toto nové nasazení se můžete rozhodnout zachovat stejný typ zřízeného nasazení jako stávající nasazení, nebo v případě potřeby vybrat nový typ nasazení.
- Přepněte provoz z existujícího zřízeného nasazení na nově vytvořené nasazení s cílovou verzí modelu nebo řady modelů, dokud se veškerý provoz nepřečte z původního nasazení.
- Po migraci provozu do nového nasazení ověřte, že se v předchozím zřízeném nasazení nezpracovávají žádné požadavky na odvozování. Tím zajistíte, že metrika požadavků Azure OpenAI nezobrazuje žádná volání rozhraní API provedená během 5 až 10 minut od přenosu odvozování migrovaného do nového nasazení. Další informace o této metrice najdete v dokumentaci k monitorování Azure OpenAI.
- Jakmile potvrdíte, že nedošlo k žádnému volání odvození, odstraňte původní zřízené nasazení.