Práce s modely Azure OpenAI
Služba Azure OpenAI Service využívá různorodou sadu modelů s různými možnostmi a cenovými body. Dostupnost modelu se liší podle oblasti.
Seznam modelů, které jsou k dispozici pro odvozování i vyladění, můžete získat pomocí rozhraní API pro seznam modelů.
Aktualizace modelu
Azure OpenAI teď podporuje automatické aktualizace pro výběr nasazení modelu. V modelech, kde je dostupná podpora automatických aktualizací, je rozevírací seznam verze modelu viditelný v Azure AI Studiu v části Nasazení a úpravy:
Další informace o verzích modelů Azure OpenAI a jejich fungování najdete v článku o verzích modelů Azure OpenAI.
Automatická aktualizace na výchozí
Když nastavíte nasazení na automatické aktualizace na výchozí, nasazení modelu se automaticky aktualizuje během dvou týdnů od změny ve výchozí verzi. U verze Preview se aktualizuje automaticky, když je nová verze Preview dostupná od dvou týdnů od vydání nové verze Preview.
Pokud jste stále ve fázích prvotního testování pro odvozovací modely, doporučujeme nasadit modely s automatickou aktualizací do výchozího nastavení, kdykoli je k dispozici.
Konkrétní verze modelu
S tím, jak se vaše použití Azure OpenAI vyvíjí, a začnete sestavovat a integrovat s aplikacemi, které můžete chtít ručně řídit aktualizace modelu. Před upgradem můžete nejprve otestovat a ověřit, že chování aplikace je konzistentní pro váš případ použití.
Když pro nasazení vyberete konkrétní verzi modelu, zůstane tato verze vybraná, dokud se nerozhodnete provést ruční aktualizaci, nebo jakmile dosáhnete data vyřazení modelu z provozu. Po dosažení data vyřazení se model automaticky upgraduje na výchozí verzi v době vyřazení.
Zobrazení dat vyřazení
U aktuálně nasazených modelů v Azure AI Studiu vyberte Nasazení:
Konfigurace upgradu nasazení modelu
Můžete zkontrolovat, jaké možnosti upgradu modelu jsou nastavené pro dříve nasazené modely v Azure AI Studiu. > Ve sloupci Název nasazení vyberte jeden z názvů nasazení, které jsou zvýrazněné modře.
Výběrem názvu nasazení se otevře vlastnosti pro nasazení modelu. Možnosti upgradu, které jsou pro vaše nasazení nastavené, můžete zobrazit v části Zásady aktualizace verzí:
K odpovídající vlastnosti je také možné přistupovat přes REST, Azure PowerShell a Azure CLI.
| Možnost | Čtení | Aktualizace |
|---|---|---|
| REST | Ano. Pokud versionUpgradeOption se nevrátí, znamená to, že se jedná o null |
Ano |
| Azure PowerShell | Ano.VersionUpgradeOption lze zkontrolovat $null |
Ano |
| Azure CLI | Ano. null Zobrazí se, pokud versionUpgradeOption není nastavená. |
Ne. V současné době není možné aktualizovat možnost upgradu verze. |
Existují tři různé možnosti upgradu nasazení modelu:
| Název | Popis |
|---|---|
OnceNewDefaultVersionAvailable |
Jakmile je nová verze označená jako výchozí, nasazení modelu se automaticky upgraduje na výchozí verzi do dvou týdnů od provedení této změny označení. |
OnceCurrentVersionExpired |
Po dosažení data vyřazení modelu se nasazení modelu automaticky upgraduje na aktuální výchozí verzi. |
NoAutoUpgrade |
Nasazení modelu se nikdy automaticky neupgraduje. Jakmile se dosáhne data vyřazení, nasazení modelu přestane fungovat. Je potřeba aktualizovat kód odkazující na toto nasazení tak, aby odkazoval na neprozkoušané nasazení modelu. |
Poznámka:
null je ekvivalent OnceCurrentVersionExpired. Pokud ve vlastnostech modelu, který podporuje upgrady modelů, není k dispozici možnost zásady aktualizace verze, znamená to, že hodnota je aktuálně null. Jakmile tuto hodnotu explicitně upravíte, vlastnost se zobrazí na stránce vlastností studia a také prostřednictvím rozhraní REST API.
Příklady
Projděte si úvodní příručku k Azure PowerShellu pro místní instalaci Azure PowerShellu nebo můžete použít Azure Cloud Shell.
Následující postup ukazuje kontrolu VersionUpgradeOption vlastnosti možnosti a jeho aktualizace:
// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
// Step 2: Show Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
// VersionUpgradeOption can be null - one way to check is
$null -eq $deployment.Properties.VersionUpgradeOption
// Step 3: Update Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
// repeat step 1 and 2 to confirm the change.
// If not sure about deployment name, use this command to show all deployments under an account
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}
// To update to a new model version
// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
// Step 2: Show Deployment Model properties
$deployment.Properties.Model.Version
// Step 3: Update Deployed Model Version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
// repeat step 1 and 2 to confirm the change.
Aktualizace a nasazení modelů prostřednictvím rozhraní API
PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01
Parametry cesty
| Parametr | Typ | Povinné? | Popis |
|---|---|---|---|
acountname |
string | Požaduje se | Název prostředku Azure OpenAI |
deploymentName |
řetězec | Požaduje se | Název nasazení, který jste zvolili při nasazení existujícího modelu nebo názvu, který má mít nové nasazení modelu. |
resourceGroupName |
řetězec | Požaduje se | Název přidružené skupiny prostředků pro toto nasazení modelu. |
subscriptionId |
řetězec | Požaduje se | ID předplatného přidruženého předplatného. |
api-version |
řetězec | Požaduje se | Verze rozhraní API, která se má použít pro tuto operaci. To má formát RRRR-MM-DD. |
Podporované verze
2023-05-01Swagger spec
Text požadavku
Jedná se pouze o podmnožinu dostupných parametrů textu požadavku. Úplný seznam parametrů najdete v referenční dokumentaci k rozhraní REST API.
| Parametr | Typ | Popis |
|---|---|---|
| versionUpgradeOption | String | Možnosti upgradu verze modelu nasazení:OnceNewDefaultVersionAvailableOnceCurrentVersionExpiredNoAutoUpgrade |
| capacity | integer | Představuje velikost kvóty , kterou k tomuto nasazení přiřazujete. Hodnota 1 se rovná 1 000 tokenů za minutu (TPM) |
Příklad požadavku
curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2023-05-01 \
-H "Content-Type: application/json" \
-H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
-d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'
Poznámka:
Existuje několik způsobů, jak vygenerovat autorizační token. Nejjednodušší metodou počátečního testování je spuštění Cloud Shellu z webu Azure Portal. Potom spusťte az account get-access-token. Tento token můžete použít jako dočasný autorizační token pro testování rozhraní API.
Příklad odpovědi
{
"id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
"type": "Microsoft.CognitiveServices/accounts/deployments",
"name": "gpt-35-turbo",
"sku": {
"name": "Standard",
"capacity": 120
},
"properties": {
"model": {
"format": "OpenAI",
"name": "gpt-35-turbo",
"version": "0613"
},
"versionUpgradeOption": "OnceCurrentVersionExpired",
"capabilities": {
"chatCompletion": "true"
},
"provisioningState": "Succeeded",
"rateLimits": [
{
"key": "request",
"renewalPeriod": 10,
"count": 120
},
{
"key": "token",
"renewalPeriod": 60,
"count": 120000
}
]
},
"systemData": {
"createdBy": "docs@contoso.com",
"createdByType": "User",
"createdAt": "2023-02-28T02:57:15.8951706Z",
"lastModifiedBy": "docs@contoso.com",
"lastModifiedByType": "User",
"lastModifiedAt": "2023-10-31T15:35:53.082912Z"
},
"etag": "\"GUID\""
}