Přidání a konfigurace modelů do služeb Azure AI - Azure AI Foundry

Důležité

Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Můžete se rozhodnout a nakonfigurovat, které modely jsou k dispozici pro odvozování v koncovém bodu odvozování. Když je daný model nakonfigurovaný, můžete z něj vygenerovat předpovědi tím, že u vašich požadavků označíte jeho název modelu nebo název nasazení. Abyste ho mohli použít, nemusíte v kódu provádět žádné další změny.

V tomto článku se dozvíte, jak přidat nový model do odvozování modelu Azure AI v Azure AI Foundry.

Požadavky

K dokončení tohoto článku potřebujete:

Předplatné Azure. Pokud používáte modely GitHubu, můžete prostředí upgradovat a v procesu vytvořit předplatné Azure. Pokud se jedná o váš případ, přečtěte si upgrade z modelů GitHubu na odvození modelu Azure AI.
Prostředek služeb Azure AI

Projekt AI připojený k vašemu prostředku Azure AI Services s funkcí Nasazení modelů do služby odvozování modelů Azure AI
- Postup najdete v tématu Konfigurace služby odvozování modelů Azure AI v mém projektu v Azure AI Foundry.

Přidat model

Do koncového bodu odvozování modelů Azure AI můžete přidat modely pomocí následujícího postupu:

Přejděte do části Katalog modelů na portálu Azure AI Foundry.
Posuňte se k modelu, který vás zajímá, a vyberte ho.
Podrobnosti o modelu můžete zkontrolovat na kartě modelu.
Vyberte Nasadit.
U poskytovatelů modelů, kteří vyžadují více podmínek smlouvy, budete požádáni o přijetí těchto podmínek. To je například případ mistral modelů. Přijměte podmínky v těchto případech výběrem možnosti Přihlásit se k odběru a nasazení.
V tuto chvíli můžete nakonfigurovat nastavení nasazení. Ve výchozím nastavení nasazení obdrží název modelu, který nasazujete. Název nasazení se používá v parametru model pro požadavek na směrování do tohoto konkrétního nasazení modelu. To vám umožní také nakonfigurovat konkrétní názvy pro vaše modely při připojování konkrétních konfigurací. Například o1-preview-safe pro model s přísným filtrem obsahu zabezpečení obsahu.

Tip

Každý model může podporovat různé typy nasazení a poskytuje různé záruky rezidence dat nebo propustnosti. Další podrobnosti najdete v typech nasazení.
V závislosti na vašem projektu automaticky vybereme připojení služeb Azure AI Services. Pomocí možnosti Přizpůsobit můžete změnit připojení podle vašich potřeb. Pokud nasazujete pod typem standardního nasazení, musí být modely dostupné v oblasti prostředku Azure AI Services.

Tip

Pokud požadovaný prostředek není uvedený, budete k němu možná muset vytvořit připojení. Viz Konfigurace služby odvozování modelů Azure AI v mém projektu na portálu Azure AI Foundry.
Vyberte Nasadit.
Po dokončení nasazení se nový model zobrazí na stránce a je připravený k použití.

Správa modelů

Existující nasazení modelu v prostředku můžete spravovat pomocí portálu Azure AI Foundry.

Na portálu Azure AI Foundry přejděte do části Modely a koncové body.
Posuňte se k připojení k prostředku azure AI Services. Nasazení modelu se seskupí a zobrazí se podle připojení.
Zobrazí se seznam modelů dostupných v jednotlivých připojeních. Vyberte nasazení modelu, které vás zajímá.
Podle potřeby upravte nebo odstraňte nasazení.

Otestování nasazení na dětském hřišti

Pomocí dětského hřiště můžete pracovat s novým modelem na portálu Azure AI Foundry:

Poznámka:

Dětské hřiště je k dispozici pouze při práci s projekty AI v Azure AI Foundry. Vytvořte projekt AI, abyste získali úplný přístup ke všem funkcím v Azure AI Foundry.

Přejděte do části Dětské hřiště na portálu Azure AI Foundry.
V závislosti na typu modelu, který jste nasadili, vyberte požadované hřiště. V tomto případě vybereme Chat playground.
V rozevíracím seznamu Nasazení v části Nastavení vyberte název vytvořeného nasazení modelu.
Zadejte výzvu a zobrazte výstupy.
Kromě toho můžete použít zobrazit kód , takže si můžete prohlédnout podrobnosti o tom, jak přistupovat k nasazení modelu prostřednictvím kódu programu.

Důležité

Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Můžete se rozhodnout a nakonfigurovat, které modely jsou k dispozici pro odvozování v koncovém bodu odvozování. Když je daný model nakonfigurovaný, můžete z něj vygenerovat předpovědi tím, že u vašich požadavků označíte jeho název modelu nebo název nasazení. Abyste ho mohli použít, nemusíte v kódu provádět žádné další změny.

V tomto článku se dozvíte, jak přidat nový model do odvozování modelu Azure AI v Azure AI Foundry.

Požadavky

K dokončení tohoto článku potřebujete:

Předplatné Azure. Pokud používáte modely GitHubu, můžete prostředí upgradovat a v procesu vytvořit předplatné Azure. Pokud se jedná o váš případ, přečtěte si upgrade z modelů GitHubu na odvození modelu Azure AI.
Prostředek služeb Azure AI

Nainstalujte Azure CLI a cognitiveservices rozšíření pro služby Azure AI:
```
az extension add -n cognitiveservices
```
Některé příkazy v tomto kurzu používají jq nástroj, který nemusí být nainstalován ve vašem systému. Pokyny k instalaci naleznete v tématu Stažení jq.
Identifikujte následující informace:
- ID vašeho předplatného Azure
- Název prostředku azure AI Services
- Skupina prostředků, ve které je nasazený prostředek Azure AI Services.

Přidání modelů

Pokud chcete přidat model, musíte nejprve identifikovat model, který chcete nasadit. Dostupné modely můžete dotazovat následujícím způsobem:

Přihlaste se k předplatnému Azure:
```
az login
```
Pokud máte více než 1 předplatné, vyberte předplatné, ve kterém se nachází váš prostředek:
```
az account set --subscription $subscriptionId>
```
Nastavte následující proměnné prostředí s názvem prostředku Azure AI Services, který plánujete použít a skupinu prostředků.
```
accountName="<ai-services-resource-name>"
resourceGroupName="<resource-group>"
```
Pokud ještě nemáte účet Azure AI Services, můžete si ho vytvořit následujícím způsobem:
```
az cognitiveservices account create -n $accountName -g $resourceGroupName
```

Podívejme se nejprve, které modely jsou vám k dispozici a ve kterých skladových položkách. Následující příkaz zobrazí seznam všech dostupných definic modelu:

az cognitiveservices account list-models \
    -n $accountName \
    -g $resourceGroupName \
| jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'

Výstupy vypadají takto:

{
  "name": "Phi-3.5-vision-instruct",
  "format": "Microsoft",
  "version": "2",
  "sku": "GlobalStandard",
  "capacity": 1
}

Identifikujte model, který chcete nasadit. Potřebujete vlastnosti name, format, versiona sku. V závislosti na typu nasazení může být potřeba také kapacita.

Tip

Všimněte si, že ve všech cenových úrovních nejsou dostupné všechny modely.

Přidejte do prostředku nasazení modelu. Následující příklad přidá Phi-3.5-vision-instruct:

az cognitiveservices account deployment create \
    -n $accountName \
    -g $resourceGroupName \
    --deployment-name Phi-3.5-vision-instruct \
    --model-name Phi-3.5-vision-instruct \
    --model-version 2 \
    --model-format Microsoft \
    --sku-capacity 1 \
    --sku-name GlobalStandard

Model je připravený k použití.

Stejný model můžete v případě potřeby nasadit vícekrát, pokud je pod jiným názvem nasazení. Tato funkce může být užitečná v případě, že chcete otestovat různé konfigurace pro daný model, včetně bezpečnosti obsahu.

Správa nasazení

Všechna dostupná nasazení můžete zobrazit pomocí rozhraní příkazového řádku:

Spuštěním následujícího příkazu zobrazte všechna aktivní nasazení:

az cognitiveservices account deployment list -n $accountName -g $resourceGroupName

Zobrazí se podrobnosti o daném nasazení:

az cognitiveservices account deployment show \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

Dané nasazení můžete odstranit následujícím způsobem:

    az cognitiveservices account deployment delete \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

Použití modelu

Nasazené modely v odvozování modelů Azure AI je možné využívat pomocí koncového bodu odvozování modelu Azure AI pro daný prostředek. Při vytváření požadavku uveďte parametr model a vložte název nasazení modelu, který jste vytvořili. Identifikátor URI koncového bodu odvozování můžete získat prostřednictvím kódu programu pomocí následujícího kódu:

Koncový bod odvození

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Pokud chcete vyhovět koncovému bodu odvozování modelu Azure AI, připojte trasu models, například https://<resource>.services.ai.azure.com/models. Referenční informace k rozhraní API pro koncový bod najdete na referenční stránce rozhraní API pro odvozování modelu Azure AI.

Klíče odvození

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Důležité

Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Můžete se rozhodnout a nakonfigurovat, které modely jsou k dispozici pro odvozování v koncovém bodu odvozování. Když je daný model nakonfigurovaný, můžete z něj vygenerovat předpovědi tím, že u vašich požadavků označíte jeho název modelu nebo název nasazení. Abyste ho mohli použít, nemusíte v kódu provádět žádné další změny.

V tomto článku se dozvíte, jak přidat nový model do odvozování modelu Azure AI v Azure AI Foundry.

Požadavky

K dokončení tohoto článku potřebujete:

Předplatné Azure. Pokud používáte modely GitHubu, můžete prostředí upgradovat a v procesu vytvořit předplatné Azure. Pokud se jedná o váš případ, přečtěte si upgrade z modelů GitHubu na odvození modelu Azure AI.
Prostředek služeb Azure AI

Nainstalujte rozhraní příkazového řádku Azure CLI.
Identifikujte následující informace:
- ID vašeho předplatného Azure
- Název prostředku azure AI Services
- Skupina prostředků, ve které je nasazený prostředek Azure AI Services.
- Název modelu, poskytovatel, verze a SKU, které chcete nasadit. K jeho identifikaci můžete použít portál Azure AI Foundry nebo Azure CLI. V tomto příkladu nasadíme následující model:
  - Název modelu:: Phi-3.5-vision-instruct
  - Zprostředkovatel: Microsoft
  - Verze: 2
  - Typ nasazení: Globální standard

Přidání modelu

Použití šablony ai-services-deployment-template.bicep k popisu nasazení modelu:

ai-services-deployment-template.bicep

@description('Name of the Azure AI services account')
param accountName string

@description('Name of the model to deploy')
param modelName string

@description('Version of the model to deploy')
param modelVersion string

@allowed([
  'AI21 Labs'
  'Cohere'
  'Core42'
  'DeepSeek'
  'Meta'
  'Microsoft'
  'Mistral AI'
  'OpenAI'
])
@description('Model provider')
param modelPublisherFormat string

@allowed([
    'GlobalStandard'
    'Standard'
    'GlobalProvisioned'
    'Provisioned'
])
@description('Model deployment SKU name')
param skuName string = 'GlobalStandard'

@description('Content filter policy name')
param contentFilterPolicyName string = 'Microsoft.DefaultV2'

@description('Model deployment capacity')
param capacity int = 1

resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
  name: '${accountName}/${modelName}'
  sku: {
    name: skuName
    capacity: capacity
  }
  properties: {
    model: {
      format: modelPublisherFormat
      name: modelName
      version: modelVersion
    }
    raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
  }
}

Spusťte nasazení:

RESOURCE_GROUP="<resource-group-name>"
ACCOUNT_NAME="<azure-ai-model-inference-name>" 
MODEL_NAME="Phi-3.5-vision-instruct"
PROVIDER="Microsoft"
VERSION=2

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file ai-services-deployment-template.bicep \
    --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER

Použití modelu

Nasazené modely v odvozování modelů Azure AI je možné využívat pomocí koncového bodu odvozování modelu Azure AI pro daný prostředek. Při vytváření požadavku uveďte parametr model a vložte název nasazení modelu, který jste vytvořili.

Sdílet prostřednictvím

Přidání a konfigurace modelů do odvozování modelů Azure AI

Požadavky

Přidat model

Správa modelů

Otestování nasazení na dětském hřišti

Požadavky

Přidání modelů

Správa nasazení

Použití modelu

Požadavky

Přidání modelu

Použití modelu

Další kroky

Váš názor

Další materiály