Dela via

Lägga till och konfigurera modeller i Azure AI-modellinferens

  • Artikel

Viktigt!

Objekt markerade (förhandsversion) i den här artikeln är för närvarande i offentlig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

Du kan bestämma och konfigurera vilka modeller som är tillgängliga för slutsatsdragning i slutpunkten för slutsatsdragning. När en viss modell har konfigurerats kan du generera förutsägelser från den genom att ange dess modellnamn eller distributionsnamn på dina begäranden. Inga ytterligare ändringar krävs i koden för att använda den.

I den här artikeln får du lära dig hur du lägger till en ny modell i Azure AI-modellinferens i Azure AI Foundry.

Förutsättningar

För att slutföra den här artikeln behöver du:

Lägg till modell

Du kan lägga till modeller i slutpunkten för Azure AI-modellens slutsatsdragning med hjälp av följande steg:

  1. Gå till avsnittet Modellkatalog i Azure AI Foundry-portalen.

  2. Rulla till den modell som du är intresserad av och välj den.

    En animering som visar hur du söker efter modeller i modellkatalogen och väljer en för att visa dess information.

  3. Du kan granska informationen om modellen på modellkortet.

  4. Välj distribuera.

  5. För modellleverantörer som kräver fler avtalsvillkor uppmanas du att godkänna dessa villkor. Detta är fallet för Mistral-modeller till exempel. Acceptera villkoren för dessa fall genom att välja Prenumerera och distribuera.

    Skärmbild som visar hur du godkänner villkoren för en Mistral-Large-modell.

  6. Du kan konfigurera distributionsinställningarna just nu. Som standard tar distributionen emot namnet på den modell som du distribuerar. Distributionsnamnet används i parametern model för begäran om att dirigera till just den här modelldistributionen. På så sätt kan du även konfigurera specifika namn för dina modeller när du kopplar specifika konfigurationer. Till exempel o1-preview-safe för en modell med ett strikt innehållssäkerhetsfilter.

    Dricks

    Varje modell kan ha stöd för olika distributionstyper, vilket ger olika garantier för datahemvist eller dataflöde. Mer information finns i distributionstyper .

  7. Vi väljer automatiskt en Azure AI Services-anslutning beroende på ditt projekt. Använd alternativet Anpassa för att ändra anslutningen baserat på dina behov. Om du distribuerar under standarddistributionstypen måste modellerna vara tillgängliga i regionen för Azure AI Services-resursen.

    Skärmbild som visar hur du anpassar distributionen om det behövs.

    Dricks

    Om den önskade resursen inte visas kan du behöva skapa en anslutning till den. Se Konfigurera azure AI-modellinferenstjänsten i mitt projekt i Azure AI Foundry-portalen.

  8. Välj distribuera.

  9. När distributionen är klar visas den nya modellen på sidan och den är redo att användas.

Hantera modeller

Du kan hantera befintliga modelldistributioner i resursen med hjälp av Azure AI Foundry-portalen.

  1. Gå till avsnittet Modeller + slutpunkter i Azure AI Foundry-portalen.

  2. Bläddra till anslutningen till din Azure AI Services-resurs. Modelldistributioner grupperas och visas per anslutning.

    Skärmbild som visar listan över modeller som är tillgängliga under en viss anslutning.

  3. Du ser en lista över tillgängliga modeller under varje anslutning. Välj den modelldistribution som du är intresserad av.

  4. Redigera eller ta bort distributionen efter behov.

Testa distributionen på lekplatsen

Du kan interagera med den nya modellen i Azure AI Foundry-portalen med hjälp av playground:

Kommentar

Playground är endast tillgängligt när du arbetar med AI-projekt i Azure AI Foundry. Skapa ett AI-projekt för att få fullständig åtkomst till alla funktioner i Azure AI Foundry.

  1. Gå till avsnittet Lekplatser i Azure AI Foundry-portalen.

  2. Beroende på vilken typ av modell du distribuerade väljer du den lekplats som behövs. I det här fallet väljer vi Chattlekplats.

  3. I listrutan Distribution under Installation väljer du namnet på den modelldistribution som du har skapat.

    Skärmbild som visar hur du väljer en modelldistribution som ska användas i Playground.

  4. Skriv din fråga och se utdata.

  5. Dessutom kan du använda Visa kod så att du kan se information om hur du kommer åt modelldistributionen programmatiskt.

Viktigt!

Objekt markerade (förhandsversion) i den här artikeln är för närvarande i offentlig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

Du kan bestämma och konfigurera vilka modeller som är tillgängliga för slutsatsdragning i slutpunkten för slutsatsdragning. När en viss modell har konfigurerats kan du generera förutsägelser från den genom att ange dess modellnamn eller distributionsnamn på dina begäranden. Inga ytterligare ändringar krävs i koden för att använda den.

I den här artikeln får du lära dig hur du lägger till en ny modell i Azure AI-modellinferens i Azure AI Foundry.

Förutsättningar

För att slutföra den här artikeln behöver du:

  • Installera Azure CLI och cognitiveservices tillägget för Azure AI Services:

    az extension add -n cognitiveservices

  • Vissa av kommandona i den här självstudien jq använder verktyget, som kanske inte är installerat i systemet. Installationsinstruktioner finns i Ladda ned jq.

  • Identifiera följande information:

    • ditt prenumerations-ID för Azure

    • Ditt Azure AI Services-resursnamn.

    • Resursgruppen där Azure AI Services-resursen distribueras.

Lägg till modeller

Om du vill lägga till en modell måste du först identifiera den modell som du vill distribuera. Du kan fråga de tillgängliga modellerna på följande sätt:

  1. Logga in på din Azure-prenumeration:

    az login

  2. Om du har fler än en prenumeration väljer du den prenumeration där resursen finns:

    az account set --subscription $subscriptionId>

  3. Ange följande miljövariabler med namnet på den Azure AI Services-resurs som du planerar att använda och resursgruppen.

    accountName="<ai-services-resource-name>"
resourceGroupName="<resource-group>"

  4. Om du inte har skapat ett Azure AI Services-konto ännu kan du skapa ett på följande sätt:

    az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-domain $accountName

  5. Låt oss först se vilka modeller som är tillgängliga för dig och under vilken SKU. Följande kommando visar alla tillgängliga modelldefinitioner:

    az cognitiveservices account list-models \
    -n $accountName \
    -g $resourceGroupName \
| jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'

  6. Utdata ser ut så här:

    {
  "name": "Phi-3.5-vision-instruct",
  "format": "Microsoft",
  "version": "2",
  "sku": "GlobalStandard",
  "capacity": 1
}

  7. Identifiera den modell som du vill distribuera. Du behöver egenskaperna name, format, versionoch sku. Kapacitet kan också behövas beroende på typen av distribution.

    Dricks

    Observera att inte alla modeller är tillgängliga i alla SKU:er.

  8. Lägg till modelldistributionen i resursen. Följande exempel lägger till Phi-3.5-vision-instruct:

    az cognitiveservices account deployment create \
    -n $accountName \
    -g $resourceGroupName \
    --deployment-name Phi-3.5-vision-instruct \
    --model-name Phi-3.5-vision-instruct \
    --model-version 2 \
    --model-format Microsoft \
    --sku-capacity 1 \
    --sku-name GlobalStandard

  9. Modellen är redo att användas.

Du kan distribuera samma modell flera gånger om det behövs så länge den är under ett annat distributionsnamn. Den här funktionen kan vara användbar om du vill testa olika konfigurationer för en viss modell, inklusive innehållssäkerhet.

Hantera distributioner

Du kan se alla tillgängliga distributioner med hjälp av CLI:

  1. Kör följande kommando för att se alla aktiva distributioner:

    az cognitiveservices account deployment list -n $accountName -g $resourceGroupName

  2. Du kan se information om en viss distribution:

    az cognitiveservices account deployment show \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

  3. Du kan ta bort en viss distribution på följande sätt:

        az cognitiveservices account deployment delete \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

Använda modellen

Distribuerade modeller i Azure AI-modellinferens kan användas med hjälp av Azure AI-modellens slutpunkt för inferens för resursen. När du skapar din begäran anger du parametern model och infogar det modelldistributionsnamn som du har skapat. Du kan programmatiskt hämta URI:n för slutpunkten för slutsatsdragning med hjälp av följande kod:

Slutpunkt för slutsatsdragning

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Om du vill göra begäranden till slutpunkten för Azure AI-modellens slutsatsdragning lägger du till vägen models, till exempel https://<resource>.services.ai.azure.com/models. Du kan se API-referensen för slutpunkten på referenssidan för Azure AI-modellinferens-API.

Slutsatsdragningsnycklar

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Viktigt!

Objekt markerade (förhandsversion) i den här artikeln är för närvarande i offentlig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

Du kan bestämma och konfigurera vilka modeller som är tillgängliga för slutsatsdragning i slutpunkten för slutsatsdragning. När en viss modell har konfigurerats kan du generera förutsägelser från den genom att ange dess modellnamn eller distributionsnamn på dina begäranden. Inga ytterligare ändringar krävs i koden för att använda den.

I den här artikeln får du lära dig hur du lägger till en ny modell i Azure AI-modellinferens i Azure AI Foundry.

Förutsättningar

För att slutföra den här artikeln behöver du:

  • Installera Azure CLI.

  • Identifiera följande information:

    • ditt prenumerations-ID för Azure

    • Ditt Azure AI Services-resursnamn.

    • Resursgruppen där Azure AI Services-resursen distribueras.

    • Modellnamnet, providern, versionen och SKU:n som du vill distribuera. Du kan använda Azure AI Foundry-portalen eller Azure CLI för att identifiera den. I det här exemplet distribuerar vi följande modell:

      • Modellnamn:: Phi-3.5-vision-instruct
      • Provider: Microsoft
      • Version: 2
      • Distributionstyp: Global standard

Om den här självstudiekursen

Exemplet i den här artikeln baseras på kodexempel som finns i lagringsplatsen Azure-Samples/azureai-model-inference-bicep . Om du vill köra kommandona lokalt utan att behöva kopiera eller klistra in filinnehåll använder du följande kommandon för att klona lagringsplatsen och gå till mappen för kodningsspråket:

git clone https://github.com/Azure-Samples/azureai-model-inference-bicep

Filerna för det här exemplet finns i:

cd azureai-model-inference-bicep/infra

Lägg till modellen

  1. Använd mallen ai-services-deployment-template.bicep för att beskriva modelldistributioner:

    ai-services-deployment-template.bicep

    @description('Name of the Azure AI services account')
param accountName string

@description('Name of the model to deploy')
param modelName string

@description('Version of the model to deploy')
param modelVersion string

@allowed([
  'AI21 Labs'
  'Cohere'
  'Core42'
  'DeepSeek'
  'Meta'
  'Microsoft'
  'Mistral AI'
  'OpenAI'
])
@description('Model provider')
param modelPublisherFormat string

@allowed([
    'GlobalStandard'
    'Standard'
    'GlobalProvisioned'
    'Provisioned'
])
@description('Model deployment SKU name')
param skuName string = 'GlobalStandard'

@description('Content filter policy name')
param contentFilterPolicyName string = 'Microsoft.DefaultV2'

@description('Model deployment capacity')
param capacity int = 1

resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
  name: '${accountName}/${modelName}'
  sku: {
    name: skuName
    capacity: capacity
  }
  properties: {
    model: {
      format: modelPublisherFormat
      name: modelName
      version: modelVersion
    }
    raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
  }
}

  2. Kör distributionen:

    RESOURCE_GROUP="<resource-group-name>"
ACCOUNT_NAME="<azure-ai-model-inference-name>" 
MODEL_NAME="Phi-3.5-vision-instruct"
PROVIDER="Microsoft"
VERSION=2

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file ai-services-deployment-template.bicep \
    --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER

Använda modellen

Distribuerade modeller i Azure AI-modellinferens kan användas med hjälp av Azure AI-modellens slutpunkt för inferens för resursen. När du skapar din begäran anger du parametern model och infogar det modelldistributionsnamn som du har skapat.

Nästa steg