Freigeben über

Hinzufügen und Konfigurieren von Modellen für die Azure KI-Modellinferenz

  • Artikel

Wichtig

Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

Sie können entscheiden, welche Modelle für das Rückschließen im Rückschlussendpunkt verfügbar sind, und diese entsprechend konfigurieren. Wenn ein bestimmtes Modell konfiguriert ist, können Sie dann Vorhersagen daraus generieren, indem Sie den Modellnamen oder den Bereitstellungsnamen für Ihre Anforderungen angeben. Für die Verwendung sind in Ihrem Code keine weiteren Änderungen erforderlich.

In diesem Artikel erfahren Sie, wie Sie Azure KI-Modellinferenz in Azure AI Foundry ein neues Modell hinzufügen.

Voraussetzungen

Damit Sie die Anweisungen in diesem Artikel ausführen können, benötigen Sie Folgendes:

  • Ein KI-Projekt, das mit Ihrer Azure KI Services-Ressource verbunden ist, mit dem aktivierten Feature zum Bereitstellen von Modellen im Azure KI-Modellinferenzdienst

Modell hinzufügen

Sie können dem Azure KI-Modellinferenzendpunkt Modelle hinzufügen, indem Sie die folgenden Schritte ausführen:

  1. Rufen Sie im Azure AI Foundry-Portal den Abschnitt Modellkatalog auf.

  2. Scrollen Sie zu dem Modell, an dem Sie interessiert sind, und wählen Sie es aus.

    Animation: Durchsuchen und Auswählen von Modellen im Modellkatalog zum Anzeigen von Details

  3. Sie können die Details des Modells auf der Modellkarte überprüfen.

  4. Klicken Sie auf Bereitstellen.

  5. Bei Modellanbietern, die weitere Vertragsbedingungen erfordern, werden Sie aufgefordert, diese zu akzeptieren. Dies ist zum Beispiel bei Mistral-Modellen der Fall. Akzeptieren Sie die Geschäftsbedingungen in diesen Fälle, indem Sie Abonnieren und Bereitstellen auswählen.

    Screenshot: Akzeptieren der Geschäftsbedingungen eines Mistral-Large-Modells

  6. Sie können die Bereitstellungseinstellungen zu diesem Zeitpunkt konfigurieren. Standardmäßig erhält die Bereitstellung den Namen des Modells, das Sie bereitstellen. Der Bereitstellungsname wird im Parameter model verwendet, um die Anforderung an diese bestimmte Modellbereitstellung weiterzuleiten. Dadurch können Sie außerdem bestimmte Namen für Ihre Modelle konfigurieren, wenn Sie bestimmte Konfigurationen anfügen, beispielsweise o1-preview-safe für ein Modell mit einem strengen Inhaltssicherheitsfilter.

    Tipp

    Jedes Modell kann unterschiedliche Bereitstellungstypen unterstützen und unterschiedliche Garantien für Datenresidenz oder Durchsatz bieten. Weitere Details finden Sie unter Bereitstellungstypen.

  7. Je nach Projekt wählen Sie automatisch eine Verbindung mit Azure KI Services aus. Verwenden Sie die Option Anpassen, um die Verbindung basierend auf Ihren Anforderungen zu ändern. Bei Bereitstellungen unter dem Bereitstellungstyp Standard müssen die Modelle in der Region der Azure KI Services-Ressource verfügbar sein.

    Screenshot: Anpassen der Bereitstellung bei Bedarf

    Tipp

    Wenn die gewünschte Ressource nicht aufgeführt ist, müssen Sie möglicherweise eine Verbindung mit ihr herstellen. Weitere Informationen finden Sie im Azure AI Foundry-Portal unter Konfigurieren des Azure KI-Modellinferenzdiensts im Projekt.

  8. Klicken Sie auf Bereitstellen.

  9. Nach Abschluss der Bereitstellung wird das neue Modell auf der Seite aufgeführt und ist bereit für die Verwendung.

Verwalten von Modellen

Sie können die vorhandenen Modellbereitstellungen der Ressource mithilfe des Azure AI Foundry-Portals verwalten.

  1. Rufen Sie im Azure AI Foundry-Portal den Abschnitt Modelle + Endpunkte auf.

  2. Scrollen Sie zur Verbindung mit Ihrer Azure KI Services-Ressource. Modellbereitstellungen werden gruppiert und pro Verbindung angezeigt.

    Screenshot: Liste von Modellen, die unter einer bestimmten Verbindung verfügbar sind

  3. Unter jeder Verbindung wird eine Liste verfügbarer Modelle angezeigt. Wählen Sie die gewünschte Modellbereitstellung aus.

  4. Bearbeiten oder löschen Sie die Bereitstellung nach Bedarf.

Testen der Bereitstellung im Playground

Sie können im Azure AI Foundry-Portal mithilfe des Playground mit dem neuen Modell interagieren:

Hinweis

Der Playground ist nur für KI-Projekte in Azure AI Foundry verfügbar. Erstellen Sie ein KI-Projekt, um Vollzugriff auf alle Funktionen in Azure AI Foundry zu erhalten.

  1. Rufen Sie im Azure AI Foundry-Portal den Abschnitt Playgrounds auf.

  2. Wählen Sie je nach Typ des bereitgestellten Modells den benötigten Playground aus. In diesem Fall wird Chat-Playground ausgewählt.

  3. Wählen Sie in der Dropdownliste Bereitstellung unter Setup den Namen der von Ihnen erstellten Modellbereitstellung aus.

    Screenshot: Auswählen einer Modellbereitstellung, die im Playground verwendet werden soll

  4. Geben Sie Ihren Prompt ein, und sehen Sie sich die Ausgaben an.

  5. Darüber hinaus können Sie mit der Option Code anzeigen Details zum programmgesteuerten Zugriff auf die Modellbereitstellung anzeigen.

Wichtig

Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

Sie können entscheiden, welche Modelle für das Rückschließen im Rückschlussendpunkt verfügbar sind, und diese entsprechend konfigurieren. Wenn ein bestimmtes Modell konfiguriert ist, können Sie dann Vorhersagen daraus generieren, indem Sie den Modellnamen oder den Bereitstellungsnamen für Ihre Anforderungen angeben. Für die Verwendung sind in Ihrem Code keine weiteren Änderungen erforderlich.

In diesem Artikel erfahren Sie, wie Sie Azure KI-Modellinferenz in Azure AI Foundry ein neues Modell hinzufügen.

Voraussetzungen

Damit Sie die Anweisungen in diesem Artikel ausführen können, benötigen Sie Folgendes:

  • Installieren Sie die Azure CLI und die cognitiveservices-Erweiterung für Azure KI Services:

    az extension add -n cognitiveservices

  • Einige der Befehle in diesem Tutorial verwenden das Tool jq, das möglicherweise nicht in Ihrem System installiert ist. Die Installationsanweisungen finden Sie unter Herunterladen von jq.

  • Ermitteln Sie die folgenden Informationen:

    • die Azure-Abonnement-ID

    • Name Ihrer Azure KI Services-Ressource

    • Ressourcengruppe, in der die Azure KI Services-Ressource bereitgestellt wurde

Option „Add models“

Um ein Modell hinzuzufügen, müssen Sie zuerst das Modell ermitteln, das Sie bereitstellen möchten. Sie können die verfügbaren Modelle wie folgt abfragen:

  1. Melden Sie sich bei Ihrem Azure-Abonnement an:

    az login

  2. Wenn Sie über mehrere Abonnements verfügen, wählen Sie das Abonnement aus, in dem sich Ihre Ressource befindet:

    az account set --subscription $subscriptionId>

  3. Legen Sie die folgenden Umgebungsvariablen anhand des Namens der Azure KI Services-Ressource, die Sie verwenden möchten, und der entsprechenden Ressourcengruppe fest.

    accountName="<ai-services-resource-name>"
resourceGroupName="<resource-group>"

  4. Wenn Sie noch kein Azure KI Services-Konto haben, können Sie eins wie folgt erstellen:

    az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-domain $accountName

  5. Sehen Sie sich zunächst an, welche Modelle Ihnen unter welcher SKU zur Verfügung stehen. Die folgende Befehlsliste enthält alle verfügbaren Modelldefinitionen:

    az cognitiveservices account list-models \
    -n $accountName \
    -g $resourceGroupName \
| jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'

  6. Die Ausgabe sieht wie folgt aus:

    {
  "name": "Phi-3.5-vision-instruct",
  "format": "Microsoft",
  "version": "2",
  "sku": "GlobalStandard",
  "capacity": 1
}

  7. Suchen Sie das Modell, das Sie bereitstellen möchten. Sie benötigen die Eigenschaften name, format, version und sku. Je nach Bereitstellungstyp ist eventuell Kapazität erforderlich.

    Tipp

    Beachten Sie, dass nicht alle Modelle in allen SKUs verfügbar sind.

  8. Fügen Sie der Ressource die Modellimplementierung hinzu. Im folgenden Beispiel wird Phi-3.5-vision-instruct hinzugefügt:

    az cognitiveservices account deployment create \
    -n $accountName \
    -g $resourceGroupName \
    --deployment-name Phi-3.5-vision-instruct \
    --model-name Phi-3.5-vision-instruct \
    --model-version 2 \
    --model-format Microsoft \
    --sku-capacity 1 \
    --sku-name GlobalStandard

  9. Das Modell kann nun verwendet werden.

Sie können dasselbe Modell bei Bedarf mehrmals bereitstellen, solange dies unter einem anderen Bereitstellungsnamen erfolgt. Diese Funktion kann nützlich sein, wenn Sie unterschiedliche Konfigurationen, z. B. für die Inhaltssicherheit, für ein bestimmtes Modell testen möchten.

Verwalten von Bereitstellungen

Mithilfe der CLI können Sie alle verfügbaren Bereitstellungen anzeigen:

  1. Führen Sie den folgenden Befehl aus, um alle aktiven Bereitstellungen anzuzeigen:

    az cognitiveservices account deployment list -n $accountName -g $resourceGroupName

  2. Sie können die Details einer bestimmten Bereitstellung anzeigen:

    az cognitiveservices account deployment show \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

  3. Sie können eine bestimmte Bereitstellung wie folgt löschen:

        az cognitiveservices account deployment delete \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

Verwenden des Modells

Bereitgestellte Modelle in der Azure KI-Modellinferenz können mithilfe des Rückschlussendpunkts des Azure KI-Modells für die Ressource genutzt werden. Geben Sie beim Erstellen Ihrer Anforderung den Parameter model an, und fügen Sie den von Ihnen erstellten Namen der Modellimplementierung ein. Sie können den URI für den Rückschlussendpunkt mithilfe des folgenden Codes programmgesteuert abrufen:

Rückschlussendpunkt

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Um Anforderungen an den Endpunkt der Azure KI-Modellinferenz zu senden, fügen Sie die Route models an, z. B. https://<resource>.services.ai.azure.com/models. Die API-Referenz für den Endpunkt finden Sie auf der Seite Referenz zur Azure KI-Modellinferenz-API.

Rückschlussschlüssel

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Wichtig

Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

Sie können entscheiden, welche Modelle für das Rückschließen im Rückschlussendpunkt verfügbar sind, und diese entsprechend konfigurieren. Wenn ein bestimmtes Modell konfiguriert ist, können Sie dann Vorhersagen daraus generieren, indem Sie den Modellnamen oder den Bereitstellungsnamen für Ihre Anforderungen angeben. Für die Verwendung sind in Ihrem Code keine weiteren Änderungen erforderlich.

In diesem Artikel erfahren Sie, wie Sie Azure KI-Modellinferenz in Azure AI Foundry ein neues Modell hinzufügen.

Voraussetzungen

Damit Sie die Anweisungen in diesem Artikel ausführen können, benötigen Sie Folgendes:

  • Installieren Sie die Azure CLI.

  • Ermitteln Sie die folgenden Informationen:

    • die Azure-Abonnement-ID

    • Name Ihrer Azure KI Services-Ressource

    • Ressourcengruppe, in der die Azure KI Services-Ressource bereitgestellt wurde

    • Modellname, Anbieter, Version und SKU, die Sie bereitstellen möchten. Diese Informationen können Sie mithilfe des Azure AI Foundry-Portals oder der Azure CLI ermitteln. In diesem Beispiel stellen Sie das folgende Modell bereit:

      • Modellname:: Phi-3.5-vision-instruct
      • Anbieter: Microsoft
      • Version:2
      • Bereitstellungstyp: Globaler Standard

Informationen zu diesem Tutorial

Das Beispiel in diesem Artikel basiert auf Codebeispielen, die im Repository Azure-Samples/azureai-model-inference-bicep enthalten sind. Wenn Sie die Befehle lokal ausführen möchten, ohne Dateiinhalte kopieren oder einfügen zu müssen, verwenden Sie die folgenden Befehle, um das Repository zu klonen und zum Ordner für Ihre Programmiersprache zu wechseln:

git clone https://github.com/Azure-Samples/azureai-model-inference-bicep

Die Dateien für dieses Beispiel befinden sich in:

cd azureai-model-inference-bicep/infra

Hinzufügen des Modells

  1. Verwenden Sie die Vorlage ai-services-deployment-template.bicep, um Modellbereitstellungen zu beschreiben:

    ai-services-deployment-template.bicep

    @description('Name of the Azure AI services account')
param accountName string

@description('Name of the model to deploy')
param modelName string

@description('Version of the model to deploy')
param modelVersion string

@allowed([
  'AI21 Labs'
  'Cohere'
  'Core42'
  'DeepSeek'
  'Meta'
  'Microsoft'
  'Mistral AI'
  'OpenAI'
])
@description('Model provider')
param modelPublisherFormat string

@allowed([
    'GlobalStandard'
    'Standard'
    'GlobalProvisioned'
    'Provisioned'
])
@description('Model deployment SKU name')
param skuName string = 'GlobalStandard'

@description('Content filter policy name')
param contentFilterPolicyName string = 'Microsoft.DefaultV2'

@description('Model deployment capacity')
param capacity int = 1

resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
  name: '${accountName}/${modelName}'
  sku: {
    name: skuName
    capacity: capacity
  }
  properties: {
    model: {
      format: modelPublisherFormat
      name: modelName
      version: modelVersion
    }
    raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
  }
}

  2. Führen Sie die Bereitstellung aus:

    RESOURCE_GROUP="<resource-group-name>"
ACCOUNT_NAME="<azure-ai-model-inference-name>" 
MODEL_NAME="Phi-3.5-vision-instruct"
PROVIDER="Microsoft"
VERSION=2

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file ai-services-deployment-template.bicep \
    --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER

Verwenden des Modells

Bereitgestellte Modelle in der Azure KI-Modellinferenz können mithilfe des Rückschlussendpunkts des Azure KI-Modells für die Ressource genutzt werden. Geben Sie beim Erstellen Ihrer Anforderung den Parameter model an, und fügen Sie den von Ihnen erstellten Namen der Modellimplementierung ein.

Nächste Schritte