Wdrażanie modeli jako bezserwerowych interfejsów API

Artykuł
12/24/2024

Z tego artykułu dowiesz się, jak wdrożyć model z katalogu modeli jako bezserwerowy interfejs API z rozliczeniami opartymi na tokenach płatności zgodnie z rzeczywistym użyciem.

Ważne

Modele, które są w wersji zapoznawczej, są oznaczone jako wersja zapoznawcza na kartach modeli w wykazie modeli.

Niektóre modele w katalogu modeli można wdrożyć jako bezserwerowy interfejs API z rozliczeniami płatności zgodnie z rzeczywistym użyciem. Tego rodzaju wdrożenie umożliwia korzystanie z modeli jako interfejsu API bez hostowania ich w ramach subskrypcji, przy jednoczesnym zachowaniu bezpieczeństwa i zgodności przedsiębiorstwa, których potrzebują organizacje. Ta opcja wdrożenia nie wymaga limitu przydziału z subskrypcji.

W tym artykule użyto wdrożenia modelu Meta Llama na potrzeby ilustracji. Można jednak użyć tych samych kroków, aby wdrożyć dowolne modele w wykazie modeli, które są dostępne dla wdrożenia bezserwerowego interfejsu API.

Wymagania wstępne

Subskrypcja platformy Azure z prawidłową formą płatności. Subskrypcje platformy Azure w wersji bezpłatnej lub próbnej nie będą działać. Jeśli nie masz subskrypcji platformy Azure, utwórz płatne konto platformy Azure, aby rozpocząć.
Centrum usługi Azure AI Foundry.
Projekt usługi Azure AI Foundry.
Kontrola dostępu oparta na rolach platformy Azure (RBAC) platformy Azure służy do udzielania dostępu do operacji w portalu usługi Azure AI Foundry. Aby wykonać kroki opisane w tym artykule, konto użytkownika musi mieć przypisaną rolę dewelopera usługi Azure AI w grupie zasobów. Aby uzyskać więcej informacji na temat uprawnień, zobacz Kontrola dostępu oparta na rolach w portalu usługi Azure AI Foundry.
Aby pracować z usługą Azure AI Foundry, musisz zainstalować następujące oprogramowanie:
Aby nawigować po usłudze Azure AI Foundry, możesz użyć dowolnej zgodnej przeglądarki internetowej.
Interfejs wiersza polecenia platformy Azure i rozszerzenie ml dla usługi Azure Machine Learning.
```
az extension add -n ml
```
Jeśli masz już zainstalowane rozszerzenie, upewnij się, że zainstalowano najnowszą wersję.
```
az extension update -n ml
```
Po zainstalowaniu rozszerzenia skonfiguruj je:
```
az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
```
Zainstaluj zestaw AZURE Machine Learning SDK dla języka Python.
```
pip install -U azure-ai-ml
```
Po zainstalowaniu zaimportuj niezbędne przestrzenie nazw i utwórz klienta połączonego z projektem:
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)
```
Zainstaluj interfejs wiersza polecenia platformy Azure zgodnie z opisem w temacie Interfejs wiersza polecenia platformy Azure.

Skonfiguruj następujące zmienne środowiskowe zgodnie z ustawieniami:
```
RESOURCE_GROUP="serverless-models-dev"
LOCATION="eastus2" 
```
Aby wdrożyć szablony usługi ARM w witrynie Microsoft Azure Portal, możesz użyć dowolnej zgodnej przeglądarki internetowej lub użyć dowolnego z narzędzi wdrażania. W tym samouczku jest używany interfejs wiersza polecenia platformy Azure.

Znajdowanie modelu i identyfikatora modelu w wykazie modeli

Zaloguj się do usługi Azure AI Foundry.
Jeśli nie jesteś jeszcze w projekcie, wybierz go.
Wybierz pozycję Katalog modeli w okienku nawigacji po lewej stronie.

Uwaga

W przypadku modeli oferowanych za pośrednictwem witryny Azure Marketplace upewnij się, że Twoje konto ma uprawnienia roli dewelopera sztucznej inteligencji platformy Azure w grupie zasobów lub że spełniasz uprawnienia wymagane do subskrybowania ofert modelu.

Modele oferowane przez dostawców innych niż Microsoft (na przykład modele Llama i Mistral) są rozliczane za pośrednictwem witryny Azure Marketplace. W przypadku takich modeli musisz zasubskrybować projekt do określonej oferty modelu. Modele oferowane przez firmę Microsoft (na przykład modele Phi-3) nie mają tego wymagania, ponieważ rozliczenia są wykonywane inaczej. Aby uzyskać szczegółowe informacje o rozliczeniach dotyczących bezserwerowego wdrażania modeli w katalogu modeli, zobacz Rozliczenia dla bezserwerowych interfejsów API.

Wybierz kartę modelu modelu, który chcesz wdrożyć. W tym artykule wybierzesz model Meta-Llama-3-8B-Instruct .
1. Jeśli wdrażasz model przy użyciu interfejsu wiersza polecenia platformy Azure, języka Python lub usługi ARM, skopiuj identyfikator modelu.
  
  Ważne
  
  Nie dołączaj wersji podczas kopiowania identyfikatora modelu. Punkty końcowe bezserwerowego interfejsu API zawsze wdrażają najnowszą dostępną wersję modelu. Na przykład dla identyfikatora azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3modelu skopiuj azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instructwartość .

W następnej sekcji opisano kroki subskrybowania projektu do oferty modelu. Możesz pominąć tę sekcję i przejść do sekcji Wdrażanie modelu w punkcie końcowym bezserwerowego interfejsu API, jeśli wdrażasz model firmy Microsoft.

Punkty końcowe bezserwerowego interfejsu API mogą wdrażać modele oferowane zarówno przez firmę Microsoft, jak i spoza firmy Microsoft. W przypadku modeli firmy Microsoft (takich jak modele Phi-3) nie trzeba tworzyć subskrypcji witryny Azure Marketplace i wdrażać je w punktach końcowych bezserwerowego interfejsu API bezpośrednio w celu korzystania z przewidywań. W przypadku modeli innych niż Microsoft należy najpierw utworzyć subskrypcję. Jeśli po raz pierwszy wdrażasz model w projekcie, musisz zasubskrybować projekt dla konkretnej oferty modelu z witryny Azure Marketplace. Każdy projekt ma własną subskrypcję konkretnej oferty z witryny Azure Marketplace modelu, która umożliwia kontrolowanie i monitorowanie wydatków.

Napiwek

Pomiń ten krok, jeśli wdrażasz modele z rodziny modeli Phi-3. Bezpośrednio wdróż model w punkcie końcowym bezserwerowego interfejsu API.

Uwaga

Modele oferowane za pośrednictwem witryny Azure Marketplace są dostępne do wdrożenia w punktach końcowych bezserwerowego interfejsu API w określonych regionach. Sprawdź dostępność modelu i regionu dla wdrożeń bezserwerowego interfejsu API, aby sprawdzić, które modele i regiony są dostępne. Jeśli ta, której potrzebujesz, nie ma na liście, możesz wdrożyć w obszarze roboczym w obsługiwanym regionie, a następnie korzystać z punktów końcowych bezserwerowego interfejsu API z innego obszaru roboczego.

Utwórz subskrypcję platformy handlowej modelu. Podczas tworzenia subskrypcji akceptujesz warunki i postanowienia skojarzone z ofertą modelu.

Na stronie Szczegóły modelu wybierz pozycję Wdróż. Zostanie otwarte okno Opcje wdrażania, dzięki czemu możesz wybrać między wdrożeniem bezserwerowego interfejsu API i wdrożeniem przy użyciu zarządzanego środowiska obliczeniowego.

Uwaga

W przypadku modeli, które można wdrożyć tylko za pośrednictwem bezserwerowego wdrażania interfejsu API, kreator wdrażania bezserwerowego interfejsu API zostanie otwarty bezpośrednio po wybraniu pozycji Wdróż na stronie szczegółów modelu.
Wybierz pozycję Bezserwerowy interfejs API z usługą Azure AI Content Safety (wersja zapoznawcza), aby otworzyć kreatora wdrażania bezserwerowego interfejsu API.
Wybierz projekt, w którym chcesz wdrożyć modele. Aby korzystać z oferty wdrażania modelu bezserwerowego interfejsu API, projekt musi należeć do jednego z regionów obsługiwanych w przypadku wdrożenia bezserwerowego dla określonego modelu.
Jeśli widzisz notatkę Masz już subskrypcję witryny Azure Marketplace dla tego projektu, nie musisz tworzyć subskrypcji, ponieważ masz już subskrypcję. Możesz przejść do sekcji Wdrażanie modelu w punkcie końcowym bezserwerowego interfejsu API.
W kreatorze wdrażania wybierz link do warunków użytkowania witryny Azure Marketplace, aby dowiedzieć się więcej o warunkach użytkowania. Możesz również wybrać kartę Cennik i terminy , aby dowiedzieć się więcej o cenach dla wybranego modelu.
Wybierz pozycję Subskrybuj i Wdróż.

subscription.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Użyj poprzedniego pliku, aby utworzyć subskrypcję:

az ml marketplace-subscription create -f subscription.yml

model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
subscription_name="Meta-Llama-3-8B-Instruct"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()

Użyj następującej konfiguracji bicep, aby utworzyć subskrypcję modelu:

model-subscription.bicep

param projectName string = 'my-project'
param modelId string = 'azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct'

var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
var subscriptionName = '${modelName}-subscription'

resource projectName_subscription 'Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions@2024-04-01-preview' = if (!startsWith(
  modelId,
  'azureml://registries/azureml/'
)) {
  name: '${projectName}/${subscriptionName}'
  properties: {
    modelId: modelId
  }
}

Następnie utwórz zasób w następujący sposób:

az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep

Użyj następującego szablonu, aby utworzyć subskrypcję modelu:

model-subscription.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Meta-Llama-3-8B-Instruct",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}

Utwórz wdrożenie za pomocą witryny Azure Portal lub interfejsu wiersza polecenia platformy Azure.

az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.json

Po zasubskrybowaniu projektu dla konkretnej oferty witryny Azure Marketplace kolejne wdrożenia tej samej oferty w tym samym projekcie nie wymagają ponownego subskrybowania.
W dowolnym momencie możesz zobaczyć oferty modelu, do których obecnie subskrybowany jest projekt:
1. Przejdź do portalu Azure Portal.
2. Przejdź do grupy zasobów, do której należy projekt.
3. W filtrze Typ wybierz pozycję SaaS.
4. Zobaczysz wszystkie oferty, do których obecnie subskrybujesz.
5. Wybierz dowolny zasób, aby wyświetlić szczegóły.
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
Narzędzia do zarządzania zasobami umożliwiają wykonywanie zapytań dotyczących zasobów. Poniższy kod używa interfejsu wiersza polecenia platformy Azure:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```
Narzędzia do zarządzania zasobami umożliwiają wykonywanie zapytań dotyczących zasobów. Poniższy kod używa interfejsu wiersza polecenia platformy Azure:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

Wdrażanie modelu w punkcie końcowym bezserwerowego interfejsu API

Po utworzeniu subskrypcji dla modelu innego niż Microsoft możesz wdrożyć skojarzony model w punkcie końcowym bezserwerowego interfejsu API. W przypadku modeli firmy Microsoft (takich jak modele Phi-3) nie trzeba tworzyć subskrypcji.

Punkt końcowy bezserwerowego interfejsu API umożliwia korzystanie z modeli jako interfejsu API bez hostowania ich w ramach subskrypcji, przy jednoczesnym zachowaniu potrzeb organizacji w zakresie zabezpieczeń i zgodności przedsiębiorstwa. Ta opcja wdrożenia nie wymaga limitu przydziału z subskrypcji.

W tej sekcji utworzysz punkt końcowy o nazwie meta-llama3-8b-qwerty.

Tworzenie bezserwerowego punktu końcowego

Aby wdrożyć model firmy Microsoft, który nie wymaga subskrybowania oferty modelu:
1. Wybierz pozycję Wdróż , a następnie wybierz pozycję Bezserwerowy interfejs API z bezpieczeństwem zawartości usługi Azure AI (wersja zapoznawcza), aby otworzyć kreatora wdrażania.
2. Wybierz projekt, w którym chcesz wdrożyć model. Zwróć uwagę, że nie wszystkie regiony są obsługiwane.
Alternatywnie w przypadku modelu innego niż Microsoft, który wymaga subskrypcji modelu, jeśli właśnie zasubskrybujesz projekt do oferty modelu w poprzedniej sekcji, wybierz pozycję Wdróż. Alternatywnie wybierz pozycję Kontynuuj, aby wdrożyć (jeśli kreator wdrażania miał notatkę Masz już subskrypcję witryny Azure Marketplace dla tego projektu).
Nadaj wdrożeniu nazwę. Ta nazwa staje się częścią adresu URL interfejsu API wdrażania. Ten adres URL musi być unikatowy w każdym regionie świadczenia usługi Azure.

Napiwek

Opcja Filtr zawartości (wersja zapoznawcza) jest domyślnie włączona. Pozostaw ustawienie domyślne dla usługi, aby wykrywać szkodliwe treści, takie jak nienawiść, samookaleczenia, treści seksualne i brutalne. Aby uzyskać więcej informacji na temat filtrowania zawartości (wersja zapoznawcza), zobacz Filtrowanie zawartości w portalu usługi Azure AI Foundry.
Wybierz Wdróż. Poczekaj, aż wdrożenie będzie gotowe, a nastąpi przekierowanie do strony Wdrożenia.

endpoint.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Użyj pliku endpoint.yml, aby utworzyć punkt końcowy:

az ml serverless-endpoint create -f endpoint.yml

endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

Użyj następującego szablonu, aby utworzyć punkt końcowy:

serverless-endpoint.bicep

param projectName string = 'my-project'
param endpointName string = 'myserverless-text-1234ss'
param location string = resourceGroup().location
param modelId string = 'azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct'

var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
var subscriptionName = '${modelName}-subscription'

resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = {
  name: '${projectName}/${endpointName}'
  location: location
  sku: {
    name: 'Consumption'
  }
  properties: {
    modelSettings: {
      modelId: modelId
    }
  }
  dependsOn: [
    projectName_subscription
  ]
}

output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uri

Utwórz wdrożenie w następujący sposób:

az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep

Użyj następującego szablonu, aby utworzyć punkt końcowy:

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "meta-llama3-8b-qwerty",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}

Następnie utwórz wdrożenie:

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file template.json

Ukończenie szablonu wdrożenia platformy Azure może potrwać kilka minut. Po zakończeniu zostanie wyświetlony komunikat zawierający wynik:

"provisioningState": "Succeeded",

W dowolnym momencie możesz zobaczyć punkty końcowe wdrożone w projekcie:
1. Przejdź do projektu.
2. W sekcji Moje zasoby wybierz pozycję Modele i punkty końcowe.
3. Wyświetlane są punkty końcowe bezserwerowego interfejsu API.
```
az ml serverless-endpoint list
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
Narzędzia do zarządzania zasobami umożliwiają wykonywanie zapytań dotyczących zasobów. Poniższy kod używa interfejsu wiersza polecenia platformy Azure:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
Narzędzia do zarządzania zasobami umożliwiają wykonywanie zapytań dotyczących zasobów. Poniższy kod używa interfejsu wiersza polecenia platformy Azure:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
Utworzony punkt końcowy używa uwierzytelniania klucza do autoryzacji. Wykonaj poniższe kroki, aby uzyskać klucze skojarzone z danym punktem końcowym.
Możesz wybrać wdrożenie i zanotować identyfikator URI i klucz punktu końcowego. Użyj ich do wywoływania wdrożenia i generowania przewidywań.

Uwaga

W przypadku korzystania z witryny Azure Portal punkty końcowe interfejsu API bezserwerowego nie są domyślnie wyświetlane w grupie zasobów. Użyj opcji Pokaż ukryte typy, aby wyświetlić je w grupie zasobów.
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Użyj interfejsów API REST, aby wykonywać zapytania dotyczące tych informacji.

Użyj interfejsów API REST, aby wykonywać zapytania dotyczące tych informacji.
Na tym etapie punkt końcowy jest gotowy do użycia.
Jeśli musisz korzystać z tego wdrożenia z innego projektu lub centrum lub planujesz użyć przepływu monitu do tworzenia inteligentnych aplikacji, musisz utworzyć połączenie z wdrożeniem bezserwerowego interfejsu API. Aby dowiedzieć się, jak skonfigurować istniejący punkt końcowy bezserwerowego interfejsu API w nowym projekcie lub centrum, zobacz Korzystanie z wdrożonych punktów końcowych bezserwerowego interfejsu API z innego projektu lub przepływu monitu.

Napiwek

Jeśli używasz przepływu monitów w tym samym projekcie lub centrum, w którym wdrożono wdrożenie, nadal musisz utworzyć połączenie.

Korzystanie z punktu końcowego bezserwerowego interfejsu API

Modele wdrożone w usługach Azure Machine Learning i Azure AI Foundry w punktach końcowych bezserwerowego interfejsu API obsługują interfejs API wnioskowania modelu sztucznej inteligencji platformy Azure, który uwidacznia wspólny zestaw funkcji dla podstawowych modeli i który może być używany przez deweloperów do korzystania z przewidywań z różnych zestawów modeli w jednolity i spójny sposób.

Dowiedz się więcej o możliwościach tego interfejsu API i sposobach korzystania z niego podczas tworzenia aplikacji.

Izolacja sieciowa

Punkty końcowe dla modeli wdrożonych jako bezserwerowe interfejsy API są zgodne z ustawieniem flagi dostępu do sieci publicznej (PNA) centrum portalu Usługi Azure AI z projektem, w którym istnieje wdrożenie. Aby zabezpieczyć punkt końcowy usługi MaaS, wyłącz flagę PNA w usłudze Azure AI Foundry Hub. Komunikację przychodzącą z klienta do punktu końcowego można zabezpieczyć przy użyciu prywatnego punktu końcowego dla centrum.

Aby ustawić flagę PNA dla centrum Azure AI Foundry:

Przejdź do portalu Azure Portal.
Wyszukaj grupę zasobów, do której należy centrum, i wybierz centrum Azure AI z zasobów wymienionych dla tej grupy zasobów.
Na stronie Przegląd centrum w menu po lewej stronie wybierz pozycję Ustawienia>Sieć.
Na karcie Dostęp publiczny można skonfigurować ustawienia flagi dostępu do sieci publicznej.
Zapisz zmiany. Propagacja zmian może potrwać do pięciu minut.

Usuwanie punktów końcowych i subskrypcji

Możesz usunąć subskrypcje modelu i punkty końcowe. Usunięcie subskrypcji modelu sprawia, że skojarzony punkt końcowy staje się w złej kondycji i jest bezużyteczny.

Aby usunąć punkt końcowy bezserwerowego interfejsu API:

Przejdź do usługi Azure AI Foundry.
Przejdź do projektu.
W sekcji Moje zasoby wybierz pozycję Modele i punkty końcowe.
Otwórz wdrożenie, które chcesz usunąć.
Wybierz Usuń.

Aby usunąć skojarzona subskrypcja modelu:

Przejdź do witryny Azure Portal.
Przejdź do grupy zasobów, do której należy projekt.
W filtrze Typ wybierz pozycję SaaS.
Wybierz subskrypcję, którą chcesz usunąć.
Wybierz Usuń.

Aby usunąć punkt końcowy bezserwerowego interfejsu API:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Aby usunąć skojarzona subskrypcja modelu:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Aby usunąć punkt końcowy bezserwerowego interfejsu API:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Aby usunąć skojarzona subskrypcja modelu:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

Do zarządzania zasobami można użyć narzędzi do zarządzania zasobami. Poniższy kod używa interfejsu wiersza polecenia platformy Azure:

az resource delete --name <resource-name>

Do zarządzania zasobami można użyć narzędzi do zarządzania zasobami. Poniższy kod używa interfejsu wiersza polecenia platformy Azure:

az resource delete --name <resource-name>

Zagadnienia dotyczące kosztów i limitów przydziału dla modeli wdrożonych jako punkty końcowe bezserwerowego interfejsu API

Limit przydziału jest zarządzany na wdrożenie. Każde wdrożenie ma limit szybkości wynoszący 200 000 tokenów na minutę i 1000 żądań interfejsu API na minutę. Obecnie jednak ograniczamy jedno wdrożenie na model na projekt. Skontaktuj się z pomocą techniczną platformy Microsoft Azure, jeśli bieżące limity szybkości nie są wystarczające dla Twoich scenariuszy.

Koszt modeli firmy Microsoft

Informacje o cenach można znaleźć na karcie Cennik i terminy kreatora wdrażania podczas wdrażania modeli firmy Microsoft (takich jak modele Phi-3) jako punktów końcowych bezserwerowego interfejsu API.

Koszt dla modeli innych niż Microsoft

Modele inne niż firmy Microsoft wdrożone jako punkty końcowe bezserwerowego interfejsu API są oferowane za pośrednictwem witryny Azure Marketplace i zintegrowane z usługą Azure AI Foundry do użycia. Cennik witryny Azure Marketplace można znaleźć podczas wdrażania lub dostrajania tych modeli.

Za każdym razem, gdy projekt subskrybuje daną ofertę z witryny Azure Marketplace, tworzony jest nowy zasób w celu śledzenia kosztów związanych z jej zużyciem. Ten sam zasób służy do śledzenia kosztów skojarzonych z wnioskowaniem i dostrajania; jednak w ramach śledzenia każdego scenariusza można niezależnie śledzić wiele mierników.

Aby uzyskać więcej informacji na temat śledzenia kosztów, zobacz Monitorowanie kosztów modeli oferowanych w witrynie Azure Marketplace.

Kontrola dostępu oparta na rolach platformy Azure (RBAC) platformy Azure służy do udzielania dostępu do operacji w portalu usługi Azure AI Foundry. Aby wykonać kroki opisane w tym artykule, konto użytkownika musi mieć przypisaną rolę Właściciela, Współautora lub Dewelopera sztucznej inteligencji platformy Azure dla subskrypcji platformy Azure. Możesz też przypisać rolę niestandardową, która ma następujące uprawnienia:

W subskrypcji platformy Azure — do subskrypcji obszaru roboczego oferty witryny Azure Marketplace, raz dla każdego obszaru roboczego, na ofertę:
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
W grupie zasobów — do tworzenia zasobu SaaS i jego użycia:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
W obszarze roboczym — do wdrażania punktów końcowych (rola badacza danych usługi Azure Machine Learning zawiera już te uprawnienia):
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Aby uzyskać więcej informacji na temat uprawnień, zobacz Kontrola dostępu oparta na rolach w portalu usługi Azure AI Foundry.

Udostępnij za pośrednictwem

Wdrażanie modeli jako bezserwerowych interfejsów API

Wymagania wstępne

Znajdowanie modelu i identyfikatora modelu w wykazie modeli

Wdrażanie modelu w punkcie końcowym bezserwerowego interfejsu API

Korzystanie z punktu końcowego bezserwerowego interfejsu API

Izolacja sieciowa

Usuwanie punktów końcowych i subskrypcji

Zagadnienia dotyczące kosztów i limitów przydziału dla modeli wdrożonych jako punkty końcowe bezserwerowego interfejsu API

Koszt modeli firmy Microsoft

Koszt dla modeli innych niż Microsoft

Opinia

Dodatkowe zasoby

Udostępnij za pośrednictwem

Wdrażanie modeli jako bezserwerowych interfejsów API

Wymagania wstępne

Znajdowanie modelu i identyfikatora modelu w wykazie modeli

Subskrybowanie projektu do oferty modelu

Wdrażanie modelu w punkcie końcowym bezserwerowego interfejsu API

Korzystanie z punktu końcowego bezserwerowego interfejsu API

Izolacja sieciowa

Usuwanie punktów końcowych i subskrypcji

Zagadnienia dotyczące kosztów i limitów przydziału dla modeli wdrożonych jako punkty końcowe bezserwerowego interfejsu API

Koszt modeli firmy Microsoft

Koszt dla modeli innych niż Microsoft

Uprawnienia wymagane do subskrybowania ofert modeli

Powiązana zawartość

Opinia

Dodatkowe zasoby