Implantar modelos como pontos de extremidade de API sem servidor

Artigo
10/16/2024

Neste artigo, você aprenderá a implantar um modelo do catálogo de modelos como uma API sem servidor com cobrança baseada em token pré-pago.

Certos modelos no catálogo de modelos podem ser implantados como uma API sem servidor com faturamento pré-pago. Esse tipo de implantação fornece uma maneira de consumir modelos como uma API sem hospedá-los em sua assinatura, mantendo a segurança e a conformidade corporativas de que as organizações precisam. Essa opção de implantação não exige cota da sua assinatura.

Este artigo usa uma implantação de modelo Meta Llama para ilustração. No entanto, você pode usar as mesmas etapas para implantar qualquer um dos modelos no catálogo de modelos que estão disponíveis para implantação de API sem servidor.

Pré-requisitos

Uma subscrição do Azure com um método de pagamento válido. As subscrições gratuitas ou de avaliação do Azure não funcionarão. Se você não tiver uma assinatura do Azure, crie uma conta paga do Azure para começar.
Um espaço de trabalho do Azure Machine Learning.
Os controlos de acesso baseado em funções (RBAC do Azure) são utilizados para conceder acesso às operações no Azure Machine Learning. Para executar as etapas neste artigo, sua conta de usuário deve receber a função de Desenvolvedor do Azure AI no grupo de recursos. Para obter mais informações sobre permissões, consulte Controle de acesso baseado em função no Azure Machine Learning.
Você precisa instalar o seguinte software para trabalhar com o Azure Machine Learning:
Você pode usar qualquer navegador da Web compatível para navegar no Azure Machine Learning.
A CLI do Azure e a extensão ml para o Azure Machine Learning.
```
az extension add -n ml
```
Se já tiver a extensão instalada, certifique-se de que a versão mais recente está instalada.
```
az extension update -n ml
```
Uma vez instalada a extensão, configure-a:
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
```
Instale o SDK do Azure Machine Learning para Python.
```
pip install -U azure-ai-ml
```
Uma vez instalado, importe os namespaces necessários e crie um cliente conectado ao seu espaço de trabalho:
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<workspace-name>",
)
```
Você pode usar qualquer navegador da Web compatível para implantar modelos ARM no portal do Microsoft Azure ou usando qualquer uma das ferramentas de implantação. Este tutorial usa a CLI do Azure.

Encontre o seu modelo e ID de modelo no catálogo de modelos

Entrar no estúdio do Azure Machine Learning
Para modelos oferecidos através do Azure Marketplace, certifique-se de que a sua conta tem as permissões de função Azure AI Developer no grupo de recursos ou que cumpre as permissões necessárias para subscrever ofertas de modelos.

Os modelos oferecidos por fornecedores que não são da Microsoft (por exemplo, modelos Llama e Mistral) são faturados através do Azure Marketplace. Para esses modelos, é necessário inscrever seu espaço de trabalho na oferta de modelo específica. Os modelos oferecidos pela Microsoft (por exemplo, modelos Phi-3) não têm esse requisito, pois a cobrança é feita de forma diferente. Para obter detalhes sobre a cobrança da implantação sem servidor de modelos no catálogo de modelos, consulte Cobrança de APIs sem servidor.
Vá para a área de trabalho. Para usar a oferta de implantação de modelo de API sem servidor, seu espaço de trabalho deve pertencer a uma das regiões com suporte para implantação sem servidor para o modelo específico que você deseja implantar.
Selecione Catálogo de modelos na barra lateral esquerda e localize o cartão de modelo do modelo que você deseja implantar. Neste artigo, você seleciona um modelo Meta-Llama-3-8B-Instruct .
1. Se você estiver implantando o modelo usando a CLI do Azure, Python SDK ou ARM, copie a ID do modelo.
Importante

Não inclua a versão ao copiar a ID do modelo. Os pontos de extremidade de API sem servidor sempre implantam a versão mais recente disponível do modelo. Por exemplo, para o ID azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3do modelo , copie azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

A próxima seção aborda as etapas para inscrever seu espaço de trabalho em uma oferta de modelo. Você pode pular esta seção e ir para Implantar o modelo em um ponto de extremidade de API sem servidor, se estiver implantando um modelo da Microsoft.

Os pontos de extremidade de API sem servidor podem implantar modelos oferecidos pela Microsoft e não Microsoft. Para modelos da Microsoft (como modelos Phi-3), você não precisa criar uma assinatura do Azure Marketplace e pode implantá-los em pontos de extremidade de API sem servidor diretamente para consumir suas previsões. Para modelos que não sejam da Microsoft, você precisa criar a assinatura primeiro. Se for a primeira vez que implementa o modelo na área de trabalho, tem de subscrever a sua área de trabalho para a oferta de modelo específica do Azure Marketplace. Cada espaço de trabalho tem sua própria assinatura para a oferta específica do Azure Marketplace do modelo, que permite controlar e monitorar os gastos.

Nota

Os modelos oferecidos por meio do Azure Marketplace estão disponíveis para implantação em pontos de extremidade de API sem servidor em regiões específicas. Verifique a disponibilidade da região para modelos em pontos de extremidade de API sem servidor para verificar quais modelos e regiões estão disponíveis. Se o que você precisa não estiver listado, você poderá implantar em um espaço de trabalho em uma região suportada e, em seguida , consumir pontos de extremidade de API sem servidor de um espaço de trabalho diferente.

Crie a assinatura do marketplace do modelo. Ao criar uma assinatura, você aceita os termos e condições associados à oferta modelo. Lembre-se de que você não precisa executar esta etapa para modelos oferecidos pela Microsoft (como o Phi-3).
1. Na página Detalhes do modelo, selecione Implantar. Uma janela Opções de implantação é aberta, oferecendo a você a opção entre implantação de API sem servidor e implantação usando uma computação gerenciada.
  
  Nota
  
  Para modelos que podem ser implantados somente por meio da implantação de API sem servidor, o assistente de implantação de API sem servidor é aberto logo após você selecionar Implantar na página de detalhes do modelo.
2. Selecione Serverless API with Azure AI Content Safety (visualização) para abrir o assistente de implantação de API sem servidor.
3. Marque a caixa de seleção para confirmar a política de compra da Microsoft.
4. Se vir a nota Já tem uma subscrição do Azure Marketplace para esta área de trabalho, não precisa de criar a subscrição, uma vez que já tem uma. Você pode prosseguir para Implantar o modelo em um ponto de extremidade de API sem servidor.
5. No assistente de implantação, selecione o link para Termos do Azure Marketplace para saber mais sobre os termos de uso. Você também pode selecionar a guia Preços e termos para saber mais sobre os preços do modelo selecionado.
6. No assistente de implantação, selecione o link para os Termos do Azure Marketplace para saber mais sobre os termos de uso. Você também pode selecionar a guia Detalhes da oferta do Marketplace para saber mais sobre os preços do modelo selecionado.
7. Selecione Inscrever-se e Implantar.
subscription.yml
```
name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
```
Use o arquivo subscription.yml para criar a assinatura:
```
az ml marketplace-subscription create -f subscription.yml
```
```
model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
subscription_name="Meta-Llama-3-8B-Instruct"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()
```
Use o seguinte modelo para criar uma assinatura de modelo:

template.json
```
{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Meta-Llama-3-8B-Instruct",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}
```
Depois de inscrever o espaço de trabalho para a oferta específica do Azure Marketplace, as implantações subsequentes da mesma oferta no mesmo espaço de trabalho não exigem assinatura novamente.
A qualquer momento, você pode ver as ofertas de modelo às quais seu espaço de trabalho está inscrito no momento:
1. Aceda ao Portal do Azure
2. Navegue até o grupo de recursos ao qual o espaço de trabalho pertence.
3. No filtro Tipo, selecione SaaS.
4. Você vê todas as ofertas às quais está inscrito no momento.
5. Selecione qualquer recurso para ver os detalhes.
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
Você pode usar as ferramentas de gerenciamento de recursos para consultar os recursos. O código a seguir usa a CLI do Azure:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

Implantar o modelo em um ponto de extremidade de API sem servidor

Depois de criar uma assinatura para um modelo que não seja da Microsoft, você pode implantar o modelo associado em um ponto de extremidade de API sem servidor. Para modelos Microsoft (como modelos Phi-3), não é necessário criar uma assinatura.

O ponto de extremidade da API sem servidor fornece uma maneira de consumir modelos como uma API sem hospedá-los em sua assinatura, mantendo a segurança corporativa e a conformidade de que as organizações precisam. Essa opção de implantação não exige cota da sua assinatura.

Nesta seção, você cria um ponto de extremidade com o nome meta-llama3-8b-qwerty.

Criar o ponto de extremidade sem servidor

Para implantar um modelo da Microsoft que não exija a assinatura de uma oferta de modelo, selecione Implantar e, em seguida, selecione API sem servidor com Segurança de Conteúdo do Azure AI (visualização) para abrir o assistente de implantação.
Como alternativa, para um modelo que não seja da Microsoft que exija uma assinatura de modelo, se você acabou de inscrever seu espaço de trabalho na oferta de modelo na seção anterior, continue a selecionar Implantar. Como alternativa, selecione Continuar a implantar (se o assistente de implantação tiver a observação Você já tem uma assinatura do Azure Marketplace para este espaço de trabalho).
Dê um nome à implantação. Esse nome se torna parte da URL da API de implantação. Essa URL deve ser exclusiva em cada região do Azure.

Gorjeta

A opção Filtro de conteúdo (visualização) está ativada por padrão. Deixe a configuração padrão para o serviço detetar conteúdo nocivo, como conteúdo de ódio, automutilação, sexual e violento. Para obter mais informações sobre filtragem de conteúdo (visualização), consulte Segurança de conteúdo para modelos implantados por meio de APIs sem servidor.
Selecione Implementar. Aguarde até que a implantação esteja pronta e você seja redirecionado para a página Implantações.

endpoint.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Use o arquivo endpoint.yml para criar o ponto de extremidade:

az ml serverless-endpoint create -f endpoint.yml

endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

Use o seguinte modelo para criar um ponto de extremidade:

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "meta-llama3-8b-qwerty",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}

Em seguida, crie a implantação:

az deployment group create \
    --name model-subscription-deployment \
    --resource-group <resource-group> \
    --template-file template.json

O modelo de implantação do Azure pode levar alguns minutos para ser concluído. Quando terminar, você verá uma mensagem que inclui o resultado:

"provisioningState": "Succeeded",

A qualquer momento, você pode ver os pontos de extremidade implantados em seu espaço de trabalho:
1. Vá para a área de trabalho.
2. Selecione Pontos finais.
3. Selecione a guia Pontos de extremidade sem servidor para exibir os pontos de extremidade da API sem servidor.
```
az ml serverless-endpoint list
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
Você pode usar as ferramentas de gerenciamento de recursos para consultar os recursos. O código a seguir usa a CLI do Azure:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
O ponto de extremidade criado usa autenticação de chave para autorização. Use as etapas a seguir para obter as chaves associadas a um determinado ponto de extremidade.
1. Para retornar à página da implantação, selecione o nome do ponto de extremidade na lista de pontos de extremidade sem servidor.
2. Observe o URI e a chave de destino do ponto de extremidade. Use-os para chamar a implantação e gerar previsões.
Nota

Ao usar o portal do Azure, os pontos de extremidade de API sem servidor não são exibidos por padrão no grupo de recursos. Use a opção Mostrar tipos ocultos para exibi-los no grupo de recursos.
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Use APIs REST para consultar essas informações.
Neste ponto, seu endpoint está pronto para ser usado.
Se você precisar consumir essa implantação de um espaço de trabalho diferente ou planeja usar o fluxo de prompt para criar aplicativos inteligentes, precisará criar uma conexão com a implantação de API sem servidor. Para saber como configurar um ponto de extremidade de API sem servidor existente em um novo espaço de trabalho ou hub, consulte Consumir pontos de extremidade de API sem servidor implantados de um espaço de trabalho diferente ou do fluxo de prompt.

Gorjeta

Se você estiver usando o fluxo de prompt no mesmo espaço de trabalho em que a implantação foi implantada, ainda precisará criar a conexão.

Usar o ponto de extremidade da API sem servidor

Os modelos implantados no Azure Machine Learning e no estúdio de IA do Azure em pontos de extremidade de API sem servidor dão suporte à API de Inferência de Modelo de IA do Azure que expõe um conjunto comum de recursos para modelos fundamentais e que pode ser usada por desenvolvedores para consumir previsões de um conjunto diversificado de modelos de maneira uniforme e consistente.

Leia mais sobre os recursos dessa API e como você pode usá-la ao criar aplicativos.

Excluir pontos de extremidade e assinaturas

Você pode excluir assinaturas de modelo e pontos de extremidade. A exclusão de uma assinatura de modelo faz com que qualquer ponto de extremidade associado se torne não íntegro e inutilizável.

Para excluir um ponto de extremidade de API sem servidor:

Vá para o estúdio do Azure Machine Learning.
Selecione Pontos de extremidade na barra lateral esquerda.
Selecione a guia Pontos de extremidade sem servidor para exibir os pontos de extremidade da API sem servidor.
Abra o ponto de extremidade que você deseja excluir.
Selecione Eliminar.

Para excluir a assinatura de modelo associada:

Aceda ao Portal do Azure
Navegue até o grupo de recursos ao qual o espaço de trabalho pertence.
No filtro Tipo, selecione SaaS.
Selecione a subscrição que quer eliminar.
Selecione Eliminar.

Para excluir um ponto de extremidade de API sem servidor:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Para excluir a assinatura de modelo associada:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Para excluir um ponto de extremidade de API sem servidor:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Para excluir a assinatura de modelo associada:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

Você pode usar as ferramentas de gerenciamento de recursos para gerenciar os recursos. O código a seguir usa a CLI do Azure:

az resource delete --name <resource-name>

Considerações sobre custo e cota para modelos implantados como pontos de extremidade de API sem servidor

A quota é gerida por implementação. Cada implementação tem um limite de taxa de 200 000 tokens por minuto e 1000 pedidos de API por minuto. No entanto, atualmente, limitamos uma implementação por modelo por área de trabalho. Contacte o Suporte do Microsoft Azure se os limites de taxa atuais não forem suficientes para os seus cenários.

Custo para modelos Microsoft

Você pode encontrar as informações de preços na guia Preços e termos do assistente de implantação ao implantar modelos da Microsoft (como modelos Phi-3) como pontos de extremidade de API sem servidor.

Custo para modelos que não sejam da Microsoft

Os modelos que não são da Microsoft implantados como pontos de extremidade de API sem servidor são oferecidos por meio do Azure Marketplace e integrados ao Azure AI Studio para uso. Você pode encontrar os preços do Azure Marketplace ao implantar ou ajustar esses modelos.

Sempre que uma área de trabalho subscreve uma determinada oferta do Azure Marketplace, é criado um novo recurso para controlar os custos associados ao seu consumo. O mesmo recurso é usado para monitorizar os custos associados à inferência e à otimização; no entanto, estão disponíveis vários medidores para monitorizar cada cenário de forma independente.

Para obter mais informações sobre como controlar os custos, consulte Monitorizar custos dos modelos oferecidos através do Azure Marketplace.

Os controlos de acesso baseado em funções (RBAC do Azure) são utilizados para conceder acesso às operações no Azure Machine Learning. Para executar as etapas neste artigo, sua conta de usuário deve receber a função de Proprietário, Colaborador ou Desenvolvedor do Azure AI para a assinatura do Azure. Em alternativa, pode ser atribuída à sua conta uma função personalizada com as seguintes permissões:

Na subscrição do Azure — para subscrever o espaço de trabalho na oferta do Azure Marketplace, uma vez para cada espaço de trabalho, por oferta:
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
No grupo de recursos — para criar e utilizar o recurso SaaS:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
No espaço de trabalho — para implementar pontos finais (a função de cientista de dados do Azure Machine Learning já contém essas permissões):
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Para obter mais informações sobre permissões, consulte Gerir o acesso a um espaço de trabalho do Azure Machine Learning.

Partilhar via

Implantar modelos como pontos de extremidade de API sem servidor

Pré-requisitos

Encontre o seu modelo e ID de modelo no catálogo de modelos

Implantar o modelo em um ponto de extremidade de API sem servidor

Usar o ponto de extremidade da API sem servidor

Excluir pontos de extremidade e assinaturas

Considerações sobre custo e cota para modelos implantados como pontos de extremidade de API sem servidor

Custo para modelos Microsoft

Custo para modelos que não sejam da Microsoft

Comentários

Recursos adicionais

Partilhar via

Implantar modelos como pontos de extremidade de API sem servidor

Pré-requisitos

Encontre o seu modelo e ID de modelo no catálogo de modelos

Inscreva seu espaço de trabalho na oferta de modelo

Implantar o modelo em um ponto de extremidade de API sem servidor

Usar o ponto de extremidade da API sem servidor

Excluir pontos de extremidade e assinaturas

Considerações sobre custo e cota para modelos implantados como pontos de extremidade de API sem servidor

Custo para modelos Microsoft

Custo para modelos que não sejam da Microsoft

Permissões necessárias para subscrever ofertas de modelos

Conteúdos relacionados

Comentários

Recursos adicionais