Compartilhar via

Adicionar e configurar modelos à inferência de modelo de IA do Azure

  • Artigo

Importante

Os itens marcados (versão prévia) neste artigo estão atualmente em versão prévia pública. Essa versão prévia é fornecida sem um contrato de nível de serviço e não recomendamos isso para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos. Para obter mais informações, consulte Termos de Uso Complementares de Versões Prévias do Microsoft Azure.

É possível decidir e configurar quais modelos estão disponíveis para inferência no ponto de extremidade de inferência. Quando um determinado modelo está configurado, você pode então gerar previsões a partir dele indicando seu nome de modelo ou nome de implantação nas suas solicitações. Nenhuma outra alteração é necessária no seu código para usá-lo.

Neste artigo, você aprenderá a adicionar um novo modelo à inferência de modelo de IA do Azure na Fábrica de IA do Azure.

Pré-requisitos

Para concluir este artigo, você precisa do seguinte:

Adicionar um modelo

Você pode adicionar modelos ao ponto de extremidade de inferência de modelo de IA do Azure usando as etapas a seguir:

  1. Vá para a seção Catálogo de modelos no portal da Fábrica de IA do Azure.

  2. Role até o modelo do seu interesse e selecione-o.

    Uma animação mostrando como pesquisar modelos no catálogo de modelos e selecionar uma para exibir seus detalhes.

  3. Você pode revisar os detalhes do modelo no cartão do modelo.

  4. Selecione Implantar.

  5. Para provedores de modelos que exigem mais termos de contrato, você deverá aceitar esses termos. Esse é o caso dos modelos Mistral, por exemplo. Aceite os termos nesses casos selecionando Assinar e implantar.

    Captura de tela mostrando como concordar com os termos e condições de um modelo Mistral-Large.

  6. Você pode configurar as configurações de implantação nesse momento. Por padrão, a implantação receberá o nome do modelo que você está implantando. O nome da implantação será usado no parâmetro model para solicitação para rotear para essa implantação de modelo específica. Isso permite que você também configure nomes específicos para seus modelos ao anexar configurações específicas. Por exemplo, o1-preview-safe para um modelo com um filtro de conteúdo estrito de segurança de conteúdo.

    Dica

    Cada modelo pode dar suporte a diferentes tipos de implantações, fornecendo diferentes garantias de residência ou taxa de transferência de dados. Confira os tipos de implantação para obter mais detalhes.

  7. Selecionamos automaticamente uma conexão dos Serviços de IA do Azure, dependendo do seu projeto. Use a opção Personalizar para alterar a conexão de acordo com suas necessidades. Se você estiver implantando no tipo de implantação Standard, os modelos precisarão estar disponíveis na região do recurso dos Serviços de IA do Azure.

    Captura de tela mostrando como personalizar a implantação, se necessário.

    Dica

    Se o recurso desejado não estiver listado, talvez seja necessário criar uma conexão com ele. Confira Configurar o serviço de inferência de modelo de IA do Azure em meu projeto no portal da Fábrica de IA do Azure.

  8. Selecione Implantar.

  9. Depois que a implantação for concluída, o novo modelo será listado na página e estará pronto para ser usado.

Gerenciar modelos

Você pode gerenciar as implantações de modelo existentes no recurso usando o portal da Fábrica de IA do Azure.

  1. Vá para a seção Modelos + Pontos de Extremidade no portal da Fábrica de IA do Azure.

  2. Role até a conexão com o recurso dos Serviços de IA do Azure. As implantações de modelo são agrupadas e exibidas por conexão.

    Captura de tela mostrando a lista de modelos disponíveis em uma determinada conexão.

  3. Você verá uma lista de modelos disponíveis em cada conexão. Selecione a implantação de modelo na qual você está interessado.

  4. Edite ou Exclua a implantação conforme necessário.

Testar a implantação no playground

Você pode interagir com o novo modelo no portal da Fábrica de IA do Azure usando o playground:

Observação

O playground só está disponível ao trabalhar com projetos de IA na Fábrica de IA do Azure. Crie um projeto de IA para obter acesso total a todos os recursos na Fábrica de IA do Azure.

  1. Vá para a seção Playgrounds no portal da Fábrica de IA do Azure.

  2. Dependendo do tipo de modelo implantado, selecione o playground necessário. Nesse caso, selecionamos Playground de chat.

  3. Na lista suspensa Implantação, em Configuração, selecione o nome da implantação do modelo que você criou.

    Captura de tela mostrando como selecionar uma implantação de modelo a ser usada no playground.

  4. Digite a solicitação e veja as saídas.

  5. Além disso, você pode usar o Código de exibição para ver detalhes sobre como acessar a implantação do modelo programaticamente.

Importante

Os itens marcados (versão prévia) neste artigo estão atualmente em versão prévia pública. Essa versão prévia é fornecida sem um contrato de nível de serviço e não recomendamos isso para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos. Para obter mais informações, consulte Termos de Uso Complementares de Versões Prévias do Microsoft Azure.

É possível decidir e configurar quais modelos estão disponíveis para inferência no ponto de extremidade de inferência. Quando um determinado modelo está configurado, você pode então gerar previsões a partir dele indicando seu nome de modelo ou nome de implantação nas suas solicitações. Nenhuma outra alteração é necessária no seu código para usá-lo.

Neste artigo, você aprenderá a adicionar um novo modelo à inferência de modelo de IA do Azure na Fábrica de IA do Azure.

Pré-requisitos

Para concluir este artigo, você precisa do seguinte:

  • Instale a CLI do Azure e a extensão cognitiveservices dos Serviços de IA do Azure:

    az extension add -n cognitiveservices

  • Alguns dos comandos deste tutorial usam a ferramenta jq, que pode não estar instalada em seu sistema. Para obter instruções de instalação, confira Download jq.

  • Identifique as seguintes informações:

    • Sua ID da assinatura do Azure.

    • Seu nome de recurso dos Serviços de IA do Azure.

    • O grupo de recursos em que o recurso dos Serviços de IA do Azure é implantado.

Adicionar modelos

Para adicionar um modelo, primeiro você precisa identificar o modelo que deseja implantar. Você pode consultar os modelos disponíveis da seguinte maneira:

  1. Faça logon em sua assinatura do Azure:

    az login

  2. Se você tiver mais de uma assinatura, selecione a assinatura em que o recurso está localizado:

    az account set --subscription $subscriptionId>

  3. Defina as seguintes variáveis de ambiente com o nome do recurso dos Serviços de IA do Azure que você planeja usar e o grupo de recursos.

    accountName="<ai-services-resource-name>"
resourceGroupName="<resource-group>"

  4. Se você ainda não tiver uma conta dos Serviços de IA do Azure, poderá criar uma da seguinte forma:

    az cognitiveservices account create -n $accountName -g $resourceGroupName

  5. Vamos ver primeiro quais modelos estão disponíveis para você e em qual SKU. O comando a seguir lista todas as definições de modelo disponíveis:

    az cognitiveservices account list-models \
    -n $accountName \
    -g $resourceGroupName \
| jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'

  6. As saídas são as seguintes:

    {
  "name": "Phi-3.5-vision-instruct",
  "format": "Microsoft",
  "version": "2",
  "sku": "GlobalStandard",
  "capacity": 1
}

  7. Identifique o modelo que você deseja implantar. Você precisa das propriedades name, format e versionsku. A capacidade também pode ser necessária, dependendo do tipo de implantação.

    Dica

    Observe que nem todos os modelos estão disponíveis em todas as SKUs.

  8. Adicione a implantação de modelo ao recurso. O exemplo a seguir adiciona Phi-3.5-vision-instruct:

    az cognitiveservices account deployment create \
    -n $accountName \
    -g $resourceGroupName \
    --deployment-name Phi-3.5-vision-instruct \
    --model-name Phi-3.5-vision-instruct \
    --model-version 2 \
    --model-format Microsoft \
    --sku-capacity 1 \
    --sku-name GlobalStandard

  9. O modelo está pronto para ser consumido.

Você pode implantar o mesmo modelo várias vezes, se necessário, desde que ele esteja sob um nome de implantação diferente. Esse recurso pode ser útil caso você queira testar diferentes configurações para um determinado modelo, incluindo a segurança do conteúdo.

Administrar implantações

Você pode ver todas as implantações disponíveis usando a CLI:

  1. Execute o seguinte comando para ver todas as implantações ativas:

    az cognitiveservices account deployment list -n $accountName -g $resourceGroupName

  2. Você pode ver os detalhes de uma determinada implantação:

    az cognitiveservices account deployment show \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

  3. Você pode excluir uma determinada implantação da seguinte maneira:

        az cognitiveservices account deployment delete \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

Usar o modelo

Os modelos implantados na inferência de modelo de IA do Azure podem ser consumidos usando o ponto de extremidade de inferência do modelo de IA do Azure para o recurso. Ao criar sua solicitação, indique o parâmetro model e insira o nome da implantação do modelo que você criou. Você pode obter programaticamente o URI do ponto de extremidade de inferência usando o código a seguir:

Ponto de extremidade de inferência

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Para fazer solicitações ao ponto de extremidade de inferência do modelo de IA do Azure, acrescente a rota models, por exemplo https://<resource>.services.ai.azure.com/models. Você pode ver a referência de API para o ponto de extremidade na página de referência de API de inferência do modelo de IA do Azure.

Chaves de inferência

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Importante

Os itens marcados (versão prévia) neste artigo estão atualmente em versão prévia pública. Essa versão prévia é fornecida sem um contrato de nível de serviço e não recomendamos isso para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos. Para obter mais informações, consulte Termos de Uso Complementares de Versões Prévias do Microsoft Azure.

É possível decidir e configurar quais modelos estão disponíveis para inferência no ponto de extremidade de inferência. Quando um determinado modelo está configurado, você pode então gerar previsões a partir dele indicando seu nome de modelo ou nome de implantação nas suas solicitações. Nenhuma outra alteração é necessária no seu código para usá-lo.

Neste artigo, você aprenderá a adicionar um novo modelo à inferência de modelo de IA do Azure na Fábrica de IA do Azure.

Pré-requisitos

Para concluir este artigo, você precisa do seguinte:

  • Instale a CLI do Azure.

  • Identifique as seguintes informações:

    • Sua ID da assinatura do Azure.

    • Seu nome de recurso dos Serviços de IA do Azure.

    • O grupo de recursos em que o recurso dos Serviços de IA do Azure é implantado.

    • O nome do modelo, o provedor, a versão e a SKU que você deseja implantar. Você pode usar o portal da Fábrica de IA do Azure ou a CLI do Azure para identificá-lo. Neste exemplo, implantamos o seguinte modelo:

      • Nome do modelo:: Phi-3.5-vision-instruct
      • Provedor: Microsoft
      • Versão:2
      • Tipo de implantação: padrão global

Adicionar o modelo

  1. Use o modelo ai-services-deployment-template.bicep para descrever implantações de modelo:

    ai-services-deployment-template.bicep

    @description('Name of the Azure AI services account')
param accountName string

@description('Name of the model to deploy')
param modelName string

@description('Version of the model to deploy')
param modelVersion string

@allowed([
  'AI21 Labs'
  'Cohere'
  'Core42'
  'DeepSeek'
  'Meta'
  'Microsoft'
  'Mistral AI'
  'OpenAI'
])
@description('Model provider')
param modelPublisherFormat string

@allowed([
    'GlobalStandard'
    'Standard'
    'GlobalProvisioned'
    'Provisioned'
])
@description('Model deployment SKU name')
param skuName string = 'GlobalStandard'

@description('Content filter policy name')
param contentFilterPolicyName string = 'Microsoft.DefaultV2'

@description('Model deployment capacity')
param capacity int = 1

resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
  name: '${accountName}/${modelName}'
  sku: {
    name: skuName
    capacity: capacity
  }
  properties: {
    model: {
      format: modelPublisherFormat
      name: modelName
      version: modelVersion
    }
    raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
  }
}

  2. Execute a implantação:

    RESOURCE_GROUP="<resource-group-name>"
ACCOUNT_NAME="<azure-ai-model-inference-name>" 
MODEL_NAME="Phi-3.5-vision-instruct"
PROVIDER="Microsoft"
VERSION=2

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file ai-services-deployment-template.bicep \
    --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER

Usar o modelo

Os modelos implantados na inferência de modelo de IA do Azure podem ser consumidos usando o ponto de extremidade de inferência do modelo de IA do Azure para o recurso. Ao criar sua solicitação, indique o parâmetro model e insira o nome da implantação do modelo que você criou.

Próximas etapas