Partilhar via

Adicionar e configurar modelos à inferência de modelo de IA do Azure

  • Artigo

Importante

Os itens marcados (visualização) neste artigo estão atualmente em visualização pública. Essa visualização é fornecida sem um contrato de nível de serviço e não a recomendamos para cargas de trabalho de produção. Algumas funcionalidades poderão não ser suportadas ou poderão ter capacidades limitadas. Para obter mais informações, veja Termos Suplementares de Utilização para Pré-visualizações do Microsoft Azure.

Você pode decidir e configurar quais modelos estão disponíveis para inferência no ponto de extremidade de inferência. Quando um determinado modelo é configurado, você pode gerar previsões a partir dele, indicando o nome do modelo ou o nome da implantação em suas solicitações. Não são necessárias mais alterações no seu código para usá-lo.

Neste artigo, você aprenderá como adicionar um novo modelo à inferência de modelo de IA do Azure no Azure AI Foundry.

Pré-requisitos

Para concluir este artigo, precisa de:

  • Uma subscrição do Azure. Se você estiver usando Modelos do GitHub, poderá atualizar sua experiência e criar uma assinatura do Azure no processo. Leia Atualização de modelos do GitHub para inferência de modelo de IA do Azure, se esse for o seu caso.

  • Um recurso de serviços de IA do Azure.

Adicionar um modelo

Você pode adicionar modelos ao ponto de extremidade de inferência de modelo de IA do Azure usando as seguintes etapas:

  1. Vá para a seção Catálogo de modelos no portal do Azure AI Foundry.

  2. Desloque-se para o modelo em que está interessado e selecione-o.

    Uma animação mostrando como pesquisar modelos no catálogo de modelos e selecionar um para visualizar seus detalhes.

  3. Você pode rever os detalhes do modelo no cartão modelo.

  4. Selecione Implementar.

  5. Para fornecedores de modelos que exijam mais termos de contrato, ser-lhe-á pedido que aceite esses termos. É o caso dos modelos Mistral, por exemplo. Aceite os termos nesses casos selecionando Assinar e implantar.

    Captura de tela mostrando como concordar com os termos e condições de um modelo Mistral-Large.

  6. Você pode definir as configurações de implantação neste momento. Por padrão, a implantação recebe o nome do modelo que você está implantando. O nome da model implantação é usado no parâmetro para a solicitação de roteamento para essa implantação de modelo específico. Isso permite que você também configure nomes específicos para seus modelos ao anexar configurações específicas. Por exemplo, o1-preview-safe para um modelo com um filtro de conteúdo de segurança de conteúdo rigoroso.

    Gorjeta

    Cada modelo pode suportar diferentes tipos de implantações, fornecendo diferentes garantias de residência ou taxa de transferência de dados. Consulte os tipos de implantação para obter mais detalhes.

  7. Selecionamos automaticamente uma conexão dos Serviços de IA do Azure, dependendo do seu projeto. Use a opção Personalizar para alterar a conexão com base em suas necessidades. Se você estiver implantando no tipo de implantação Padrão , os modelos precisarão estar disponíveis na região do recurso Serviços de IA do Azure.

    Captura de tela mostrando como personalizar a implantação, se necessário.

    Gorjeta

    Se o recurso desejado não estiver listado, talvez seja necessário criar uma conexão com ele. Consulte Configurar o serviço de inferência de modelo de IA do Azure no meu projeto no portal do Azure AI Foundry.

  8. Selecione Implementar.

  9. Quando a implantação for concluída, o novo modelo será listado na página e estará pronto para ser usado.

Gerir modelos

Você pode gerenciar as implantações de modelo existentes no recurso usando o portal do Azure AI Foundry.

  1. Vá para a seção Modelos + Pontos de Extremidade no portal do Azure AI Foundry.

  2. Role até a conexão com seu recurso dos Serviços de IA do Azure. As implantações de modelo são agrupadas e exibidas por conexão.

    Captura de ecrã a mostrar a lista de modelos disponíveis numa determinada ligação.

  3. Você verá uma lista de modelos disponíveis em cada conexão. Selecione a implantação do modelo em que você está interessado.

  4. Edite ou exclua a implantação conforme necessário.

Testar a implantação no playground

Você pode interagir com o novo modelo no portal do Azure AI Foundry usando o playground:

Nota

O Playground só está disponível ao trabalhar com projetos de IA no Azure AI Foundry. Crie um projeto de IA para obter acesso total a todos os recursos do Azure AI Foundry.

  1. Vá para a seção Playgrounds no portal do Azure AI Foundry.

  2. Dependendo do tipo de modelo implantado, selecione o playground necessário. Neste caso, selecionamos Chat playground.

  3. Na lista suspensa Implantação, em Instalação, selecione o nome da implantação do modelo que você criou.

    Captura de tela mostrando como selecionar uma implantação de modelo para usar no playground.

  4. Digite seu prompt e veja as saídas.

  5. Além disso, você pode usar o código View para ver detalhes sobre como acessar a implantação do modelo programaticamente.

Importante

Os itens marcados (visualização) neste artigo estão atualmente em visualização pública. Essa visualização é fornecida sem um contrato de nível de serviço e não a recomendamos para cargas de trabalho de produção. Algumas funcionalidades poderão não ser suportadas ou poderão ter capacidades limitadas. Para obter mais informações, veja Termos Suplementares de Utilização para Pré-visualizações do Microsoft Azure.

Você pode decidir e configurar quais modelos estão disponíveis para inferência no ponto de extremidade de inferência. Quando um determinado modelo é configurado, você pode gerar previsões a partir dele, indicando o nome do modelo ou o nome da implantação em suas solicitações. Não são necessárias mais alterações no seu código para usá-lo.

Neste artigo, você aprenderá como adicionar um novo modelo à inferência de modelo de IA do Azure no Azure AI Foundry.

Pré-requisitos

Para concluir este artigo, precisa de:

  • Uma subscrição do Azure. Se você estiver usando Modelos do GitHub, poderá atualizar sua experiência e criar uma assinatura do Azure no processo. Leia Atualização de modelos do GitHub para inferência de modelo de IA do Azure, se esse for o seu caso.

  • Um recurso de serviços de IA do Azure.

  • Instale a CLI do Azure e a extensão para os cognitiveservices Serviços de IA do Azure:

    az extension add -n cognitiveservices

  • Alguns dos comandos neste tutorial usam a jq ferramenta, que pode não estar instalada no seu sistema. Para obter instruções de instalação, consulte Download jq.

  • Identifique as seguintes informações:

    • O seu ID de subscrição do Azure.

    • Seu nome de recurso dos Serviços de IA do Azure.

    • O grupo de recursos onde o recurso dos Serviços de IA do Azure é implantado.

Adicionar modelos

Para adicionar um modelo, primeiro você precisa identificar o modelo que deseja implantar. Você pode consultar os modelos disponíveis da seguinte maneira:

  1. Inicie sessão na sua subscrição do Azure:

    az login

  2. Se tiver mais de 1 subscrição, selecione a subscrição onde o recurso está localizado:

    az account set --subscription $subscriptionId>

  3. Defina as seguintes variáveis de ambiente com o nome do recurso dos Serviços de IA do Azure que você planeja usar e o grupo de recursos.

    accountName="<ai-services-resource-name>"
resourceGroupName="<resource-group>"

  4. Se você ainda não tiver uma conta dos Serviços de IA do Azure criada, poderá criar uma da seguinte maneira:

    az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-domain $accountName

  5. Vamos ver primeiro quais modelos estão disponíveis para você e sob qual SKU. O comando a seguir lista todas as definições de modelo disponíveis:

    az cognitiveservices account list-models \
    -n $accountName \
    -g $resourceGroupName \
| jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'

  6. As saídas têm a seguinte aparência:

    {
  "name": "Phi-3.5-vision-instruct",
  "format": "Microsoft",
  "version": "2",
  "sku": "GlobalStandard",
  "capacity": 1
}

  7. Identifique o modelo que você deseja implantar. Você precisa das propriedades name, format, version, e sku. A capacidade também pode ser necessária, dependendo do tipo de implantação.

    Gorjeta

    Observe que nem todos os modelos estão disponíveis em todas as SKUs.

  8. Adicione a implantação do modelo ao recurso. O exemplo a seguir adiciona Phi-3.5-vision-instruct:

    az cognitiveservices account deployment create \
    -n $accountName \
    -g $resourceGroupName \
    --deployment-name Phi-3.5-vision-instruct \
    --model-name Phi-3.5-vision-instruct \
    --model-version 2 \
    --model-format Microsoft \
    --sku-capacity 1 \
    --sku-name GlobalStandard

  9. O modelo está pronto para ser consumido.

Você pode implantar o mesmo modelo várias vezes, se necessário, desde que esteja sob um nome de implantação diferente. Esse recurso pode ser útil caso você queira testar configurações diferentes para um determinado modelo, incluindo segurança de conteúdo.

Gerenciar implantações

Você pode ver todas as implantações disponíveis usando a CLI:

  1. Execute o seguinte comando para ver todas as implantações ativas:

    az cognitiveservices account deployment list -n $accountName -g $resourceGroupName

  2. Você pode ver os detalhes de uma determinada implantação:

    az cognitiveservices account deployment show \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

  3. Você pode excluir uma determinada implantação da seguinte maneira:

        az cognitiveservices account deployment delete \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

Use o modelo

Os modelos implantados na inferência de modelo de IA do Azure podem ser consumidos usando o ponto de extremidade de inferência do modelo de IA do Azure para o recurso. Ao construir sua solicitação, indique o parâmetro model e insira o nome de implantação do modelo que você criou. Você pode obter programaticamente o URI para o ponto de extremidade de inferência usando o seguinte código:

Ponto final de inferência

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Para fazer solicitações ao ponto de extremidade de inferência do modelo de IA do Azure, acrescente a rota models, por exemplo https://<resource>.services.ai.azure.com/models. Você pode ver a referência de API para o ponto de extremidade na página de referência da API de inferência de modelo de IA do Azure.

Chaves de inferência

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Importante

Os itens marcados (visualização) neste artigo estão atualmente em visualização pública. Essa visualização é fornecida sem um contrato de nível de serviço e não a recomendamos para cargas de trabalho de produção. Algumas funcionalidades poderão não ser suportadas ou poderão ter capacidades limitadas. Para obter mais informações, veja Termos Suplementares de Utilização para Pré-visualizações do Microsoft Azure.

Você pode decidir e configurar quais modelos estão disponíveis para inferência no ponto de extremidade de inferência. Quando um determinado modelo é configurado, você pode gerar previsões a partir dele, indicando o nome do modelo ou o nome da implantação em suas solicitações. Não são necessárias mais alterações no seu código para usá-lo.

Neste artigo, você aprenderá como adicionar um novo modelo à inferência de modelo de IA do Azure no Azure AI Foundry.

Pré-requisitos

Para concluir este artigo, precisa de:

  • Uma subscrição do Azure. Se você estiver usando Modelos do GitHub, poderá atualizar sua experiência e criar uma assinatura do Azure no processo. Leia Atualização de modelos do GitHub para inferência de modelo de IA do Azure, se esse for o seu caso.

  • Um recurso de serviços de IA do Azure.

  • Instale a CLI do Azure.

  • Identifique as seguintes informações:

    • O seu ID de subscrição do Azure.

    • Seu nome de recurso dos Serviços de IA do Azure.

    • O grupo de recursos onde o recurso dos Serviços de IA do Azure é implantado.

    • O nome do modelo, provedor, versão e SKU que você gostaria de implantar. Você pode usar o portal do Azure AI Foundry ou a CLI do Azure para identificá-lo. Neste exemplo, implantamos o seguinte modelo:

      • Nome do modelo:: Phi-3.5-vision-instruct
      • Fornecedor: Microsoft
      • Versão: 2
      • Tipo de implantação: Padrão global

Acerca deste tutorial

O exemplo neste artigo é baseado em exemplos de código contidos no repositório Azure-Samples/azureai-model-inference-bicep . Para executar os comandos localmente sem ter que copiar ou colar o conteúdo do arquivo, use os seguintes comandos para clonar o repositório e vá para a pasta do seu idioma de codificação:

git clone https://github.com/Azure-Samples/azureai-model-inference-bicep

Os arquivos para este exemplo estão em:

cd azureai-model-inference-bicep/infra

Adicionar o modelo

  1. Use o modelo ai-services-deployment-template.bicep para descrever implantações de modelo:

    ai-services-deployment-template.bicep

    @description('Name of the Azure AI services account')
param accountName string

@description('Name of the model to deploy')
param modelName string

@description('Version of the model to deploy')
param modelVersion string

@allowed([
  'AI21 Labs'
  'Cohere'
  'Core42'
  'DeepSeek'
  'Meta'
  'Microsoft'
  'Mistral AI'
  'OpenAI'
])
@description('Model provider')
param modelPublisherFormat string

@allowed([
    'GlobalStandard'
    'Standard'
    'GlobalProvisioned'
    'Provisioned'
])
@description('Model deployment SKU name')
param skuName string = 'GlobalStandard'

@description('Content filter policy name')
param contentFilterPolicyName string = 'Microsoft.DefaultV2'

@description('Model deployment capacity')
param capacity int = 1

resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
  name: '${accountName}/${modelName}'
  sku: {
    name: skuName
    capacity: capacity
  }
  properties: {
    model: {
      format: modelPublisherFormat
      name: modelName
      version: modelVersion
    }
    raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
  }
}

  2. Execute a implantação:

    RESOURCE_GROUP="<resource-group-name>"
ACCOUNT_NAME="<azure-ai-model-inference-name>" 
MODEL_NAME="Phi-3.5-vision-instruct"
PROVIDER="Microsoft"
VERSION=2

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file ai-services-deployment-template.bicep \
    --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER

Use o modelo

Os modelos implantados na inferência de modelo de IA do Azure podem ser consumidos usando o ponto de extremidade de inferência do modelo de IA do Azure para o recurso. Ao construir sua solicitação, indique o parâmetro model e insira o nome de implantação do modelo que você criou.

Próximos passos