Consumir pontos de extremidade de API sem servidor de um projeto ou hub diferente do Azure AI Foundry

Neste artigo, você aprenderá a configurar um ponto de extremidade de API sem servidor existente em um projeto ou hub diferente daquele que foi usado para criar a implantação.

Importante

Os modelos que estão em pré-visualização são marcados como pré-visualização nos respetivos cartões de modelo no catálogo de modelos.

Certos modelos no catálogo de modelos podem ser implantados como APIs sem servidor. Esse tipo de implantação fornece uma maneira de consumir modelos como uma API sem hospedá-los em sua assinatura, mantendo a segurança e a conformidade corporativas de que as organizações precisam. Essa opção de implantação não exige cota da sua assinatura.

A necessidade de consumir um ponto de extremidade de API sem servidor em um projeto ou hub diferente daquele que foi usado para criar a implantação pode surgir em situações como estas:

• Você deseja centralizar suas implantações em um determinado projeto ou hub e consumi-las de diferentes projetos ou hubs em sua organização.
• Você precisa implantar um modelo em um hub em uma região específica do Azure onde a implantação sem servidor para esse modelo está disponível. No entanto, você precisa consumi-lo de outra região, onde a implantação sem servidor não está disponível para os modelos específicos.

Pré-requisitos

• Uma subscrição do Azure com um método de pagamento válido. As subscrições gratuitas ou de avaliação do Azure não funcionarão. Se você não tiver uma assinatura do Azure, crie uma conta paga do Azure para começar.

• Um hub do Azure AI Foundry.

• Um projeto do Azure AI Foundry.

• Um modelo implantado em um ponto de extremidade de API sem servidor. Este artigo pressupõe que você implantou anteriormente o modelo Meta-Llama-3-8B-Instruct . Para saber como implantar esse modelo como uma API sem servidor, consulte Implantar modelos como APIs sem servidor.

• Você precisa instalar o seguinte software para trabalhar com o Azure AI Foundry:

  Portal AI Foundry

  Você pode usar qualquer navegador da Web compatível para navegar no Azure AI Foundry.

  CLI do Azure

  A CLI do Azure e a extensão ml para o Azure Machine Learning.

  az extension add -n ml
  

  Se já tiver a extensão instalada, certifique-se de que a versão mais recente está instalada.

  az extension update -n ml
  

  Uma vez instalada a extensão, configure-a:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  Python SDK

  Instale o SDK do Azure Machine Learning para Python.

  pip install -U azure-ai-ml
  

  Uma vez instalado, importe os namespaces necessários:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Criar uma conexão de ponto de extremidade de API sem servidor

Siga estas etapas para criar uma conexão:

1. Conecte-se ao projeto ou hub onde o ponto de extremidade está implantado:

   Portal AI Foundry

   Vá para Azure AI Foundry e navegue até o projeto onde o ponto de extremidade ao qual você deseja se conectar está implantado.

   CLI do Azure

   Configure a CLI para apontar para o projeto:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Python SDK

   Crie um cliente conectado ao seu projeto:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

2. Obtenha a URL e as credenciais do ponto de extremidade para o ponto de extremidade ao qual você deseja se conectar. Neste exemplo, você obtém os detalhes de um nome de ponto final meta-llama3-8b-qwerty.

   Portal AI Foundry

   1. Na barra lateral esquerda do seu projeto no portal do AI Foundry, vá para Meus modelos de ativos>+ pontos de extremidade para ver a lista de implantações no projeto.

   2. Selecione a implantação à qual você deseja se conectar.

   3. Copie os valores para URI de destino e chave.

   CLI do Azure

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Agora, conecte-se ao projeto ou hub onde você deseja criar a conexão:

   Portal AI Foundry

   Vá para o projeto onde a conexão precisa ser criada.

   CLI do Azure

   Configure a CLI para apontar para o projeto:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Python SDK

   Crie um cliente conectado ao seu projeto:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

4. Crie a conexão no projeto:

   Portal AI Foundry

   1. No seu projeto no portal do AI Foundry, vá para a parte inferior da barra lateral esquerda e selecione Centro de gerenciamento.

   2. Na barra lateral esquerda do centro de gerenciamento, selecione Recursos conectados.

   3. Selecione Nova ligação.

   4. Selecione Modelo sem servidor.

   5. Para o URI de destino, cole o valor copiado anteriormente.

   6. Para a chave, cole o valor copiado anteriormente.

   7. Dê um nome à conexão, neste caso meta-llama3-8b-connection.

   8. Selecione Adicionar ligação.

   CLI do Azure

   Crie uma definição de conexão:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. Neste ponto, a conexão está disponível para consumo.

6. Para validar se a conexão está funcionando:

   1. Volte ao seu projeto no portal AI Foundry.

   2. Na barra lateral esquerda do seu projeto, vá para Criar e personalizar>o fluxo de prompt.

   3. Selecione Criar para criar um novo fluxo.

   4. Selecione Criar na caixa Fluxo de chat.

   5. Dê um nome ao fluxo de prompt e selecione Criar.

   6. Selecione o nó de bate-papo no gráfico para ir para a seção de bate-papo.

   7. Para Conexão, abra a lista suspensa para selecionar a conexão que você acabou de criar, neste caso meta-llama3-8b-connection.

   8. Selecione Iniciar sessão de computação na barra de navegação superior para iniciar um tempo de execução automático de fluxo de prompt.

   9. Selecione a opção Chat . Agora você pode enviar mensagens e obter respostas.

Conteúdos relacionados

• O que é o Azure AI Foundry?
• Artigo de perguntas frequentes do Azure AI