Usare endpoint API serverless da un progetto o un hub di Azure AI Foundry diverso

Questo articolo illustra come configurare un endpoint API serverless esistente in un progetto o un hub diverso da quello usato per creare la distribuzione.

Importante

I modelli in anteprima vengono contrassegnati come anteprima nelle schede del modello nel catalogo dei modelli.

Alcuni modelli nel catalogo dei modelli possono essere distribuiti come API serverless. Questo tipo di distribuzione consente di utilizzare modelli come API senza ospitarli nella sottoscrizione, mantenendo al tempo stesso la sicurezza e la conformità aziendali necessarie alle organizzazioni. Questa opzione di distribuzione non richiede la quota dalla sottoscrizione.

La necessità di usare l'endpoint di un'API serverless in un progetto o hub diverso da quello usato per creare la distribuzione può verificarsi in situazioni come queste:

• Si vuole centralizzare le distribuzioni in un determinato progetto o hub e usarle da progetti o hub diversi nell'organizzazione.
• È necessario distribuire un modello in un hub in una determinata area di Azure in cui è disponibile la distribuzione serverless per tale modello. Tuttavia, è necessario usarlo da un'altra area, in cui la distribuzione serverless non è disponibile per i modelli specifici.

Prerequisiti

• Una sottoscrizione di Azure con un metodo di pagamento valido. Le sottoscrizioni di Azure gratuite o di valutazione non funzioneranno. Se non si dispone di una sottoscrizione di Azure, è possibile creare un account Azure gratuito per iniziare.

• Un hub di Azure AI Foundry.

• Progetto Azure AI Foundry.

• Un modello distribuito nell'endpoint di un'API serverless. Questo articolo presuppone che il modello Meta-Llama-3-8B-Instruct sia stato distribuito in precedenza. Per informazioni su come distribuire questo modello come API serverless, vedere Distribuire modelli come API serverless.

• Per usare Azure AI Foundry, è necessario installare il software seguente:

  AI Foundry

  È possibile usare qualsiasi Web browser compatibile per esplorare Azure AI Foundry.

  Interfaccia della riga di comando di Azure

  L'interfaccia della riga di comando di Azure e l'estensione ml per Azure Machine Learning.

  az extension add -n ml
  

  Se l'estensione è già installata, assicurarsi di disporre della versione più recente.

  az extension update -n ml
  

  Dopo aver installato l'estensione, configurarla:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  Python SDK

  Installare l'SDK di Azure Machine Learning per Python.

  pip install -U azure-ai-ml
  

  Dopo l'installazione, importare gli spazi dei nomi necessari:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Creare una connessione all'endpoint dell'API serverless

Per creare una connessione, seguire questa procedura:

1. Connettersi al progetto o all'hub in cui viene distribuito l'endpoint:

   AI Foundry

   Passare ad Azure AI Foundry e passare al progetto in cui viene distribuito l'endpoint a cui connettersi.

   Interfaccia della riga di comando di Azure

   Configurare l'interfaccia della riga di comando in modo che punti al progetto:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Python SDK

   Creare un client connesso al progetto:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

2. Ottenere l'URL e le credenziali dell'endpoint a cui si vuole connettersi. In questo esempio, si ottengono i dettagli per un nome di endpoint meta-llama3-8b-qwerty.

   AI Foundry

   1. Dalla barra laterale sinistra del progetto nel portale di AI Foundry passare a Modelli e endpoint personali>per visualizzare l'elenco delle distribuzioni nel progetto.

   2. Selezionare la distribuzione a cui connettersi.

   3. Copiare i valori per URI di destinazione e Chiave.

   Interfaccia della riga di comando di Azure

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Connettersi ora al progetto o all'hub in cui si vuole creare la connessione:

   AI Foundry

   Passare al progetto in cui deve essere creata la connessione.

   Interfaccia della riga di comando di Azure

   Configurare l'interfaccia della riga di comando in modo che punti al progetto:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Python SDK

   Creare un client connesso al progetto:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

4. Creare la connessione nel progetto:

   AI Foundry

   1. Nella barra laterale sinistra del progetto nel portale di AI Foundry selezionare Centro gestione.

   2. Nella barra laterale sinistra del Centro di gestione selezionare Risorse connesse.

   3. Selezionare Nuova connessione.

   4. Selezionare Modello serverless.

   5. Per l'URI di destinazione, incollare il valore copiato in precedenza.

   6. Per il valore Chiave, incollare il valore copiato in precedenza.

   7. Assegnare un nome alla connessione, in questo caso meta-llama3-8b-connection.

   8. Selezionare Aggiungi connessione.

   Interfaccia della riga di comando di Azure

   Creare una definizione di connessione:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. A questo punto, la connessione è disponibile per l'uso.

6. Per verificare che la connessione funzioni:

   1. Tornare al progetto nel portale di AI Foundry.

   2. Dalla barra laterale sinistra del progetto passare a Compila e personalizzare>il flusso prompt.

   3. Selezionare Crea per creare un nuovo flusso.

   4. Selezionare Crea nella casella Flusso della chat.

   5. Assegnare al Prompt flow un nome e selezionare Crea.

   6. Selezionare il nodo chat dal grafo per passare alla sezione Chat.

   7. Per Connessione, aprire l'elenco a discesa per selezionare la connessione appena creata, in questo caso meta-llama3-8b-connection.

   8. Seleziona Avvia sessione di calcolo dalla barra di spostamento superiore per avviare un runtime automatico del prompt flow.

   9. Seleziona l'opzione Chat. È ora possibile inviare messaggi e ottenere risposte.

Contenuto correlato

• Che cos'è Azure AI Foundry?
• Articolo di domande frequenti su Azure per intelligenza artificiale