Använda serverlösa API-slutpunkter från ett annat Azure AI Foundry-projekt eller en annan hubb

I den här artikeln får du lära dig hur du konfigurerar en befintlig serverlös API-slutpunkt i ett annat projekt eller en annan hubb än den som användes för att skapa distributionen.

Viktigt!

Modeller som är i förhandsversion markeras som förhandsversioner på sina modellkort i modellkatalogen.

Vissa modeller i modellkatalogen kan distribueras som serverlösa API:er. Den här typen av distribution ger ett sätt att använda modeller som ett API utan att vara värd för dem i din prenumeration, samtidigt som den företagssäkerhet och efterlevnad som organisationer behöver bevaras. Det här distributionsalternativet kräver inte kvot från din prenumeration.

Behovet av att använda en serverlös API-slutpunkt i ett annat projekt eller en annan hubb än den som användes för att skapa distributionen kan uppstå i situationer som dessa:

• Du vill centralisera dina distributioner i ett visst projekt eller hubb och använda dem från olika projekt eller hubbar i din organisation.
• Du måste distribuera en modell i en hubb i en viss Azure-region där serverlös distribution för den modellen är tillgänglig. Du måste dock använda den från en annan region, där serverlös distribution inte är tillgänglig för de specifika modellerna.

Förutsättningar

• En Azure-prenumeration med en giltig betalningsmetod. Kostnadsfria azure-prenumerationer eller utvärderingsprenumerationer fungerar inte. Om du inte har en Azure-prenumeration skapar du ett betalt Azure-konto för att börja.

• En Azure AI Foundry-hubb.

• Ett Azure AI Foundry-projekt.

• En modell som distribueras till en serverlös API-slutpunkt. Den här artikeln förutsätter att du tidigare har distribuerat modellen Meta-Llama-3-8B-Instruct . Information om hur du distribuerar den här modellen som ett serverlöst API finns i Distribuera modeller som serverlösa API:er.

• Du måste installera följande programvara för att arbeta med Azure AI Foundry:

  Azure AI Foundry-portalen

  Du kan använda valfri kompatibel webbläsare för att navigera i Azure AI Foundry.

  Azure CLI

  Azure CLI och ml-tillägget för Azure Machine Learning.

  az extension add -n ml
  

  Om du redan har tillägget installerat kontrollerar du att den senaste versionen är installerad.

  az extension update -n ml
  

  När tillägget har installerats konfigurerar du det:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  Python SDK

  Installera Azure Machine Learning SDK för Python.

  pip install -U azure-ai-ml
  

  När du har installerat det importerar du nödvändiga namnområden:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Skapa en serverlös API-slutpunktsanslutning

Följ de här stegen för att skapa en anslutning:

1. Anslut till projektet eller hubben där slutpunkten distribueras:

   Azure AI Foundry-portalen

   Gå till Azure AI Foundry och gå till projektet där slutpunkten du vill ansluta till distribueras.

   Azure CLI

   Konfigurera CLI så att det pekar på projektet:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Python SDK

   Skapa en klient som är ansluten till projektet:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

2. Hämta slutpunktens URL och autentiseringsuppgifter för den slutpunkt som du vill ansluta till. I det här exemplet får du information om ett slutpunktsnamn meta-llama3-8b-qwerty.

   Azure AI Foundry-portalen

   1. I det vänstra sidofältet i projektet i Azure AI Foundry-portalen går du till Mina tillgångar>Modeller + slutpunkter för att se listan över distributioner i projektet.

   2. Välj den distribution som du vill ansluta till.

   3. Kopiera värdena för mål-URI och nyckel.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Anslut nu till projektet eller hubben där du vill skapa anslutningen:

   Azure AI Foundry-portalen

   Gå till projektet där anslutningen måste skapas.

   Azure CLI

   Konfigurera CLI så att det pekar på projektet:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Python SDK

   Skapa en klient som är ansluten till projektet:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

4. Skapa anslutningen i projektet:

   Azure AI Foundry-portalen

   1. Från projektet i Azure AI Foundry-portalen går du till den nedre delen av det vänstra sidofältet och väljer Hanteringscenter.

   2. Välj Anslutna resurser i det vänstra sidofältet i hanteringscentret.

   3. Välj Ny anslutning.

   4. Välj Serverlös modell.

   5. För mål-URI:n klistrar du in det värde som du kopierade tidigare.

   6. För nyckeln klistrar du in det värde som du kopierade tidigare.

   7. Ge anslutningen ett namn, i det här fallet meta-llama3-8b-connection.

   8. Välj Lägg till anslutning.

   Azure CLI

   Skapa en anslutningsdefinition:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. Nu är anslutningen tillgänglig för förbrukning.

6. Så här verifierar du att anslutningen fungerar:

   1. Gå tillbaka till projektet i Azure AI Foundry-portalen.

   2. Från det vänstra sidofältet i projektet går du till Skapa och anpassa>promptflödet.

   3. Välj Skapa för att skapa ett nytt flöde.

   4. Välj Skapa i rutan Chattflöde .

   5. Ge promptflödet ett namn och välj Skapa.

   6. Välj chattnoden i diagrammet för att gå till chattavsnittet.

   7. För Anslutning öppnar du listrutan för att välja den anslutning som du nyss skapade, i det här fallet meta-llama3-8b-connection.

   8. Välj Starta beräkningssessionen i det övre navigeringsfältet för att starta en automatisk körning av ett promptflöde.

   9. Välj alternativet Chatt. Nu kan du skicka meddelanden och få svar.

Relaterat innehåll

• Vad är Azure AI Foundry?
• Artikeln Vanliga frågor och svar om Azure AI