Serverloze API-eindpunten uit een andere werkruimte gebruiken

In dit artikel leert u hoe u een bestaand serverloos API-eindpunt configureert in een andere werkruimte dan het eindpunt waarop het is geïmplementeerd.

Bepaalde modellen in de modelcatalogus kunnen worden geïmplementeerd als serverloze API's. Dit soort implementatie biedt een manier om modellen als API te gebruiken zonder deze te hosten in uw abonnement, terwijl de bedrijfsbeveiliging en -naleving die organisaties nodig hebben, behouden blijven. Voor deze implementatieoptie is geen quotum van uw abonnement vereist.

De noodzaak om een serverloos API-eindpunt in een andere werkruimte te gebruiken dan het eindpunt dat is gebruikt om de implementatie te maken, kan zich voordoen in situaties zoals deze:

• U wilt uw implementaties in een bepaalde werkruimte centraliseren en deze gebruiken vanuit verschillende werkruimten in uw organisatie.
• U moet een model implementeren in een werkruimte in een bepaalde Azure-regio waar serverloze implementatie voor dat model beschikbaar is. U moet deze echter gebruiken vanuit een andere regio, waarbij serverloze implementatie niet beschikbaar is voor de specifieke modellen.

Vereisten

• Een Azure-abonnement met een geldige betalingswijze. Gratis of proefversie van Azure-abonnementen werkt niet. Als u geen Azure-abonnement hebt, maakt u eerst een betaald Azure-account .

• Een Azure Machine Learning-werkruimte waarin u de bestaande implementatie wilt gebruiken.

• Een model dat is geïmplementeerd op een serverloos API-eindpunt. In dit artikel wordt ervan uitgegaan dat u eerder het Meta-Llama-3-8B-Instruct-model hebt geïmplementeerd . Zie Modellen implementeren als serverloze API's voor meer informatie over het implementeren van dit model als een serverloze API.

• U moet de volgende software installeren om te kunnen werken met Azure Machine Learning:

  Studio

  U kunt elke compatibele webbrowser gebruiken om door Azure Machine Learning-studio te navigeren.

  Azure-CLI

  De Azure CLI en de ml-extensie voor Azure Machine Learning.

  az extension add -n ml
  

  Als u de extensie al hebt geïnstalleerd, controleert u of de nieuwste versie is geïnstalleerd.

  az extension update -n ml
  

  Zodra de extensie is geïnstalleerd, configureert u deze:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  Installeer de Azure Machine Learning SDK voor Python.

  pip install -U azure-ai-ml
  

  Nadat de installatie is uitgevoerd, importeert u de benodigde naamruimten:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Een serverloze API-eindpuntverbinding maken

Volg deze stappen om een verbinding te maken:

1. Maak verbinding met de werkruimte waar het eindpunt is geïmplementeerd:

   Studio

   Ga naar Azure Machine Learning-studio en navigeer naar de werkruimte waar het eindpunt waarmee u verbinding wilt maken, is geïmplementeerd.

   Azure-CLI

   Configureer de CLI zodat deze verwijst naar de werkruimte:

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   Python SDK

   Maak een client die is verbonden met uw werkruimte:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. Haal de URL en referenties van het eindpunt op waarmee u verbinding wilt maken. In dit voorbeeld krijgt u de details voor een eindpuntnaam meta-llama3-8b-qwerty.

   Studio

   1. Selecteer Eindpunten in de linkerzijbalk.

   2. Selecteer het tabblad Serverloze eindpunten om de serverloze API-eindpunten weer te geven.

   3. Selecteer het eindpunt waarmee u verbinding wilt maken.

   4. Kopieer op het tabblad Details van het eindpunt de waarden voor de doel-URI en sleutel.

   Azure-CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Maak nu verbinding met de werkruimte waar u de verbinding wilt maken en verbruik het eindpunt.

4. Maak de verbinding in de werkruimte:

   Studio

   1. Ga naar de werkruimte waarin de verbinding moet worden gemaakt.

   2. Ga naar de sectie Beheren in de linkernavigatiebalk en selecteer Verbindingen.

   3. Selecteer Maken.

   4. Selecteer serverloos model.

   5. Plak voor de doel-URI de waarde die u eerder hebt gekopieerd.

   6. Plak voor de sleutel de waarde die u eerder hebt gekopieerd.

   7. Geef de verbinding een naam, in dit geval meta-llama3-8b-connection.

   8. Selecteer Verbinding toevoegen.

   Azure-CLI

   Maak een verbindingsdefinitie:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. Op dit moment is de verbinding beschikbaar voor verbruik.

6. Controleren of de verbinding werkt:

   1. Ga in de linkernavigatiebalk van Azure Machine Learning-studio naar de stroom Ontwerpprompt.>

   2. Selecteer Maken om een nieuwe stroom te maken.

   3. Selecteer Maken in het vak Chatstroom .

   4. Geef de promptstroom een naam en selecteer Maken.

   5. Selecteer het chatknooppunt in de grafiek om naar de chatsectie te gaan.

   6. Voor Verbinding opent u de vervolgkeuzelijst om de verbinding te selecteren die u zojuist hebt gemaakt, in dit geval meta-llama3-8b-connection.

   7. Selecteer Rekensessie starten in de bovenste navigatiebalk om een promptstroom voor automatische runtime te starten.

   8. Selecteer de chatoptie. U kunt nu berichten verzenden en antwoorden krijgen.

Gerelateerde inhoud

• Modelcatalogus en verzamelingen
• Modellen implementeren als serverloze API-eindpunten