Verwenden von serverlosen API-Endpunkten aus einem anderen Arbeitsbereich

In diesem Artikel erfahren Sie, wie Sie einen vorhandenen serverlosen API-Endpunkt in einem anderen Arbeitsbereich konfigurieren als dem, in dem er bereitgestellt wurde.

Bestimmte Modelle im Modellkatalog können als serverlose APIs bereitgestellt werden. Diese Art von Bereitstellung bietet eine Möglichkeit, Modelle als API zu nutzen, ohne sie in Ihrem Abonnement zu hosten, während die Unternehmenssicherheit und Compliance beibehalten werden, die Organisationen benötigen. Für diese Bereitstellungsoption ist kein Kontingent aus Ihrem Abonnement erforderlich.

In den folgenden Situationen könnte es notwendig sein, einen serverlosen API-Endpunkt in einem anderen Arbeitsbereich zu verwenden als dem, der zum Erstellen der Bereitstellung verwendet wurde:

• Sie möchten Ihre Bereitstellungen in einem bestimmten Arbeitsbereich zentralisieren und in verschiedenen Arbeitsbereichen in Ihrer Organisation nutzen.
• Sie müssen ein Modell in einem Arbeitsbereich in einer bestimmten Azure-Region bereitstellen, in der eine serverlose Bereitstellung für dieses Modell verfügbar ist. Sie müssen es jedoch in einer anderen Region nutzen, in der die serverlose Bereitstellung für die jeweiligen Modelle nicht verfügbar ist.

Voraussetzungen

• Ein Azure-Abonnement mit einer gültigen Zahlungsmethode. Kostenlose Versionen oder Testversionen von Azure-Abonnements funktionieren nicht. Wenn Sie noch kein Azure-Abonnement haben, erstellen Sie zunächst ein kostenpflichtiges Azure-Konto.

• Ein Azure Machine Learning-Arbeitsbereich, in dem Sie die vorhandene Bereitstellung nutzen möchten

• Ein Modell, das auf einem serverlosen API-Endpunkt bereitgestellt wurde In diesem Artikel wird davon ausgegangen, dass Sie bereits das Modell Meta-Llama-3-8B-Instruct bereitgestellt haben. Weitere Informationen zum Bereitstellen dieses Modells als serverlose API finden Sie unter Bereitstellen von Modellen als serverlose APIs.

• Für die Arbeit mit Azure Machine Learning müssen Sie die folgende Software installieren:

  Studio

  Sie können einen beliebigen kompatiblen Webbrowser verwenden, um in Azure Machine Learning Studio zu navigieren.

  Azure-Befehlszeilenschnittstelle

  Die Azure-Befehlszeilenschnittstelle und die ml-Erweiterung für Azure Machine Learning.

  az extension add -n ml
  

  Wenn Sie die Erweiterung bereits installiert haben, stellen Sie sicher, dass die neueste Version installiert ist.

  az extension update -n ml
  

  Nachdem die Erweiterung installiert wurde, konfigurieren Sie sie:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  Installieren Sie das Azure Machine Learning SDK für Python.

  pip install -U azure-ai-ml
  

  Importieren Sie nach der Installation die erforderlichen Namespaces:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Erstellen einer Verbindung mit dem serverlosen API-Endpunkt

Führen Sie folgende Schritte aus, um eine Verbindung zu erstellen:

1. Stellen Sie eine Verbindung mit dem Arbeitsbereich her, in dem der Endpunkt bereitgestellt wurde:

   Studio

   Wechseln Sie zu Azure Machine Learning Studio, und navigieren Sie zu dem Arbeitsbereich, in dem der Endpunkt bereitgestellt wurde, mit dem Sie eine Verbindung herstellen möchten.

   Azure-Befehlszeilenschnittstelle

   Konfigurieren Sie die Befehlszeilenschnittstelle so, dass sie auf den Arbeitsbereich zeigt:

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   Python SDK

   Erstellen Sie einen Client, der mit Ihrem Arbeitsbereich verbunden ist:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. Rufen Sie die URL und die Anmeldeinformationen des Endpunkts ab, mit dem Sie eine Verbindung herstellen möchten. In diesem Beispiel rufen Sie die Details für einen Endpunkt mit dem Namen meta-llama3-8b-qwerty ab.

   Studio

   1. Wählen Sie auf der linken Randleiste Endpunkte aus.

   2. Wählen Sie die Registerkarte Serverlose Endpunkte aus, um die serverlosen API-Endpunkte anzuzeigen.

   3. Wählen Sie den Endpunkt aus, mit dem Sie eine Verbindung herstellen möchten.

   4. Kopieren Sie auf der Registerkarte Details des Endpunkts die Werte für Ziel-URI und Schlüssel.

   Azure-Befehlszeilenschnittstelle

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Stellen Sie nun eine Verbindung mit dem Arbeitsbereich her, in dem Sie die Verbindung erstellen und den Endpunkt nutzen möchten.

4. Erstellen Sie die Verbindung im Arbeitsbereich:

   Studio

   1. Wechseln Sie zum Arbeitsbereich, in dem die Verbindung erstellt werden muss.

   2. Wechseln Sie auf der linken Navigationsleiste zum Abschnitt Verwalten, und wählen Sie Verbindungen aus.

   3. Klicken Sie auf Erstellen.

   4. Wählen Sie Serverloses Modell aus.

   5. Fügen Sie in Ziel-URI den Wert ein, den Sie zuvor kopiert haben.

   6. Fügen Sie in Schlüssel den Wert ein, den Sie zuvor kopiert haben.

   7. Benennen Sie die Verbindung – in diesem Fall mit meta-llama3-8b-connection.

   8. Wählen Sie Verbindung hinzufügen aus.

   Azure-Befehlszeilenschnittstelle

   Erstellen Sie eine Verbindungsdefinition:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. Zu diesem Zeitpunkt steht die Verbindung für die Nutzung zur Verfügung.

6. So überprüfen Sie, ob die Verbindung funktioniert

   1. Wechseln Sie auf der linken Navigationsleiste von Azure Machine Learning Studio zu Erstellung>Prompt Flow.

   2. Wählen Sie Erstellen aus, um einen neuen Flow zu erstellen.

   3. Wählen Sie im Feld Chatflow die Option Erstellen aus.

   4. Geben Sie Ihrem Prompt Flow einen Namen, und wählen Sie Erstellen aus.

   5. Wählen Sie im Graphen den Knoten Chat aus, um zum Abschnitt Chat zu wechseln.

   6. Öffnen Sie unter Verbindung die Dropdownliste, um die soeben erstellte Verbindung auszuwählen, in diesem Fall meta-llama3-8b-connection.

   7. Wählen Sie auf der oberen Navigationsleiste Computesitzung starten aus, um eine automatische Runtime für den Prompt Flow zu starten.

   8. Wählen Sie die Option Chat aus. Sie können jetzt Nachrichten senden und Antworten empfangen.

Zugehöriger Inhalt

• Modellkatalog und Sammlungen
• Bereitstellen von Modellen als serverlose API-Endpunkte