Verwenden von serverlosen API-Endpunkten aus einem anderen Azure KI Foundry-Projekt oder -Hub

In diesem Artikel erfahren Sie, wie Sie einen vorhandenen serverlosen API-Endpunkt in einem anderen Projekt oder Hub konfigurieren als dem, mit dem die Bereitstellung erstellt wurde.

Wichtig

Modelle, die sich in der Vorschau befinden, werden auf ihren Modellkarten im Modellkatalog als Vorschau gekennzeichnet.

Bestimmte Modelle im Modellkatalog können als serverlose APIs bereitgestellt werden. Diese Art von Bereitstellung bietet eine Möglichkeit, Modelle als API zu nutzen, ohne sie in Ihrem Abonnement zu hosten, während die Unternehmenssicherheit und Compliance beibehalten werden, die Organisationen benötigen. Für diese Bereitstellungsoption ist kein Kontingent aus Ihrem Abonnement erforderlich.

In den folgenden Situationen könnte es notwendig sein, einen serverlosen API-Endpunkt in einem anderen Projekt oder Hub zu verwenden als dem, mit dem die Bereitstellung erstellt wurde:

• Sie möchten Ihre Bereitstellungen in einem bestimmten Projekt oder Hub zentralisieren und in verschiedenen Projekten oder Hubs in Ihrer Organisation verwenden.
• Sie müssen ein Modell in einem Hub in einer bestimmten Azure-Region bereitstellen, in der eine serverlose Bereitstellung für dieses Modell verfügbar ist. Sie müssen es jedoch in einer anderen Region nutzen, in der die serverlose Bereitstellung für die jeweiligen Modelle nicht verfügbar ist.

Voraussetzungen

• Ein Azure-Abonnement mit einer gültigen Zahlungsmethode. Kostenlose Versionen oder Testversionen von Azure-Abonnements funktionieren nicht. Wenn Sie noch kein Azure-Abonnement haben, erstellen Sie zunächst ein kostenpflichtiges Azure-Konto.

• Ein Azure KI Foundry-Hub

• Ein Azure KI Foundry-Projekt

• Ein Modell, das auf einem serverlosen API-Endpunkt bereitgestellt wurde. In diesem Artikel wird davon ausgegangen, dass Sie bereits das Modell Meta-Llama-3-8B-Instruct bereitgestellt haben. Weitere Informationen zum Bereitstellen dieses Modells als serverlose API finden Sie unter Bereitstellen von Modellen als serverlose APIs.

• Für die Arbeit mit Azure KI Foundry müssen Sie die folgende Software installieren:

  KI Foundry-Portal

  Sie können einen beliebigen kompatiblen Webbrowser verwenden, um in Azure KI Foundry zu navigieren.

  Azure-Befehlszeilenschnittstelle

  Die Azure CLI und die ml-Erweiterung für Azure Machine Learning.

  az extension add -n ml
  

  Wenn Sie die Erweiterung bereits installiert haben, stellen Sie sicher, dass die neueste Version installiert ist.

  az extension update -n ml
  

  Nachdem die Erweiterung installiert wurde, konfigurieren Sie sie:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  Python SDK

  Installieren Sie das Azure Machine Learning SDK für Python.

  pip install -U azure-ai-ml
  

  Importieren Sie nach der Installation die erforderlichen Namespaces:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Erstellen einer Verbindung mit dem serverlosen API-Endpunkt

Führen Sie folgende Schritte aus, um eine Verbindung zu erstellen:

1. Stellen Sie eine Verbindung mit dem Projekt oder Hub her, in dem der Endpunkt bereitgestellt wurde:

   KI Foundry-Portal

   Wechseln Sie zu Azure KI Foundry, und navigieren Sie zu dem Projekt, in dem der Endpunkt bereitgestellt wurde, mit dem Sie eine Verbindung herstellen möchten.

   Azure-Befehlszeilenschnittstelle

   Konfigurieren Sie die CLI so, dass sie auf das Projekt verweist:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Python SDK

   Erstellen Sie einen Client, der mit Ihrem Projekt verbunden ist:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

2. Rufen Sie die URL und die Anmeldeinformationen des Endpunkts ab, mit dem Sie eine Verbindung herstellen möchten. In diesem Beispiel rufen Sie die Details für einen Endpunkt mit dem Namen meta-llama3-8b-qwerty ab.

   KI Foundry-Portal

   1. Wechseln Sie auf der linken Seitenleiste Ihres Projekts im KI Foundry-Portal zu Meine Ressourcen>Modelle + Endpunkte, um die Liste der Bereitstellungen im Projekt anzuzeigen.

   2. Wählen Sie die Bereitstellung aus, mit der Sie eine Verbindung herstellen möchten.

   3. Kopieren Sie die Werte für Ziel-URI und Schlüssel.

   Azure-Befehlszeilenschnittstelle

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Stellen Sie nun eine Verbindung mit dem Projekt oder Hub her, in dem Sie die Verbindung erstellen möchten:

   KI Foundry-Portal

   Wechseln Sie zu dem Projekt, mit dem die Verbindung erstellt werden muss.

   Azure-Befehlszeilenschnittstelle

   Konfigurieren Sie die CLI so, dass sie auf das Projekt verweist:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Python SDK

   Erstellen Sie einen Client, der mit Ihrem Projekt verbunden ist:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

4. Erstellen Sie die Verbindung im Projekt:

   KI Foundry-Portal

   1. Wechseln Sie in Ihrem Projekt im KI Foundry-Portal zum unteren Teil der linken Randleiste, und wählen Sie Management Center aus.

   2. Wählen Sie auf der linken Randleiste des Verwaltungscenters Verbundene Ressourcen aus.

   3. Wählen Sie Neue Verbindung aus.

   4. Wählen Sie Serverloses Modell aus.

   5. Fügen Sie in Ziel-URI den Wert ein, den Sie zuvor kopiert haben.

   6. Fügen Sie in Schlüssel den Wert ein, den Sie zuvor kopiert haben.

   7. Benennen Sie die Verbindung – in diesem Fall mit meta-llama3-8b-connection.

   8. Wählen Sie Verbindung hinzufügen aus.

   Azure-Befehlszeilenschnittstelle

   Erstellen Sie eine Verbindungsdefinition:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. Zu diesem Zeitpunkt steht die Verbindung für die Nutzung zur Verfügung.

6. So überprüfen Sie, ob die Verbindung funktioniert

   1. Kehren Sie zu Ihrem Projekt im KI Foundry-Portal zurück.

   2. Wechseln Sie auf der linken Randleiste Ihres Projekts zu Erstellen und Anpassen>Promptflow.

   3. Wählen Sie Erstellen aus, um einen neuen Flow zu erstellen.

   4. Wählen Sie im Feld Chatflow die Option Erstellen aus.

   5. Geben Sie Ihrem Prompt Flow einen Namen, und wählen Sie Erstellen aus.

   6. Wählen Sie im Graphen den Knoten Chat aus, um zum Abschnitt Chat zu wechseln.

   7. Öffnen Sie unter Verbindung die Dropdownliste, um die soeben erstellte Verbindung auszuwählen, in diesem Fall meta-llama3-8b-connection.

   8. Wählen Sie auf der oberen Navigationsleiste Computesitzung starten aus, um eine automatische Runtime für den Prompt Flow zu starten.

   9. Wählen Sie die Option Chat aus. Sie können jetzt Nachrichten senden und Antworten empfangen.

Zugehöriger Inhalt

• Was ist Azure KI Foundry?
• Artikel über häufig gestellte Fragen zu Azure KI