Bereitstellen eines Flows für echtzeitbasierte Rückschlüsse
Wichtig
Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.
Nachdem Sie einen Prompt flow erstellt und ordnungsgemäß getestet haben, sollten Sie ihn als Onlineendpunkt bereitstellen. Bereitstellungen werden in einem Endpunkt gehostet und können Daten von Clients empfangen und Antworten in Echtzeit zurücksenden.
Sie können den Endpunkt für Rückschlüsse in Echtzeit für Chat, Copilot oder eine andere generative KI-Anwendung aufrufen. Der Prompt flow unterstützt die Endpunktbereitstellung aus einem Flow oder aus einer Massentestausführung.
In diesem Artikel erfahren Sie, wie Sie einen Flow als verwalteten Onlineendpunkt für Rückschlüsse in Echtzeit bereitstellen. Auszuführende Schritte:
- Testen Sie und bereiten Sie Ihre Flows für die Bereitstellung vor.
- Erstellen Sie eine Online-Bereitstellung.
- Weisen Sie Berechtigungen für den Endpunkt zu.
- den Endpunkt zu testen.
- Verwenden Sie den Endpunkt.
Voraussetzungen
Um einen Prompt flow als Onlineendpunkt bereitzustellen, benötigen Sie Folgendes:
- Ein Azure-Abonnement. Falls Sie kein Abonnement besitzen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen.
- Ein Azure KI Studio-Projekt.
Erstellen einer Online-Bereitstellung
Nachdem Sie nun einen Flow erstellt und ordnungsgemäß getestet haben, ist es an der Zeit, einen Onlineendpunkt für Rückschlüsse in Echtzeit zu erstellen.
Führen Sie die folgenden Schritte aus, um einen Prompt flow als Onlineendpunkt in Azure KI Studio bereitzustellen.
Halten Sie einen Prompt flow für die Bereitstellung bereit. Wenn Sie keinen haben, lesen Sie wie Sie einen Prompt flow erstellen.
Optional: Wählen Sie Chat aus, um zu testen, ob der Flow ordnungsgemäß funktioniert. Es wird empfohlen, Ihren Flow vor der Bereitstellung zu testen.
Wählen Sie Bereitstellen im Flow-Editor aus.
Geben Sie die angeforderten Informationen auf der Seite Standardeinstellungen im Bereitstellungs-Assistenten an.
Wählen Sie Überprüfen + Erstellen aus, um die Einstellungen zu überprüfen und die Bereitstellung zu erstellen. Andernfalls können Sie Weiter auswählen, um mit den erweiterten Einstellungsseiten fortzufahren.
Wählen Sie Erstellen aus, um den Prompt flow bereitzustellen.
Um den Status Ihrer Bereitstellung anzuzeigen, wählen Sie im linken Navigationsbereich Modelle und Endpunkte aus. Nachdem die Bereitstellung erfolgreich erstellt wurde, können Sie die Bereitstellung auswählen, um die Details anzuzeigen.
Wählen Sie die Registerkarte Nutzen aus, um Codebeispiele anzuzeigen, die zum Verwenden des bereitgestellten Modells in Ihrer Anwendung benutzt werden können.
Hinweis
Auf dieser Seite können Sie auch die Endpunkt-URL sehen, die Sie zum Nutzen des Endpunkts verwenden können.
Sie können den REST-Endpunkt direkt verwenden oder mit einem der hier gezeigten Beispiele beginnen.
Weitere Informationen finden Sie in den folgenden Abschnitten.
Tipp
Eine Anleitung zum Bereitstellen eines Basismodells finden Sie unter Bereitstellen von Modellen mit Azure KI Studio.
Einstellungen und Konfigurationen
Anforderungstextdatei
Optional können Sie zusätzliche Pakete, die Sie benötigen, in requirements.txt angeben. Sie finden requirements.txt im Stammordner Ihres Flowordners. Wenn Sie prompt flow für einen verwalteten Onlineendpunkt in der Benutzeroberfläche bereitstellen, wird standardmäßig die Umgebung verwendet, die auf der Grundlage des Basisimages erstellt wurde, das in flow.dag.yaml angegeben ist, und den Abhängigkeiten, die in requirements.txt des Flows angegeben sind.
Hinweis
Das in flow.dag.yaml angegebene Basisimage muss basierend auf dem prompt flow-Basisimage mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version> erstellt werden. Sie finden die neueste Version hier. Wenn Sie das Basisimage nicht in flow.dag.yamlangeben, verwendet die Bereitstellung das Standardbasisimage mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latest.
Grundlegende Einstellungen
Mit diesem Schritt können Sie die grundlegenden Einstellungen konfigurieren, wenn Sie im Flow-Editor Bereitstellen auswählen.
| Eigenschaft | Beschreibung |
|---|---|
| Endpunkt | Sie können auswählen, ob Sie einen neuen Endpunkt bereitstellen oder einen vorhandenen Endpunkt aktualisieren möchten. Wenn Sie Neu wählen, müssen Sie den Endpunktnamen angeben. |
| Bereitstellungsname | - Innerhalb desselben Endpunkts sollte der Bereitstellungsname eindeutig sein. - Wenn Sie einen vorhandenen Endpunkt auswählen und einen vorhandenen Bereitstellungsnamen eingeben, wird diese Bereitstellung mit den neuen Konfigurationen überschrieben. |
| Virtueller Computer | Die VM-Größe, die für die Bereitstellung verwendet werden soll. |
| Anzahl von Instanzen | Die Anzahl der Instanzen, die für die Bereitstellung verwendet werden sollen. Geben Sie den Wert für die erwartete Arbeitslast an. Für Hochverfügbarkeit empfiehlt es sich, den Wert mindestens auf 3 festzulegen. Wir reservieren zusätzliche 20 % für die Durchführung von Upgrades. |
| Sammlung von Rückschlussdaten | Wenn Sie diese Option aktivieren, werden die Floweingaben und -ausgaben automatisch in einer Azure Machine Learning-Datenressource erfasst und können für die spätere Überwachung verwendet werden. |
Nachdem Sie die Grundeinstellungen vorgenommen haben, können Sie direkt Überprüfen+Erstellen, um die Erstellung abzuschließen, oder Sie können Weiter wählen, um erweiterte Einstellungen zu konfigurieren.
Erweiterte Einstellungen – Endpunkt
Sie können die folgenden Einstellungen für den Endpunkt festlegen.
Im Workflow für erweiterte Einstellungen können Sie auch Bereitstellungstags angeben und eine benutzerdefinierte Umgebung auswählen.
Authentication type
Die Authentifizierungsmethode für den Endpunkt Für die schlüsselbasierte Authentifizierung werden ein primärer und ein sekundärer Schlüssel bereitgestellt, die nicht ablaufen. Für die tokenbasierte Azure Machine Learning-Authentifizierung wird ein Token bereitgestellt, das regelmäßig automatisch aktualisiert wird.
Identitätstyp
Der Endpunkt muss für Rückschlüsse auf Azure-Ressourcen wie die Azure Container Registry oder Ihre KI Studio-Hubverbindungen zugreifen. Sie können dem Endpunkt Berechtigungen für den Zugriff auf Azure-Ressourcen gewähren, indem Sie seiner verwalteten Identität diese Berechtigung zuweisen.
Es wird automatisch eine systemseitig zugewiesene Identität erstellt, nachdem Ihr Endpunkt erstellt wurde, während eine benutzerseitig zugewiesene Identität von den Benutzer*innen erstellt wird. Weitere Informationen zu verwalteten Identitäten
Systemseitig zugewiesen
Sie werden feststellen, dass es eine Option gibt, ob Zugang zu Verbindungsgeheimnissen erzwingen (Vorschau). Wenn Ihr Datenflow Verbindungen verwendet, muss der Endpunkt auf Verbindungen zugreifen, um Schlussfolgerungen ziehen zu können. Die Option ist standardmäßig aktiviert, der Endpunkt erhält die Rolle Azure Machine Learning Workspace Connection Secrets Reader, um automatisch auf Verbindungen zuzugreifen, wenn Sie die Berechtigung Connection Secrets Reader haben. Wenn Sie diese Option deaktivieren, müssen Sie der vom System zugewiesenen Identität diese Rolle manuell zuweisen oder Ihren Administrator um Hilfe bitten. Erfahren Sie mehr darüber, wie Sie der Endpunktidentität eine Berechtigung erteilen können.
Benutzerseitig zugewiesen
Beim Erstellen der Bereitstellung versucht Azure, das Benutzercontainerimage aus der Azure Container Registry-Instanz (ACR) des Azure KI Studio-Hubs zu pullen, und bindet das Benutzermodell und Codeartefakte aus dem Speicherkonto des Hubs in den Benutzercontainer ein.
Wenn Sie den zugehörigen Endpunkt mit Benutzer zugewiesener Identität erstellt haben, muss die benutzerzugewiesene Identität vor der Erstellung der Bereitstellung mit den folgenden Rollen versehen werden; andernfalls schlägt die Erstellung der Bereitstellung fehl.
| `Scope` | Role | Zweck |
|---|---|---|
| KI Studio-Projekt | Azure Machine Learning Workspace Connection Secrets Reader-Rolle oder eine benutzerdefinierte Rolle mit Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action |
Erhalten von Projektverbindungen |
| KI Studio-Projektcontainerregistrierung | ACR-Pullvorgang | Pullen von Containerimage |
| Standardspeicher des KI Studio-Projekts | Leser von Speicherblobdaten | Laden des Modells aus dem Speicher |
| KI Studio-Projekt | Arbeitsbereichsmetriken-Writer | Wenn Sie nach der Bereitstellung des Endpunkts Metriken des Endpunkts wie CPU, GPU, Datenträger oder Arbeitsspeicherauslastung überwachen möchten, müssen Sie der Identität diese Berechtigung zuweisen. Optional |
Ausführliche Anleitungen zum Erteilen von Berechtigungen für die Endpunktidentität finden Sie unter Erteilen von Berechtigungen für den Endpunkt.
Wichtig
Wenn Ihr Flow auf Microsoft Entra ID basierte Authentifizierungsverbindungen verwendet, unabhängig davon, ob Sie die systemseitig zugewiesene Identität oder die benutzerseitig zugewiesene Identität verwenden, müssen Sie der verwalteten Identität immer die entsprechenden Rollen der zugehörigen Ressourcen erteilen, damit sie API-Aufrufe an diese Ressource tätigen kann. Wenn Ihre Azure OpenAI-Verbindung beispielsweise die auf Microsoft Entra ID basierte Authentifizierung verwendet, müssen Sie der verwalteten Identität Ihres Endpunkts die Rolle „Cognitive Services OpenAI-Benutzer“ oder „Cognitive Services OpenAI-Mitwirkender“ der entsprechenden Azure OpenAI-Ressourcen erteilen.
Erweiterte Einstellungen: Ausgänge und Verbindungen
In diesem Schritt können Sie alle Flowausgaben anzeigen und angeben, welche Ausgaben in die Antwort des von dir bereitgestellten Endpunkts eingeschlossen werden sollen. Standardmäßig sind alle Flowausgaben ausgewählt.
Sie können auch die Verbindungen angeben, die der Endpunkt verwendet, wenn er die Inferenz durchführt. Standardmäßig werden sie vom Flow geerbt.
Wenn Sie alle oben genannten Schritte konfiguriert und überprüft haben, können Sie Überprüfen + Erstellen wählen, um die Erstellung abzuschließen.
Hinweis
Rechnen Sie damit, dass die Erstellung des Endpunkts mehr als 15 Minuten in Anspruch nimmt, da sie mehrere Schritte umfasst, darunter die Erstellung des Endpunkts, die Registrierung des Modells, die Erstellung der Bereitstellung usw.
Sie können den Fortschritt der Bereitstellung über die Benachrichtigung, die von Bereitstellung des Prompt Flow gestartet wird, nachvollziehen.
Aktivieren der Ablaufverfolgung durch Aktivieren der Application Insights-Diagnose (Vorschau)
Wenn Sie diese Option aktivieren, werden Ablaufverfolgungsdaten und Systemmetriken während der Rückschlusszeit (z. B. Tokenanzahl, Flowwartezeit, Flowanforderung usw.) in der verknüpften Application Insights-Instanz des Arbeitsbereichs erfasst. Weitere Informationen finden Sie unter Ablaufverfolgungsdaten und Metriken zur Bereitstellung von Prompt Flows.
Zuweisen von Berechtigungen für den Endpunkt
Wichtig
Das Erteilen von Berechtigungen (Hinzufügen von Rollenzuweisungen) ist nur für den Besitzer der bestimmten Azure-Ressourcen aktiviert. Möglicherweise müssen Sie Ihren Azure-Abonnementbesitzer (der möglicherweise Ihr IT-Administrator ist) um Hilfe bitten.
Es wird empfohlen, der Benutzer-zugeordneten Identität vor der Erstellung der Bereitstellung Rollen zuzuweisen. Es kann mehr als 15 Minuten dauern, bis die erteilte Genehmigung wirksam wird.
Mit den folgenden Schritten können Sie die erforderlichen Berechtigungen über die Benutzeroberfläche des Azure-Portals erteilen.
Wechseln Sie zur Azure KI Studio-Projektübersichtsseite im Azure-Portal.
Wählen Sie Zugriffssteuerung und dann Rollenzuweisung hinzufügen aus.
Wählen Sie Azure Machine Learning Workspace Connection Secrets Reader, gehen Sie zu Weiter.
Hinweis
Die Rolle Azure Machine Learning Workspace Connection Secrets Reader ist eine integrierte Rolle, die über die Berechtigung zum Abrufen von Hubverbindungen verfügt.
Wenn Sie eine angepasste Rolle verwenden möchten, stellen Sie sicher, dass die angepasste Rolle über die Berechtigung
Microsoft.MachineLearningServices/workspaces/connections/listsecrets/actionverfügt. Weitere Informationen finden Sie unter Erstellen benutzerdefinierter Rollen.Wählen Sie Verwaltete Identität und dann Mitglieder aus.
Wählen Sie für eine systemseitig zugewiesene Identität unter Systemseitig zugewiesene verwaltete Identität die Option Onlineendpunkt für maschinelles Lernen aus, und suchen Sie nach dem Endpunktnamen.
Wählen Sie für benutzerseitig zugewiesene Identitäten die Option Benutzerseitig zugewiesene verwaltete Identität aus, und suchen Sie nach dem Identitätsnamen.
Für die benutzerseitig zugewiesene Identität müssen Sie auch Berechtigungen für die Hubcontainerregistrierung und das Speicherkonto erteilen. Sie finden die Containerregistrierung und das Speicherkonto auf der Hubübersichtsseite im Azure-Portal.
Wechseln Sie zur Übersichtsseite der Hubcontainerregistrierung, wählen Sie Zugriffssteuerung und Rollenzuweisung hinzufügen aus, und weisen Sie der Endpunktidentität ACR Pull | Containerimage pullen zu.
Wechseln Sie zur Seite mit der Standardspeicherübersicht des Arbeitsbereichs, wählen Sie Zugriffssteuerung und Rollenzuweisung hinzufügen aus, und weisen Sie der Endpunktidentität Storage Blob Data Reader zu.
(Optional:) Für die benutzerseitig zugeordnete Identität müssen Sie der Identität auch die Rolle Arbeitsbereichsmetriken-Writer des Hubs zuweisen, wenn Sie die endpunktbezogenen Metriken wie die Nutzung von CPU/GPU/Festplatte/Speicher überwachen möchten.
Überprüfen des Status des Endpunkts
Nach Abschluss des Bereitstellungs-Assistenten werden Benachrichtigungen angezeigt. Nachdem der Endpunkt und die Bereitstellung erfolgreich erstellt wurden, können Sie in der Benachrichtigung auf der Bereitstellungsdetailseite Details anzeigen auswählen.
Sie können auch direkt über die linke Navigationsleiste zur Seite Bereitstellungen wechseln, die Bereitstellung auswählen und den Status überprüfen.
Testen des Endpunkts
Wechseln Sie auf der Seite mit den Bereitstellungsdetails zur Registerkarte Test .
Für Endpunkte, die aus dem Standardflow bereitgestellt werden, können Sie Werte im Formular-Editor oder JSON-Editor eingeben, um den Endpunkt zu testen.
Testen eines über einen Chatflow bereitgestellten Endpunkts
Endpunkte, die über einen Chatflow bereitgestellt werden, können Sie in einem immersiven Chatfenster testen.
Die chat_input wurde während der Entwicklung des Chatflows festgelegt. Sie können die chat_input-Nachricht in das Eingabefeld eingeben. Wenn Ihr Flow über mehrere Eingaben verfügt, können Sie im Bereich Eingaben auf der rechten Seite Werte für andere Eingaben außer chat_input angeben.
Verwenden des Endpunkts
Wechseln Sie auf der Seite mit den Bereitstellungsdetails zur Registerkarte Consume . Hier finden Sie den REST-Endpunkt und den Schlüssel/Token für die Nutzung Ihres Endpunkts. Es gibt auch Beispielcode, mit dem Sie den Endpunkt in verschiedenen Sprachen nutzen können.
Sie müssen Werte für RequestBody oder data und api_key eingeben. Wenn Ihr Flow beispielsweise zwei Eingaben location und url enthält, müssen Sie Daten wie folgt angeben.
{
"location": "LA",
"url": "<the_url_to_be_classified>"
}
Bereinigen von Ressourcen
Wenn Sie den Endpunkt nach Abschluss dieses Tutorials nicht mehr benötigen, sollten Sie ihn löschen.
Hinweis
Die vollständige Löschung kann etwa 20 Minuten dauern.
Nächste Schritte
- Erfahren Sie mehr darüber, was Sie in Azure KI Studio tun können
- Erhalten Sie Antworten auf häufig gestellte Fragen im Artikel zu häufig gestellten Fragen zu Azure KI
- [Ablaufverfolgung aktivieren und Feedback für Ihre Bereitstellung sammeln] (./develop/trace-production-sdk.md)