LLM-Tool
Mit dem Tool für große Sprachmodelle (LLM) im Eingabeaufforderungsfluss können Sie häufig verwendete große Sprachmodelle wie OpenAI oder Azure OpenAI Service oder jedes von der Azure AI-Modell-Ableitungs-API unterstützte Sprachmodell für die Verarbeitung natürlicher Sprachen nutzen.
Der Eingabeaufforderungsfluss bietet einige verschiedene APIs für große Sprachmodelle:
- Vervollständigung: Die Vervollständigungsmodelle von OpenAI generieren Text basierend auf bereitgestellten Prompts.
- Chat: Die Chatmodelle von OpenAI und die Azure AI-Chatmodelle erleichtern interaktive Unterhaltungen mit textbasierten Eingaben und Antworten.
Hinweis
Wir haben die embedding Option aus der EINSTELLUNG der LLM-Tool-API entfernt. Sie können eine Einbettungs-API mit dem Einbettungstool verwenden.
Für die Azure OpenAI-Verbindung wird nur die schlüsselbasierte Authentifizierung unterstützt.
Verwenden Sie keine Nicht-Ascii-Zeichen im Ressourcengruppennamen der Azure OpenAI-Ressource, der Aufforderungsfluss hat diesen Fall nicht unterstützt.
Voraussetzungen
Erstellen Sie die OpenAI-Ressourcen:
OpenAI:
- Registrieren Sie Ihr Konto auf der OpenAI-Website.
- Melden Sie sich an, und suchen Sie Ihren persönlichen API-Schlüssel.
Azure OpenAI:
- Erstellen Sie Azure OpenAI-Ressourcen mit diesen Anweisungen.
Modelle, die auf Serverless-API-Endpunkten bereitgestellt werden
- Erstellen Sie einen Endpunkt mit dem Modell aus dem Katalog, den Sie interessieren , und stellen Sie ihn mit einem serverlosen API-Endpunkt bereit.
- Um Modelle zu verwenden, die für serverlose API-Endpunkte bereitgestellt werden, die von der Azure AI-Modell-Ableitungs-API unterstützt werden, z. B. Mistral, Cohere, Meta Llama oder Microsoft Family of Models (u. a.), müssen Sie eine Verbindung in Ihrem Projekt zu Ihrem Endpunkt erstellen.
Verbindungen
Richten Sie Verbindungen zu bereitgestellten Ressourcen im Prompt Flow ein.
| type | Name | API-Schlüssel | API-Typ | API-Version |
|---|---|---|---|---|
| OpenAI | Erforderlich | Erforderlich | - | - |
| Azure OpenAI – API-Schlüssel | Erforderlich | Erforderlich | Erforderlich | Erforderlich |
| Azure OpenAI – Microsoft Entra ID | Erforderlich | - | - | Erforderlich |
| Serverloses Modell | Erforderlich | Erforderlich | - | - |
Tipp
- Um den Microsoft Entra ID-Authentifizierungstyp für die Azure OpenAI-Verbindung zu verwenden, müssen Sie entweder die
Cognitive Services OpenAI UseroderCognitive Services OpenAI Contributor roleand den Benutzer oder einer vom Benutzer zugewiesenen verwalteten Identität zuweisen. - Erfahren Sie mehr darüber, wie Sie angeben, wie Sie die Benutzeridentität zum Übermitteln der Flowausführung verwenden.
- Weitere Informationen finden Sie unter Konfigurieren von Azure OpenAI Service mit verwalteten Identitäten.
Eingaben
In den folgenden Abschnitten werden verschiedene Eingaben angezeigt.
Textvervollständigung
| Name | Typ | Beschreibung | Erforderlich |
|---|---|---|---|
| prompt | Zeichenfolge | Text-Prompt für das Sprachmodell. | Ja |
| model, deployment_name | Zeichenfolge | Zu verwendende Sprachmodell. | Ja |
| max_tokens | integer | Maximale Anzahl von Token, die im Abschluss generiert werden sollen. Der Standardwert ist 16. | Nein |
| Temperatur | float | Die Zufälligkeit des generierten Texts Der Standardwert ist 1. | Nein |
| stop | list | Die Stoppsequenz für den generierten Text Der Standardwert lautet null. | Nein |
| Suffix | Zeichenfolge | Am Ende des Abschlusses angefügter Text. | No |
| top_p | float | Die Wahrscheinlichkeit, dass das erste Ergebnis aus den generierten Token verwendet wird Der Standardwert ist 1. | Nein |
| logprobs | integer | Anzahl der zu generierenden Protokollwahrscheinlichkeiten. Der Standardwert lautet null. | Nein |
| Echo | boolean | Wert, der angibt, ob die Eingabeaufforderung in der Antwort zurückgegeben werden soll. Der Standardwert ist "false". | Nein |
| presence_penalty | float | Wert, der das Verhalten des Modells für wiederholte Ausdrücke steuert. Standard ist "0". | Nein |
| frequency_penalty | float | Wert, der das Verhalten des Modells zum Generieren seltener Ausdrücke steuert. Standard ist "0". | Nein |
| best_of | integer | Die Anzahl der besten Zugänge, die generiert werden sollen. Der Standardwert ist 1. | Nein |
| logit_bias | dictionary | Logit-Verzerrung für das Sprachmodell. Der Standardwert ist ein leeres Wörterbuch. | No |
Chat
| Name | Typ | Beschreibung | Erforderlich |
|---|---|---|---|
| prompt | Zeichenfolge | Textaufforderung, die vom Sprachmodell für eine Antwort verwendet wird. | Ja |
| model, deployment_name | Zeichenfolge | Zu verwendende Sprachmodell. Dieser Parameter ist nicht erforderlich, wenn das Modell auf einem serverlosen API-Endpunkt bereitgestellt wird. | Ja* |
| max_tokens | integer | Die maximale Anzahl von Token, die in der Antwort generiert werden. Der Standardwert ist „inf“. | Nein |
| Temperatur | float | Die Zufälligkeit des generierten Texts Der Standardwert ist 1. | Nein |
| stop | list | Die Stoppsequenz für den generierten Text Der Standardwert lautet null. | Nein |
| top_p | float | Die Wahrscheinlichkeit, dass das erste Ergebnis aus den generierten Token verwendet wird Der Standardwert ist 1. | Nein |
| presence_penalty | float | Wert, der das Verhalten des Modells für wiederholte Ausdrücke steuert. Standard ist "0". | Nein |
| frequency_penalty | float | Wert, der das Verhalten des Modells zum Generieren seltener Ausdrücke steuert. Standard ist "0". | Nein |
| logit_bias | dictionary | Logit-Verzerrung für das Sprachmodell. Der Standardwert ist ein leeres Wörterbuch. | No |
Ausgaben
| API | Rückgabetyp | BESCHREIBUNG |
|---|---|---|
| Completion | Zeichenfolge | Text eines vorhergesagten Abschlusses |
| Chat | Zeichenfolge | Text einer Antwort einer Unterhaltung |
Verwenden des LLM-Tools
- Richten Sie die Verbindungen mit OpenAI-Ressourcen oder einem serverlosen API-Endpunkt ein, und wählen Sie sie aus.
- Konfigurieren Sie die API für große Sprachenmodelle und die zugehörigen Parameter.
- Bereiten Sie die Eingabeaufforderung mithilfe des Leitfadens vor.