LLM-Tool für Flows in Azure KI Studio
Wichtig
Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.
Für die Verwendung großer Sprachmodelle (LLM) für die Verarbeitung natürlicher Sprachen nutzen Sie das Prompt Flow LLM-Tool.
Hinweis
Informationen zum Konvertieren von Text in dichte Vektordarstellungen für verschiedene Verarbeitungsaufgaben in natürlicher Sprache finden Sie unter Einbettungstool.
Voraussetzungen
Bereiten Sie einen Prompt wie in der Prompttool-Dokumentation beschrieben vor. Das LLM-Tool und das Prompt-Tol unterstützen beide Jinja-Vorlagen. Weitere Informationen und bewährte Methoden finden Sie unter Prompt-Engineering-Techniken.
Erstellen mit dem LLM-Tool
Erstellen oder öffnen Sie einen Flow in Azure KI Studio. Weitere Informationen finden Sie unter Erstellen eines Flows.
Wählen Sie + LLM aus, um Ihrem Flow das LLM-Tool hinzuzufügen.
Wählen Sie die Verbindung mit einer Ihrer bereitgestellten Ressourcen aus. Wählen Sie z. B. Default_AzureOpenAI aus.
Wählen Sie in der Dropdownliste API Chat oder Abschluss aus.
Geben Sie Werte für die Eingabeparameter des LLM-Tools ein, die in der Eingabentabelle für Textvervollständigung beschrieben werden. Wenn Sie die Chat-API ausgewählt haben, lesen Sie die Chateingabentabelle. Wenn Sie die Abschluss-API ausgewählt haben, lesen Sie die Eingabentabelle für Textvervollständigung. Informationen zum Vorbereiten der Prompt-Eingabe finden Sie unter Voraussetzungen.
Fügen Sie ihrem Flow nach Bedarf weitere Tools hinzu. Oder wählen Sie Ausführen aus, um den Flow auszuführen.
Die Ausgaben werden in der Ausgabentabelle beschrieben.
Eingaben
Die folgenden Eingabeparameter sind verfügbar:
Eingaben für Textvervollständigung
| Name | Typ | Beschreibung | Erforderlich |
|---|---|---|---|
| prompt | Zeichenfolge | Text-Prompt für das Sprachmodell. | Ja |
| model, deployment_name | Zeichenfolge | Das zu verwendende Sprachmodell | Ja |
| max_tokens | integer | Die maximale Anzahl von Token, die in der Vervollständigung generiert werden. Der Standardwert ist 16. | Nein |
| Temperatur | float | Die Zufälligkeit des generierten Texts. Der Standardwert ist 1. | Nein |
| stop | list | Die Stoppsequenz für den generierten Text. Der Standardwert lautet null. | Nein |
| Suffix | Zeichenfolge | Der an das Ende der Vervollständigung angefügte Text. | No |
| top_p | float | Die Wahrscheinlichkeit, dass das erste Ergebnis aus den generierten Token verwendet wird. Der Standardwert ist 1. | Nein |
| logprobs | integer | Anzahl der zu generierenden Protokollwahrscheinlichkeiten. Der Standardwert lautet null. | Nein |
| Echo | boolean | Der Wert, der angibt, ob der Prompt in der Antwort zurückgegeben werden soll. Standardwert ist „falsch“. | Nein |
| presence_penalty | float | Der Wert, der das Verhalten des Modells in Bezug auf wiederholte Ausdrücke steuert. Standard ist "0". | Nein |
| frequency_penalty | float | Der Wert, der das Verhalten des Modells beim Generieren seltener Ausdrücke steuert. Standard ist "0". | Nein |
| best_of | integer | Die Anzahl der zu generierenden optimalen Vervollständigungen. Der Standardwert ist 1. | Nein |
| logit_bias | dictionary | Die Logit-Verzerrung für das Sprachmodell. Der Standardwert ist ein leeres Wörterbuch. | Nein |
Chateingaben
| Name | Typ | Beschreibung | Erforderlich |
|---|---|---|---|
| prompt | Zeichenfolge | Der Text-Prompt, auf den das Sprachmodell antworten soll. | Ja |
| model, deployment_name | Zeichenfolge | Das zu verwendende Sprachmodell | Ja |
| max_tokens | integer | Die maximale Anzahl von Token, die in der Antwort generiert werden. Der Standardwert ist „inf“. | Nein |
| Temperatur | float | Die Zufälligkeit des generierten Texts. Der Standardwert ist 1. | Nein |
| stop | list | Die Stoppsequenz für den generierten Text. Der Standardwert lautet null. | Nein |
| top_p | float | Die Wahrscheinlichkeit, dass das erste Ergebnis aus den generierten Token verwendet wird. Der Standardwert ist 1. | Nein |
| presence_penalty | float | Der Wert, der das Verhalten des Modells in Bezug auf wiederholte Ausdrücke steuert. Standard ist "0". | Nein |
| frequency_penalty | float | Der Wert, der das Verhalten des Modells beim Generieren seltener Ausdrücke steuert. Standard ist "0". | Nein |
| logit_bias | dictionary | Die Logit-Verzerrung für das Sprachmodell. Der Standardwert ist ein leeres Wörterbuch. | Nein |
Ausgaben
Die Ausgabe variiert je nach der API, die Sie für Eingaben ausgewählt haben.
| API | Rückgabetyp | BESCHREIBUNG |
|---|---|---|
| Completion | Zeichenfolge | Der Text einer vorhergesagten Vervollständigung. |
| Chat | Zeichenfolge | Der Text einer Antwort der Unterhaltung. |