LLM-verktyg
Med verktyget för stor språkmodell (LLM) i promptflöde kan du dra nytta av stora språkmodeller som OpenAI eller Azure OpenAI Service eller valfri språkmodell som stöds av Azure AI-modellinferens-API:et för bearbetning av naturligt språk.
Prompt flow innehåller några olika API:er för stora språkmodeller:
- Slutförande: OpenAI:s slutförandemodeller genererar text baserat på angivna uppmaningar.
- Chatt: OpenAI:s chattmodeller och Azure AI-chattmodeller underlättar interaktiva konversationer med textbaserade indata och svar.
Kommentar
Vi tog bort alternativet embedding från LLM-verktygets API-inställning. Du kan använda ett inbäddnings-API med inbäddningsverktyget.
Endast nyckelbaserad autentisering stöds för Azure OpenAI-anslutning.
Använd inte icke-ascii-tecken i resursgruppens namn på Azure OpenAI-resursen, promptflödet har inte stöd för det här fallet.
Förutsättningar
Skapa OpenAI-resurser:
OpenAI:
- Registrera ditt konto på OpenAI-webbplatsen.
- Logga in och hitta din personliga API-nyckel.
Azure OpenAI:
- Skapa Azure OpenAI-resurser med de här instruktionerna.
Modeller som distribueras till serverlösa API-slutpunkter
- Skapa en slutpunkt med modellen från katalogen som du är intresserad av och distribuera den med en serverlös API-slutpunkt.
- Om du vill använda modeller som distribuerats till serverlösa API-slutpunkter som stöds av Azure AI-modellinferens-API:et, till exempel Mistral, Cohere, Meta Llama eller Microsofts modellfamilj (bland annat) måste du skapa en anslutning i projektet till slutpunkten
anslutningar
Konfigurera anslutningar till etablerade resurser i promptflödet.
| Typ | Name | API key | API-typ | API-version |
|---|---|---|---|---|
| OpenAI | Krav | Obligatoriskt | - | - |
| Azure OpenAI – API-nyckel | Obligatoriskt | Obligatoriskt | Obligatoriskt | Obligatoriskt |
| Azure OpenAI – Microsoft Entra-ID | Obligatoriskt | - | - | Obligatoriskt |
| Serverlös modell | Obligatoriskt | Obligatoriskt | - | - |
Dricks
- Om du vill använda autentiseringstypen Microsoft Entra ID för Azure OpenAI-anslutning måste du tilldela antingen den
Cognitive Services OpenAI UserellerCognitive Services OpenAI Contributor roletill den användar- eller användartilldelade hanterade identiteten. - Läs mer om hur du anger att använda användaridentitet för att skicka flödeskörning.
- Läs mer om hur du konfigurerar Azure OpenAI-tjänsten med hanterade identiteter.
Indata
I följande avsnitt visas olika indata.
Texten har slutförts
| Namn | Type | Beskrivning | Obligatoriskt |
|---|---|---|---|
| snabb | sträng | Textprompt för språkmodellen. | Ja |
| modell, deployment_name | sträng | Språkmodell som ska användas. | Ja |
| max_tokens | integer | Maximalt antal token som ska genereras i slutförandet. Standardvärdet är 16. | Nej |
| temperatur | flyttal | Slumpmässighet för den genererade texten. Standard är 1. | Nej |
| Stanna | lista | Stoppa sekvensen för den genererade texten. Standardvärdet är null. | Nej |
| suffix | sträng | Text som läggs till i slutet av slutförandet. | Nej |
| top_p | flyttal | Sannolikhet att använda det främsta valet från de genererade token. Standard är 1. | Nej |
| logprobs | integer | Antal loggannolikheter som ska genereras. Standardvärdet är null. | Nej |
| eko | boolean | Värde som anger om prompten ska upprepas i svaret. Standardvärdet är falskt. | Nej |
| presence_penalty | flyttal | Värde som styr modellens beteende för upprepade fraser. Standardvärdet är 0. | Nej |
| frequency_penalty | flyttal | Värde som styr modellens beteende för att generera sällsynta fraser. Standardvärdet är 0. | Nej |
| best_of | integer | Antal bästa slutföranden som ska genereras. Standard är 1. | Nej |
| logit_bias | ordbok | Logit bias för språkmodellen. Standard är en tom ordlista. | Nej |
Chatt
| Namn | Type | Beskrivning | Obligatoriskt |
|---|---|---|---|
| snabb | sträng | Textprompt som språkmodellen använder för ett svar. | Ja |
| modell, deployment_name | sträng | Språkmodell som ska användas. Den här parametern krävs inte om modellen distribueras till en serverlös API-slutpunkt. | Ja* |
| max_tokens | integer | Maximalt antal token som ska genereras i svaret. Standardvärdet är inf. | Nej |
| temperatur | flyttal | Slumpmässighet för den genererade texten. Standard är 1. | Nej |
| Stanna | lista | Stoppa sekvensen för den genererade texten. Standardvärdet är null. | Nej |
| top_p | flyttal | Sannolikhet att använda det främsta valet från de genererade token. Standard är 1. | Nej |
| presence_penalty | flyttal | Värde som styr modellens beteende för upprepade fraser. Standardvärdet är 0. | Nej |
| frequency_penalty | flyttal | Värde som styr modellens beteende för att generera sällsynta fraser. Standardvärdet är 0. | Nej |
| logit_bias | ordbok | Logit bias för språkmodellen. Standard är en tom ordlista. | Nej |
Utdata
| API | Returtyp | beskrivning |
|---|---|---|
| Fullbordande | sträng | Text för ett förutsagt slutförande |
| Chatt | sträng | Text för ett konversationssvar |
Använda LLM-verktyget
- Konfigurera och välj anslutningarna till OpenAI-resurser eller till en serverlös API-slutpunkt.
- Konfigurera API:et för den stora språkmodellen och dess parametrar.
- Förbered prompten med vägledning.