LLM-hulpprogramma
Met het hulpprogramma voor groot taalmodel (LLM) in promptstroom kunt u profiteren van veelgebruikte grote taalmodellen, zoals OpenAI of Azure OpenAI Service, of een taalmodel dat wordt ondersteund door de Deductie-API van het Azure AI-model voor verwerking van natuurlijke taal.
Promptstroom biedt een aantal verschillende API's voor het grote taalmodel:
- Voltooiing: De voltooiingsmodellen van OpenAI genereren tekst op basis van opgegeven prompts.
- Chat: OpenAI's chatmodellen en de Azure AI-chatmodellen maken interactieve gesprekken mogelijk met op tekst gebaseerde invoer en antwoorden.
Notitie
We hebben de embedding optie verwijderd uit de API-instelling van het LLM-hulpprogramma. U kunt een insluit-API gebruiken met het hulpprogramma voor insluiten.
Alleen verificatie op basis van sleutels wordt ondersteund voor azure OpenAI-verbinding.
Gebruik geen niet-ascii-tekens in de naam van de resourcegroep van de Azure OpenAI-resource. De promptstroom heeft dit geval niet ondersteund.
Vereisten
OpenAI-resources maken:
OpenAI:
- Registreer uw account op de OpenAI-website.
- Meld u aan en zoek uw persoonlijke API-sleutel.
Azure OpenAI:
- Maak Azure OpenAI-resources met deze instructies.
Modellen die zijn geïmplementeerd op serverloze API-eindpunten
- Maak een eindpunt met het model uit de catalogus die u interesseert en implementeer het met een serverloos API-eindpunt.
- Als u modellen wilt gebruiken die zijn geïmplementeerd op serverloze API-eindpunten die worden ondersteund door de deductie-API van het Azure AI-model, zoals Mistral, Cohere, Meta Llama of Microsoft-modellen (onder andere), moet u een verbinding in uw project maken met uw eindpunt
Connecties
Stel verbindingen in voor ingerichte resources in de promptstroom.
| Type | Naam | API key | API-type | API-versie |
|---|---|---|---|---|
| OpenAI | Vereist | Vereist | - | - |
| Azure OpenAI - API-sleutel | Vereist | Vereist | Vereist | Vereist |
| Azure OpenAI - Microsoft Entra-id | Vereist | - | - | Vereist |
| Serverloos model | Vereist | Vereist | - | - |
Tip
- Als u het verificatietype Microsoft Entra ID voor de Azure OpenAI-verbinding wilt gebruiken, moet u de door
Cognitive Services OpenAI Contributor roledeCognitive Services OpenAI Usergebruiker of gebruiker toegewezen beheerde identiteit toewijzen. - Meer informatie over het opgeven van gebruikersidentiteiten voor het verzenden van stroomuitvoeringen.
- Meer informatie over het configureren van de Azure OpenAI-service met beheerde identiteiten.
Invoerwaarden
In de volgende secties worden verschillende invoerwaarden weergegeven.
Tekstvoltooiing
| Name | Type | Beschrijving | Vereist |
|---|---|---|---|
| vraag | tekenreeks | Tekstprompt voor het taalmodel. | Ja |
| model, deployment_name | tekenreeks | Taalmodel dat moet worden gebruikt. | Ja |
| max_tokens | geheel getal | Maximum aantal tokens dat moet worden gegenereerd tijdens de voltooiing. De standaardwaarde is 16. | Nee |
| temperatuur | zwevend | Willekeurigheid van de gegenereerde tekst. Standaard is 1. | Nee |
| stoppen | lijst | De volgorde voor de gegenereerde tekst wordt gestopt. De standaardwaarde is null. | Nee |
| achtervoegsel | tekenreeks | Tekst toegevoegd aan het einde van de voltooiing. | Nee |
| top_p | zwevend | Waarschijnlijkheid van het gebruik van de belangrijkste keuze op basis van de gegenereerde tokens. Standaard is 1. | Nee |
| logprobs | geheel getal | Aantal logboekkansen dat moet worden gegenereerd. De standaardwaarde is null. | Nee |
| echo | boolean | Waarde die aangeeft of de prompt in het antwoord moet worden herhaald. Standaard ingesteld op onwaar. | Nee |
| presence_penalty | zwevend | Waarde waarmee het gedrag van het model wordt bepaald voor herhalende woordgroepen. De standaardwaarde is 0. | Nee |
| frequency_penalty | zwevend | Waarde waarmee het gedrag van het model wordt bepaald voor het genereren van zeldzame woordgroepen. De standaardwaarde is 0. | Nee |
| best_of | geheel getal | Aantal beste voltooiingen dat moet worden gegenereerd. Standaard is 1. | Nee |
| logit_bias | woordenboek | Logit-bias voor het taalmodel. De standaardwaarde is een lege woordenlijst. | Nee |
Chat
| Name | Type | Beschrijving | Vereist |
|---|---|---|---|
| vraag | tekenreeks | Tekstprompt die door het taalmodel wordt gebruikt voor een antwoord. | Ja |
| model, deployment_name | tekenreeks | Taalmodel dat moet worden gebruikt. Deze parameter is niet vereist als het model wordt geïmplementeerd op een serverloos API-eindpunt. | Ja* |
| max_tokens | geheel getal | Maximum aantal tokens dat in het antwoord moet worden gegenereerd. De standaardwaarde is inf. | Nee |
| temperatuur | zwevend | Willekeurigheid van de gegenereerde tekst. Standaard is 1. | Nee |
| stoppen | lijst | De volgorde voor de gegenereerde tekst wordt gestopt. De standaardwaarde is null. | Nee |
| top_p | zwevend | Waarschijnlijkheid van het gebruik van de belangrijkste keuze op basis van de gegenereerde tokens. Standaard is 1. | Nee |
| presence_penalty | zwevend | Waarde waarmee het gedrag van het model wordt bepaald voor herhalende woordgroepen. De standaardwaarde is 0. | Nee |
| frequency_penalty | zwevend | Waarde waarmee het gedrag van het model wordt bepaald voor het genereren van zeldzame woordgroepen. De standaardwaarde is 0. | Nee |
| logit_bias | woordenboek | Logit-bias voor het taalmodel. De standaardwaarde is een lege woordenlijst. | Nee |
Uitvoerwaarden
| API | Resultaattype | Beschrijving |
|---|---|---|
| Voltooiing | tekenreeks | Tekst van één voorspelde voltooiing |
| Chat | tekenreeks | Tekst van één antwoord van gesprek |
Het LLM-hulpprogramma gebruiken
- Stel de verbindingen met OpenAI-resources of een serverloos API-eindpunt in en selecteer deze.
- Configureer de API voor het grote taalmodel en de bijbehorende parameters.
- Bereid de prompt voor met richtlijnen.