Narzędzie LLM

Narzędzie dużego modelu językowego (LLM) w przepływie monitów umożliwia korzystanie z powszechnie używanych dużych modeli językowych, takich jak OpenAI lub Azure OpenAI Service, lub dowolnego modelu językowego obsługiwanego przez interfejs API wnioskowania modelu azure AI na potrzeby przetwarzania języka naturalnego.

Przepływ monitów udostępnia kilka różnych interfejsów API modelu języka:

• Uzupełnianie: modele uzupełniania interfejsu OpenAI generują tekst na podstawie podanych monitów.
• Czat: modele czatów openAI i modele czatów usługi Azure AI ułatwiają interaktywne rozmowy z danymi wejściowymi i odpowiedziami opartymi na tekście.

Uwaga

Usunęliśmy embedding opcję z ustawienia interfejsu API narzędzia LLM. Możesz użyć interfejsu API osadzania z narzędziem osadzania. Tylko uwierzytelnianie oparte na kluczach jest obsługiwane w przypadku połączenia azure OpenAI. Nie używaj znaków innych niż ascii w nazwie grupy zasobów zasobu Azure OpenAI, przepływ monitu nie obsługuje tego przypadku.

Wymagania wstępne

Tworzenie zasobów openAI:

• OpenAI:

  • Zarejestruj swoje konto w witrynie internetowej OpenAI.
  • Zaloguj się i znajdź osobisty klucz interfejsu API.

• Azure OpenAI:

  • Utwórz zasoby usługi Azure OpenAI, wykonując te instrukcje.

• Modele wdrożone w punktach końcowych bezserwerowego interfejsu API

  • Utwórz punkt końcowy z modelem z katalogu, który Cię interesuje , i wdróż go za pomocą punktu końcowego bezserwerowego interfejsu API.
  • Aby używać modeli wdrożonych w punktach końcowych bezserwerowego interfejsu API interfejsu API wnioskowania modeli platformy Azure, takich jak Mistral, Cohere, Meta Llama lub rodzina modeli firmy Microsoft (między innymi), musisz utworzyć połączenie w projekcie z punktem końcowym

Połączenia

Skonfiguruj połączenia z aprowizowaną zasobami w przepływie monitu.

Type	Nazwisko	Klucz interfejsu API	Typ API	Wersja interfejsu API
OpenAI	Wymagania	Wymagania	-	-
Azure OpenAI — klucz interfejsu API	Wymagania	Wymagania	Wymagania	Wymagania
Azure OpenAI — identyfikator entra firmy Microsoft	Wymagania	-	-	Wymagania
Model bezserwerowy	Wymagania	Wymagania	-	-

Napiwek

• Aby użyć typu uwierzytelniania identyfikatora entra firmy Microsoft dla połączenia azure OpenAI, musisz przypisać tożsamość zarządzaną przypisaną Cognitive Services OpenAI User przez użytkownika lub Cognitive Services OpenAI Contributor role użytkownika.
• Dowiedz się więcej o sposobie określania sposobu używania tożsamości użytkownika do przesyłania przebiegu przepływu.
• Dowiedz się więcej na temat konfigurowania usługi Azure OpenAI Service przy użyciu tożsamości zarządzanych.

Dane wejściowe

W poniższych sekcjach przedstawiono różne dane wejściowe.

Uzupełnianie tekstu

Nazwisko	Pisz	Opis	Wymagania
monit	string	Monit tekstowy dla modelu językowego.	Tak
model, deployment_name	string	Model językowy do użycia.	Tak
max_tokens	integer	Maksymalna liczba tokenów do wygenerowania w zakończeniu. Wartość domyślna to 16.	Nie.
temperature	liczba zmiennoprzecinkowa	Losowość wygenerowanego tekstu. Wartość domyślna to 1.	Nie.
zatrzymać	lista	Zatrzymywanie sekwencji wygenerowanego tekstu. Wartość domyślna to null.	Nie.
przyrostek	string	Tekst dołączony na końcu ukończenia.	Nie.
top_p	liczba zmiennoprzecinkowa	Prawdopodobieństwo użycia najlepszego wyboru z wygenerowanych tokenów. Wartość domyślna to 1.	Nie.
logprobs	integer	Liczba prawdopodobieństwa dziennika do wygenerowania. Wartość domyślna to null.	Nie.
echo	boolean	Wartość wskazująca, czy należy powtórzyć monit w odpowiedzi. Wartość domyślna to „fałsz”.	Nie.
presence_penalty	liczba zmiennoprzecinkowa	Wartość, która kontroluje zachowanie modelu na potrzeby powtarzania fraz. Wartość domyślna to 0.	Nie.
frequency_penalty	liczba zmiennoprzecinkowa	Wartość, która kontroluje zachowanie modelu w celu generowania rzadkich fraz. Wartość domyślna to 0.	Nie.
best_of	integer	Liczba najlepszych uzupełnień do wygenerowania. Wartość domyślna to 1.	Nie.
logit_bias	słownik	Logit stronniczy dla modelu językowego. Wartość domyślna to pusty słownik.	Nie.

Czat

Nazwisko	Pisz	Opis	Wymagania
monit	string	Monit tekstowy używany przez model językowy na potrzeby odpowiedzi.	Tak
model, deployment_name	string	Model językowy do użycia. Ten parametr nie jest wymagany, jeśli model jest wdrożony w punkcie końcowym bezserwerowego interfejsu API.	Tak*
max_tokens	integer	Maksymalna liczba tokenów do wygenerowania w odpowiedzi. Wartość domyślna to inf.	Nie.
temperature	liczba zmiennoprzecinkowa	Losowość wygenerowanego tekstu. Wartość domyślna to 1.	Nie.
zatrzymać	lista	Zatrzymywanie sekwencji wygenerowanego tekstu. Wartość domyślna to null.	Nie.
top_p	liczba zmiennoprzecinkowa	Prawdopodobieństwo użycia najlepszego wyboru z wygenerowanych tokenów. Wartość domyślna to 1.	Nie.
presence_penalty	liczba zmiennoprzecinkowa	Wartość, która kontroluje zachowanie modelu na potrzeby powtarzania fraz. Wartość domyślna to 0.	Nie.
frequency_penalty	liczba zmiennoprzecinkowa	Wartość, która kontroluje zachowanie modelu w celu generowania rzadkich fraz. Wartość domyślna to 0.	Nie.
logit_bias	słownik	Logit stronniczy dla modelu językowego. Wartość domyślna to pusty słownik.	Nie.

Dane wyjściowe

interfejs API	Typ zwracany	opis
Zakończenie	string	Tekst jednego przewidywanego ukończenia
Czat	string	Tekst jednej odpowiedzi konwersacji

Korzystanie z narzędzia LLM

1. Skonfiguruj i wybierz połączenia z zasobami OpenAI lub punktem końcowym bezserwerowego interfejsu API.
2. Skonfiguruj interfejs API modelu dużego języka i jego parametry.
3. Przygotuj monit, aby uzyskać wskazówki.