Udostępnij za pośrednictwem

Powiązanie wejściowe uzupełniania tekstu usługi Azure OpenAI dla usługi Azure Functions

  • Artykuł

Ważne

Rozszerzenie Azure OpenAI dla usługi Azure Functions jest obecnie dostępne w wersji zapoznawczej.

Powiązanie wejściowe uzupełniania tekstu usługi Azure OpenAI umożliwia wprowadzenie interfejsów API uzupełniania tekstu wyników do wykonywania kodu. Powiązanie można zdefiniować tak, aby używało zarówno wstępnie zdefiniowanych monitów z parametrami, jak i przez cały monit.

Aby uzyskać informacje na temat konfigurowania i konfigurowania rozszerzenia Azure OpenAI, zobacz Azure OpenAI extensions for Azure Functions (Rozszerzenia azure OpenAI dla usługi Azure Functions). Aby dowiedzieć się więcej na temat uzupełniania usługi Azure OpenAI, zobacz Dowiedz się, jak wygenerować lub manipulować tekstem.

Uwaga

Odwołania i przykłady są udostępniane tylko dla modelu Node.js w wersji 4.

Uwaga

Odwołania i przykłady są udostępniane tylko dla modelu języka Python w wersji 2.

Uwaga

Chociaż oba modele procesów języka C# są obsługiwane, udostępniane są tylko izolowane przykłady modeli procesów roboczych.

Przykład

W tym przykładzie pokazano wzorzec tworzenia szablonów , w którym funkcja wyzwalacza HTTP przyjmuje name parametr i osadza go w wierszu polecenia tekstowego, który jest następnie wysyłany do interfejsu API uzupełniania usługi Azure OpenAI przez rozszerzenie. Odpowiedź na monit jest zwracana w odpowiedzi HTTP.

[Function(nameof(WhoIs))]
public static IActionResult WhoIs(
    [HttpTrigger(AuthorizationLevel.Function, Route = "whois/{name}")] HttpRequestData req,
    [TextCompletionInput("Who is {name}?", Model = "%CHAT_MODEL_DEPLOYMENT_NAME%")] TextCompletionResponse response)
{
    return new OkObjectResult(response.Content);
}

/// <summary>

W tym przykładzie jest wyświetlany monit jako dane wejściowe, wysyła go bezpośrednio do interfejsu API uzupełniania i zwraca odpowiedź jako dane wyjściowe.

        [HttpTrigger(AuthorizationLevel.Function, "post")] HttpRequestData req,
        [TextCompletionInput("{Prompt}", Model = "%CHAT_MODEL_DEPLOYMENT_NAME%")] TextCompletionResponse response,
        ILogger log)
    {
        string text = response.Content;
        return new OkObjectResult(text);
    }
}

W tym przykładzie pokazano wzorzec tworzenia szablonów , w którym funkcja wyzwalacza HTTP przyjmuje name parametr i osadza go w wierszu polecenia tekstowego, który jest następnie wysyłany do interfejsu API uzupełniania usługi Azure OpenAI przez rozszerzenie. Odpowiedź na monit jest zwracana w odpowiedzi HTTP.

@FunctionName("WhoIs")
public HttpResponseMessage whoIs(
    @HttpTrigger(
        name = "req", 
        methods = {HttpMethod.GET},
        authLevel = AuthorizationLevel.ANONYMOUS, 
        route = "whois/{name}") 
        HttpRequestMessage<Optional<String>> request,
    @BindingName("name") String name,
    @TextCompletion(prompt = "Who is {name}?", model = "%CHAT_MODEL_DEPLOYMENT_NAME%", name = "response") TextCompletionResponse response,
    final ExecutionContext context) {
    return request.createResponseBuilder(HttpStatus.OK)
        .header("Content-Type", "application/json")
        .body(response.getContent())
        .build();
}

W tym przykładzie jest wyświetlany monit jako dane wejściowe, wysyła go bezpośrednio do interfejsu API uzupełniania i zwraca odpowiedź jako dane wyjściowe.

@FunctionName("GenericCompletion")
public HttpResponseMessage genericCompletion(
    @HttpTrigger(
        name = "req", 
        methods = {HttpMethod.POST},
        authLevel = AuthorizationLevel.ANONYMOUS) 
        HttpRequestMessage<Optional<String>> request,
    @TextCompletion(prompt = "{prompt}", model = "%CHAT_MODEL_DEPLOYMENT_NAME%", name = "response") TextCompletionResponse response,
    final ExecutionContext context) {
    return request.createResponseBuilder(HttpStatus.OK)
        .header("Content-Type", "application/json")
        .body(response.getContent())
        .build();
}

W tym przykładzie pokazano wzorzec tworzenia szablonów , w którym funkcja wyzwalacza HTTP przyjmuje name parametr i osadza go w wierszu polecenia tekstowego, który jest następnie wysyłany do interfejsu API uzupełniania usługi Azure OpenAI przez rozszerzenie. Odpowiedź na monit jest zwracana w odpowiedzi HTTP.

const { app, input } = require("@azure/functions");

// This OpenAI completion input requires a {name} binding value.
const openAICompletionInput = input.generic({
    prompt: 'Who is {name}?',
    maxTokens: '100',
    type: 'textCompletion',
    model: '%CHAT_MODEL_DEPLOYMENT_NAME%'
})

app.http('whois', {
    methods: ['GET'],
    route: 'whois/{name}',
    authLevel: 'function',
    extraInputs: [openAICompletionInput],
    handler: async (_request, context) => {
        var response = context.extraInputs.get(openAICompletionInput)
        return { body: response.content.trim() }
    }
});

W tym przykładzie pokazano wzorzec tworzenia szablonów , w którym funkcja wyzwalacza HTTP przyjmuje name parametr i osadza go w wierszu polecenia tekstowego, który jest następnie wysyłany do interfejsu API uzupełniania usługi Azure OpenAI przez rozszerzenie. Odpowiedź na monit jest zwracana w odpowiedzi HTTP.

import { app, input } from "@azure/functions";

// This OpenAI completion input requires a {name} binding value.
const openAICompletionInput = input.generic({
    prompt: 'Who is {name}?',
    maxTokens: '100',
    type: 'textCompletion',
    model: '%CHAT_MODEL_DEPLOYMENT_NAME%'
})

app.http('whois', {
    methods: ['GET'],
    route: 'whois/{name}',
    authLevel: 'function',
    extraInputs: [openAICompletionInput],
    handler: async (_request, context) => {
        var response: any = context.extraInputs.get(openAICompletionInput)
        return { body: response.content.trim() }
    }
});

W tym przykładzie pokazano wzorzec tworzenia szablonów , w którym funkcja wyzwalacza HTTP przyjmuje name parametr i osadza go w wierszu polecenia tekstowego, który jest następnie wysyłany do interfejsu API uzupełniania usługi Azure OpenAI przez rozszerzenie. Odpowiedź na monit jest zwracana w odpowiedzi HTTP.

Oto plik function.json dla elementu TextCompletionResponse:

{
  "bindings": [
    {
      "authLevel": "function",
      "type": "httpTrigger",
      "direction": "in",
      "name": "Request",
      "route": "whois/{name}",
      "methods": [
        "get"
      ]
    },
    {
      "type": "http",
      "direction": "out",
      "name": "Response"
    },
    {
      "type": "textCompletion",
      "direction": "in",
      "name": "TextCompletionResponse",
      "prompt": "Who is {name}?",
      "maxTokens": "100",
      "model": "%CHAT_MODEL_DEPLOYMENT_NAME%"
    }
  ]
}

Aby uzyskać więcej informacji na temat function.json właściwości pliku, zobacz sekcję Konfiguracja.

Kod po prostu zwraca tekst z interfejsu API uzupełniania jako odpowiedź:

using namespace System.Net

param($Request, $TriggerMetadata, $TextCompletionResponse)

Push-OutputBinding -Name Response -Value ([HttpResponseContext]@{
        StatusCode = [HttpStatusCode]::OK
        Body       = $TextCompletionResponse.Content
    })

W tym przykładzie pokazano wzorzec tworzenia szablonów , w którym funkcja wyzwalacza HTTP przyjmuje name parametr i osadza go w wierszu polecenia tekstowego, który jest następnie wysyłany do interfejsu API uzupełniania usługi Azure OpenAI przez rozszerzenie. Odpowiedź na monit jest zwracana w odpowiedzi HTTP.

@app.route(route="whois/{name}", methods=["GET"])
@app.text_completion_input(arg_name="response", prompt="Who is {name}?", max_tokens="100", model = "%CHAT_MODEL_DEPLOYMENT_NAME%")
def whois(req: func.HttpRequest, response: str) -> func.HttpResponse:
    response_json = json.loads(response)
    return func.HttpResponse(response_json["content"], status_code=200)

W tym przykładzie jest wyświetlany monit jako dane wejściowe, wysyła go bezpośrednio do interfejsu API uzupełniania i zwraca odpowiedź jako dane wyjściowe.

@app.route(route="genericcompletion", methods=["POST"])
@app.text_completion_input(arg_name="response", prompt="{Prompt}", model = "%CHAT_MODEL_DEPLOYMENT_NAME%")
def genericcompletion(req: func.HttpRequest, response: str) -> func.HttpResponse:
    response_json = json.loads(response)
    return func.HttpResponse(response_json["content"], status_code=200)

Atrybuty

Określony atrybut stosowany do definiowania powiązania wejściowego uzupełniania tekstu zależy od trybu procesu języka C#.

W modelu izolowanego procesu roboczego zastosuj się TextCompletionInput do zdefiniowania powiązania wejściowego uzupełniania tekstu.

Atrybut obsługuje następujące parametry:

Parametr Opis
Monit Pobiera lub ustawia monit o wygenerowanie uzupełniania dla elementu zakodowanego jako ciąg.
Model Pobiera lub ustawia identyfikator modelu do użycia jako ciąg z wartością gpt-3.5-turbodomyślną .
Temperatura Opcjonalne. Pobiera lub ustawia temperaturę próbkowania do użycia jako ciąg między 0 i 2. Wyższe wartości (0.8) sprawiają, że dane wyjściowe będą bardziej losowe, a niższe wartości, takie jak (0.2), sprawiają, że dane wyjściowe są bardziej skoncentrowane i deterministyczne. Należy użyć metody Temperature lub TopP, ale nie obu tych elementów.
TopP Opcjonalne. Pobiera lub ustawia alternatywę dla próbkowania z temperaturą, nazywaną próbkowaniem jądra, jako ciągiem. W tej metodzie próbkowania model uwzględnia wyniki tokenów z masą top_p prawdopodobieństwa. Oznacza to 0.1 , że uwzględniane są tylko tokeny składające się z 10% pierwszej masy prawdopodobieństwa. Należy użyć metody Temperature lub TopP, ale nie obu tych elementów.
MaxTokens Opcjonalne. Pobiera lub ustawia maksymalną liczbę tokenów do wygenerowania w uzupełnianiu jako ciąg z wartością domyślną 100. Liczba tokenów monitu plus max_tokens nie może przekraczać długości kontekstu modelu. Większość modeli ma długość kontekstu 2048 tokenów (z wyjątkiem najnowszych modeli, które obsługują 4096).

Adnotacje

Adnotacja TextCompletion umożliwia zdefiniowanie powiązania wejściowego uzupełniania tekstu, które obsługuje następujące parametry:

Element opis
name Pobiera lub ustawia nazwę powiązania wejściowego.
monit Pobiera lub ustawia monit o wygenerowanie uzupełniania dla elementu zakodowanego jako ciąg.
model Pobiera lub ustawia identyfikator modelu do użycia jako ciąg z wartością gpt-3.5-turbodomyślną .
temperatura Opcjonalne. Pobiera lub ustawia temperaturę próbkowania do użycia jako ciąg między 0 i 2. Wyższe wartości (0.8) sprawiają, że dane wyjściowe będą bardziej losowe, a niższe wartości, takie jak (0.2), sprawiają, że dane wyjściowe są bardziej skoncentrowane i deterministyczne. Należy użyć metody Temperature lub TopP, ale nie obu tych elementów.
topP Opcjonalne. Pobiera lub ustawia alternatywę dla próbkowania z temperaturą, nazywaną próbkowaniem jądra, jako ciągiem. W tej metodzie próbkowania model uwzględnia wyniki tokenów z masą top_p prawdopodobieństwa. Oznacza to 0.1 , że uwzględniane są tylko tokeny składające się z 10% pierwszej masy prawdopodobieństwa. Należy użyć metody Temperature lub TopP, ale nie obu tych elementów.
maxTokens Opcjonalne. Pobiera lub ustawia maksymalną liczbę tokenów do wygenerowania w uzupełnianiu jako ciąg z wartością domyślną 100. Liczba tokenów monitu plus max_tokens nie może przekraczać długości kontekstu modelu. Większość modeli ma długość kontekstu 2048 tokenów (z wyjątkiem najnowszych modeli, które obsługują 4096).

Dekoratory

W wersji zapoznawczej zdefiniuj powiązanie wejściowe jako generic_input_binding powiązanie typu textCompletion, które obsługuje następujące parametry:

Parametr Opis
arg_name Nazwa zmiennej reprezentującej parametr powiązania.
monit Pobiera lub ustawia monit o wygenerowanie uzupełniania dla elementu zakodowanego jako ciąg.
model Pobiera lub ustawia identyfikator modelu do użycia jako ciąg z wartością gpt-3.5-turbodomyślną .
temperatura Opcjonalne. Pobiera lub ustawia temperaturę próbkowania do użycia jako ciąg między 0 i 2. Wyższe wartości (0.8) sprawiają, że dane wyjściowe będą bardziej losowe, a niższe wartości, takie jak (0.2), sprawiają, że dane wyjściowe są bardziej skoncentrowane i deterministyczne. Należy użyć metody Temperature lub TopP, ale nie obu tych elementów.
top_p Opcjonalne. Pobiera lub ustawia alternatywę dla próbkowania z temperaturą, nazywaną próbkowaniem jądra, jako ciągiem. W tej metodzie próbkowania model uwzględnia wyniki tokenów z masą top_p prawdopodobieństwa. Oznacza to 0.1 , że uwzględniane są tylko tokeny składające się z 10% pierwszej masy prawdopodobieństwa. Należy użyć metody Temperature lub TopP, ale nie obu tych elementów.
max_tokens Opcjonalne. Pobiera lub ustawia maksymalną liczbę tokenów do wygenerowania w uzupełnianiu jako ciąg z wartością domyślną 100. Liczba tokenów monitu plus max_tokens nie może przekraczać długości kontekstu modelu. Większość modeli ma długość kontekstu 2048 tokenów (z wyjątkiem najnowszych modeli, które obsługują 4096).

Konfigurowanie

Powiązanie obsługuje te właściwości konfiguracji ustawione w pliku function.json.

Właściwości Opis
type Musi mieć wartość textCompletion.
direction Musi mieć wartość in.
name Nazwa powiązania wejściowego.
monit Pobiera lub ustawia monit o wygenerowanie uzupełniania dla elementu zakodowanego jako ciąg.
model Pobiera lub ustawia identyfikator modelu do użycia jako ciąg z wartością gpt-3.5-turbodomyślną .
temperatura Opcjonalne. Pobiera lub ustawia temperaturę próbkowania do użycia jako ciąg między 0 i 2. Wyższe wartości (0.8) sprawiają, że dane wyjściowe będą bardziej losowe, a niższe wartości, takie jak (0.2), sprawiają, że dane wyjściowe są bardziej skoncentrowane i deterministyczne. Należy użyć metody Temperature lub TopP, ale nie obu tych elementów.
topP Opcjonalne. Pobiera lub ustawia alternatywę dla próbkowania z temperaturą, nazywaną próbkowaniem jądra, jako ciągiem. W tej metodzie próbkowania model uwzględnia wyniki tokenów z masą top_p prawdopodobieństwa. Oznacza to 0.1 , że uwzględniane są tylko tokeny składające się z 10% pierwszej masy prawdopodobieństwa. Należy użyć metody Temperature lub TopP, ale nie obu tych elementów.
maxTokens Opcjonalne. Pobiera lub ustawia maksymalną liczbę tokenów do wygenerowania w uzupełnianiu jako ciąg z wartością domyślną 100. Liczba tokenów monitu plus max_tokens nie może przekraczać długości kontekstu modelu. Większość modeli ma długość kontekstu 2048 tokenów (z wyjątkiem najnowszych modeli, które obsługują 4096).

Konfigurowanie

Powiązanie obsługuje te właściwości zdefiniowane w kodzie:

Właściwości opis
monit Pobiera lub ustawia monit o wygenerowanie uzupełniania dla elementu zakodowanego jako ciąg.
model Pobiera lub ustawia identyfikator modelu do użycia jako ciąg z wartością gpt-3.5-turbodomyślną .
temperatura Opcjonalne. Pobiera lub ustawia temperaturę próbkowania do użycia jako ciąg między 0 i 2. Wyższe wartości (0.8) sprawiają, że dane wyjściowe będą bardziej losowe, a niższe wartości, takie jak (0.2), sprawiają, że dane wyjściowe są bardziej skoncentrowane i deterministyczne. Należy użyć metody Temperature lub TopP, ale nie obu tych elementów.
topP Opcjonalne. Pobiera lub ustawia alternatywę dla próbkowania z temperaturą, nazywaną próbkowaniem jądra, jako ciągiem. W tej metodzie próbkowania model uwzględnia wyniki tokenów z masą top_p prawdopodobieństwa. Oznacza to 0.1 , że uwzględniane są tylko tokeny składające się z 10% pierwszej masy prawdopodobieństwa. Należy użyć metody Temperature lub TopP, ale nie obu tych elementów.
maxTokens Opcjonalne. Pobiera lub ustawia maksymalną liczbę tokenów do wygenerowania w uzupełnianiu jako ciąg z wartością domyślną 100. Liczba tokenów monitu plus max_tokens nie może przekraczać długości kontekstu modelu. Większość modeli ma długość kontekstu 2048 tokenów (z wyjątkiem najnowszych modeli, które obsługują 4096).

Użycie

Zobacz sekcję Przykład, aby zapoznać się z kompletnymi przykładami.

Powiązana zawartość