適用於 Azure Functions 的 Azure OpenAI 內嵌輸入繫結

發行項
05/21/2024

重要

適用於 Azure Functions 的 Azure OpenAI 延伸模組目前為預覽狀態。

Azure OpenAI 內嵌輸入繫結可讓您產生輸入的內嵌。繫結可以從檔案或原始文字輸入產生內嵌。

如需 Azure OpenAI 延伸模組的安裝和設定詳細資訊，請參閱適用於 Azure Functions 的 Azure OpenAI 延伸模組。若要深入了解 Azure OpenAI 服務中的內嵌，請參閱了解 Azure OpenAI 服務中的內嵌。

注意

參考和範例僅適用於 Node.js v4 模型。

注意

參考和範例僅適用於 Python v2 模型。

注意

雖然支援這兩個 C# 進程模型，但只會提供隔離的背景工作模型範例。

範例

此範例示範如何產生原始文字字串的內嵌。

[Function(nameof(GenerateEmbeddings_Http_RequestAsync))]
public async Task GenerateEmbeddings_Http_RequestAsync(
    [HttpTrigger(AuthorizationLevel.Function, "post", Route = "embeddings")] HttpRequestData req,
    [EmbeddingsInput("{rawText}", InputType.RawText, Model = "%EMBEDDING_MODEL_DEPLOYMENT_NAME%")] EmbeddingsContext embeddings)
{
    using StreamReader reader = new(req.Body);
    string request = await reader.ReadToEndAsync();

    EmbeddingsRequest? requestBody = JsonSerializer.Deserialize<EmbeddingsRequest>(request);

    this.logger.LogInformation(
        "Received {count} embedding(s) for input text containing {length} characters.",
        embeddings.Count,
        requestBody?.RawText?.Length);

    // TODO: Store the embeddings into a database or other storage.
}

這個範例示範如何擷取儲存在函式可存取之指定檔案的內嵌專案。

[Function(nameof(GetEmbeddings_Http_FilePath))]
public async Task GetEmbeddings_Http_FilePath(
    [HttpTrigger(AuthorizationLevel.Function, "post", Route = "embeddings-from-file")] HttpRequestData req,
    [EmbeddingsInput("{filePath}", InputType.FilePath, MaxChunkLength = 512, Model = "%EMBEDDING_MODEL_DEPLOYMENT_NAME%")] EmbeddingsContext embeddings)
{
    using StreamReader reader = new(req.Body);
    string request = await reader.ReadToEndAsync();

    EmbeddingsRequest? requestBody = JsonSerializer.Deserialize<EmbeddingsRequest>(request);
    this.logger.LogInformation(
        "Received {count} embedding(s) for input file '{path}'.",
        embeddings.Count,
        requestBody?.FilePath);

    // TODO: Store the embeddings into a database or other storage.
}

此範例示範如何產生原始文字字串的內嵌。

@FunctionName("GenerateEmbeddingsHttpRequest")
public HttpResponseMessage generateEmbeddingsHttpRequest(
    @HttpTrigger(
        name = "req", 
        methods = {HttpMethod.POST},
        authLevel = AuthorizationLevel.ANONYMOUS,
        route = "embeddings")
    HttpRequestMessage<EmbeddingsRequest> request,
    @EmbeddingsInput(name = "Embeddings", input = "{RawText}", inputType = InputType.RawText, model = "%EMBEDDING_MODEL_DEPLOYMENT_NAME%") String embeddingsContext,
    final ExecutionContext context) {

    if (request.getBody() == null)
    {
        throw new IllegalArgumentException("Invalid request body. Make sure that you pass in {\"rawText\": value } as the request body.");
    }

    JSONObject embeddingsContextJsonObject = new JSONObject(embeddingsContext);
    
    context.getLogger().info(String.format("Received %d embedding(s) for input text containing %s characters.",
            embeddingsContextJsonObject.getJSONObject("response")
                    .getJSONArray("data")
                    .getJSONObject(0)
                    .getJSONArray("embedding").length(),
            request.getBody().getRawText().length()));

    // TODO: Store the embeddings into a database or other storage.
    return request.createResponseBuilder(HttpStatus.ACCEPTED)
            .header("Content-Type", "application/json")
            .build();
}

這個範例示範如何擷取儲存在函式可存取之指定檔案的內嵌專案。

@FunctionName("GenerateEmbeddingsHttpFilePath")
public HttpResponseMessage generateEmbeddingsHttpFilePath(
    @HttpTrigger(
        name = "req", 
        methods = {HttpMethod.POST},
        authLevel = AuthorizationLevel.ANONYMOUS,
        route = "embeddings-from-file")
    HttpRequestMessage<EmbeddingsRequest> request,
    @EmbeddingsInput(name = "Embeddings", input = "{FilePath}", inputType = InputType.FilePath, maxChunkLength = 512, model = "%EMBEDDING_MODEL_DEPLOYMENT_NAME%") String embeddingsContext,
    final ExecutionContext context) {

    if (request.getBody() == null)
    {
        throw new IllegalArgumentException("Invalid request body. Make sure that you pass in {\"rawText\": value } as the request body.");
    }

    JSONObject embeddingsContextJsonObject = new JSONObject(embeddingsContext);
    
    context.getLogger().info(String.format("Received %d embedding(s) for input file %s.",
            embeddingsContextJsonObject.getJSONObject("response")
                    .getJSONArray("data")
                    .getJSONObject(0)
                    .getJSONArray("embedding").length(),
            request.getBody().getFilePath()));

    // TODO: Store the embeddings into a database or other storage.
    return request.createResponseBuilder(HttpStatus.ACCEPTED)
            .header("Content-Type", "application/json")
            .build();
}

尚未提供範例。

此範例示範如何產生原始文字字串的內嵌。

const embeddingsHttpInput = input.generic({
    input: '{rawText}',
    inputType: 'RawText',
    type: 'embeddings',
    model: '%EMBEDDING_MODEL_DEPLOYMENT_NAME%'
})

app.http('generateEmbeddings', {
    methods: ['POST'],
    route: 'embeddings',
    authLevel: 'function',
    extraInputs: [embeddingsHttpInput],
    handler: async (request, context) => {
        let requestBody: EmbeddingsHttpRequest = await request.json();
        let response: any = context.extraInputs.get(embeddingsHttpInput);

        context.log(
            `Received ${response.count} embedding(s) for input text containing ${requestBody.RawText.length} characters.`
        );
        
        // TODO: Store the embeddings into a database or other storage.

        return {status: 202}
    }
});

這個範例示範如何擷取儲存在函式可存取之指定檔案的內嵌專案。

const embeddingsFilePathInput = input.generic({
    input: '{filePath}',
    inputType: 'FilePath',
    type: 'embeddings',
    maxChunkLength: 512,
    model: '%EMBEDDING_MODEL_DEPLOYMENT_NAME%'
})

app.http('getEmbeddingsFilePath', {
    methods: ['POST'],
    route: 'embeddings-from-file',
    authLevel: 'function',
    extraInputs: [embeddingsFilePathInput],
    handler: async (request, context) => {
        let requestBody: EmbeddingsFilePath = await request.json();
        let response: any = context.extraInputs.get(embeddingsFilePathInput);

        context.log(
            `Received ${response.count} embedding(s) for input file ${requestBody.FilePath}.`
        );
        
        // TODO: Store the embeddings into a database or other storage.

        return {status: 202}
    }

此範例示範如何產生原始文字字串的內嵌。

以下是用來產生內嵌function.json檔案：

{
  "bindings": [
    {
      "authLevel": "function",
      "type": "httpTrigger",
      "direction": "in",
      "name": "Request",
      "route": "embeddings",
      "methods": [
        "post"
      ]
    },
    {
      "type": "http",
      "direction": "out",
      "name": "Response"
    },
    {
      "name": "Embeddings",
      "type": "embeddings",
      "direction": "in",
      "inputType": "RawText",
      "input": "{rawText}",
      "model": "%EMBEDDING_MODEL_DEPLOYMENT_NAME%"
    }
  ]
}

如需 function.json 檔案屬性的詳細資訊，請參閱設定一節。

using namespace System.Net

param($Request, $TriggerMetadata, $Embeddings)

$input = $Request.Body.RawText

Write-Host "Received $($Embeddings.Count) embedding(s) for input text containing $($input.Length) characters."

Push-OutputBinding -Name Response -Value ([HttpResponseContext]@{
        StatusCode = [HttpStatusCode]::Accepted
})

此範例示範如何產生原始文字字串的內嵌。

@app.function_name("GenerateEmbeddingsHttpRequest")
@app.route(route="embeddings", methods=["POST"])
@app.embeddings_input(arg_name="embeddings", input="{rawText}", input_type="rawText", model="%EMBEDDING_MODEL_DEPLOYMENT_NAME%")
def generate_embeddings_http_request(req: func.HttpRequest, embeddings: str) -> func.HttpResponse:
    user_message = req.get_json()
    embeddings_json = json.loads(embeddings)
    embeddings_request = {
        "raw_text": user_message.get("rawText")
    }
    logging.info(f'Received {embeddings_json.get("count")} embedding(s) for input text '
        f'containing {len(embeddings_request.get("raw_text"))} characters.')
    # TODO: Store the embeddings into a database or other storage.
    return func.HttpResponse(status_code=200)

屬性

套用 EmbeddingsInput 屬性來定義內嵌儲存輸入繫結，其支援下列參數：

參數	描述
輸入	要為其產生內嵌的輸入字串。
模型	選擇性。要使用的模型識別碼，預設為 `text-embedding-ada-002`。您不應該變更現有資料庫的模型。如需詳細資訊，請參閱使用方式。
MaxChunkLength	選擇性。用於區塊化輸入的字元數目上限。如需詳細資訊，請參閱使用方式。
MaxOverlap	選擇性。取得或設定區塊之間重疊的最大字元數目。
InputType	選擇性。取得輸入的類型。

註釋

EmbeddingsInput 註釋可讓您定義內嵌輸入繫結，其支援下列參數：

元素	描述
name	取得或設定輸入繫結的名稱。
input	要為其產生內嵌的輸入字串。
model	選擇性。要使用的模型識別碼，預設為 `text-embedding-ada-002`。您不應該變更現有資料庫的模型。如需詳細資訊，請參閱使用方式。
maxChunkLength	選擇性。用於區塊化輸入的字元數目上限。如需詳細資訊，請參閱使用方式。
maxOverlap	選擇性。取得或設定區塊之間重疊的最大字元數目。
inputType	選擇性。取得輸入的類型。

裝飾項目

在預覽期間，將輸入繫結定義為 embeddings 類型的 generic_input_binding 繫結，其支援下列參數：embeddings 裝飾項目支援這些參數：

參數	描述
arg_name	代表繫結參數的變數名稱。
input	要為其產生內嵌的輸入字串。
model	選擇性。要使用的模型識別碼，預設為 `text-embedding-ada-002`。您不應該變更現有資料庫的模型。如需詳細資訊，請參閱使用方式。
maxChunkLength	選擇性。用於區塊化輸入的字元數目上限。如需詳細資訊，請參閱使用方式。
max_overlap	選擇性。取得或設定區塊之間重疊的最大字元數目。
input_type	取得輸入的類型。

組態

繫結支援您在 function.json 檔案中設定的下列組態屬性。

屬性	描述
type	必須是 `EmbeddingsInput`。
direction	必須是 `in`。
name	輸入繫結的名稱。
input	要為其產生內嵌的輸入字串。
model	選擇性。要使用的模型識別碼，預設為 `text-embedding-ada-002`。您不應該變更現有資料庫的模型。如需詳細資訊，請參閱使用方式。
maxChunkLength	選擇性。用於區塊化輸入的字元數目上限。如需詳細資訊，請參閱使用方式。
maxOverlap	選擇性。取得或設定區塊之間重疊的最大字元數目。
inputType	選擇性。取得輸入的類型。

組態

繫結支援您在程式碼中定義的下列屬性：

屬性	說明
input	要為其產生內嵌的輸入字串。
model	選擇性。要使用的模型識別碼，預設為 `text-embedding-ada-002`。您不應該變更現有資料庫的模型。如需詳細資訊，請參閱使用方式。
maxChunkLength	選擇性。用於區塊化輸入的字元數目上限。如需詳細資訊，請參閱使用方式。
maxOverlap	選擇性。取得或設定區塊之間重疊的最大字元數目。
inputType	選擇性。取得輸入的類型。

如需完整範例，請參閱範例一節。

使用方式

變更預設內嵌 model 會變更內嵌在向量資料庫的儲存方式。變更預設模型可能會導致查閱與先前內嵌至向量資料庫的其他資料不相符，從而導致錯誤行為。內嵌的預設模型是 text-embedding-ada-002。

計算輸入區塊的最大字元長度時，請考慮允許第二代輸入內嵌模型 (例如 text-embedding-ada-002) 的最大輸入權杖為 8191。單一權杖長度約為 4 個字元 (英文)，轉譯為單一區塊可容納的輸入字元為 32,000 個字元 (英文)。

共用方式為

適用於 Azure Functions 的 Azure OpenAI 內嵌輸入繫結

範例

屬性

註釋

裝飾項目

組態

組態

使用方式

意見反應

其他資源

共用方式為

適用於 Azure Functions 的 Azure OpenAI 內嵌輸入繫結

範例

屬性

註釋

裝飾項目

組態

組態

使用方式

相關內容

意見反應

其他資源