共用方式為


Get Chat Completions - Get Chat Completions

取得所提供聊天訊息的聊天完成。 完成支持各種不同的工作,併產生從 或 「完成」提供的提示數據繼續的文字。 方法會呼叫指定端點上 /chat/completions 路由的 REST API。

POST https:///chat/completions?api-version=2024-05-01-preview

URI 參數

名稱 位於 必要 類型 Description
api-version
query True

string

minLength: 1

要用於這項作業的 API 版本。

要求標頭

名稱 必要 類型 Description
extra-parameters

ExtraParameters

控制如果 REST API 未定義的額外參數傳入 JSON 要求承載,會發生什麼情況。 這會 extra-parameters設定 HTTP 要求標頭。

要求本文

名稱 必要 類型 Description
messages True ChatRequestMessage[]:

與此聊天完成要求相關聯的內容訊息集合。 一般使用方式的開頭是系統角色的聊天訊息,其會提供助理行為的指示,後面接著在使用者和助理角色之間交替訊息。

frequency_penalty

number (float)

minimum: -2
maximum: 2

值,根據產生的文字中的累計頻率,影響產生的令牌出現機率。 正值會使標記在頻率增加時不太可能出現,並減少重複相同語句的模型可能性。 支援的範圍是 [-2, 2]。

max_tokens

integer (int32)

minimum: 0

要產生的令牌數目上限。

modalities

ChatCompletionsModality[]

允許模型用於聊天完成回應的模式。 預設形式為 text。 指出不支援的模式組合會導致 422 錯誤。

model

string

如果端點上有一個以上的模型,則為要使用的特定 AI 模型標識碼。

presence_penalty

number (float)

minimum: -2
maximum: 2

值,根據產生的文字中現有的存在,影響產生的令牌出現機率。 正值會使令牌在已經存在時不太可能出現,並增加模型輸出新主題的可能性。 支援的範圍是 [-2, 2]。

response_format ChatCompletionsResponseFormat:

物件,指定模型必須輸出的格式。

將 設定為 { "type": "json_schema", "json_schema": {...} } 會啟用結構化輸出,以確保模型符合您提供的 JSON 架構。

將 設定為 { "type": "json_object" } 會啟用 JSON 模式,以確保模型產生的訊息是有效的 JSON。

重要事項:使用 JSON 模式時,您必須 也必須指示模型透過系統或使用者訊息自行產生 JSON。 如果沒有此情況,模型可能會產生未傳送的空格串流,直到產生達到令牌限制為止,導致長時間執行且看似「停滯」的要求。 另請注意,如果 finish_reason="length",則訊息內容可能會部分中斷,這表示已超過 max_tokens,或交談超過內容長度上限。

seed

integer (int64)

如果指定,系統會盡最大努力以決定性方式取樣,讓重複要求具有相同種子和參數應該傳回相同的結果。 不確定決定性。

stop

string[]

將結束完成產生之文字序列的集合。

stream

boolean

值,指出是否應該針對此要求串流聊天完成。

temperature

number (float)

minimum: 0
maximum: 1

用來控制所產生完成之明顯創造力的取樣溫度。 較高的值會使輸出更具隨機性,而較低的值會使結果更專注且具決定性。 不建議針對與這兩個設定的互動進行相同的完成要求修改溫度和top_p,這兩個設定的互動難以預測。 支援的範圍是 [0, 1]。

tool_choice

如果指定,模型會設定它可用於聊天完成回應的所提供的工具。

tools

ChatCompletionsToolDefinition[]

模型可能要求呼叫的工具清單。 目前僅支援函式做為工具。 模型可能會回應函式呼叫要求,並以 JSON 格式提供該函式的輸入自變數。

top_p

number (float)

minimum: 0
maximum: 1

使用稱為核取樣的溫度進行取樣的替代方案。 此值會使模型考慮具有所提供機率品質的令牌結果。 例如,值為 0.15 只會造成考慮機率品質前 15 個% 的標記。 不建議針對與這兩個設定的互動進行相同的完成要求修改溫度和top_p,這兩個設定的互動難以預測。 支援的範圍是 [0, 1]。

回應

名稱 類型 Description
200 OK

ChatCompletions

要求已成功。

Other Status Codes

Azure.Core.Foundations.ErrorResponse

未預期的錯誤回應。

標題

x-ms-error-code: string

安全性

api-key

類型: apiKey
位於: header

OAuth2Auth

類型: oauth2
Flow: implicit
授權 URL: https://login.microsoftonline.com/common/oauth2/v2.0/authorize

範圍

名稱 Description
https://ml.azure.com/.default

範例

Audio modality chat completion
maximum set chat completion
minimum set chat completion

Audio modality chat completion

範例要求

POST https:///chat/completions?api-version=2024-05-01-preview


{
  "modalities": [
    "text",
    "audio"
  ],
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant"
    },
    {
      "role": "user",
      "content": [
        {
          "type": "input_audio",
          "input_audio": {
            "data": "<base64 encoded audio data>",
            "format": "wav"
          }
        }
      ]
    },
    {
      "role": "assistant",
      "content": null,
      "audio": {
        "id": "abcdef1234"
      }
    },
    {
      "role": "user",
      "content": [
        {
          "type": "input_audio",
          "input_audio": {
            "data": "<base64 encoded audio data>",
            "format": "wav"
          }
        }
      ]
    }
  ],
  "frequency_penalty": 0,
  "presence_penalty": 0,
  "temperature": 0,
  "top_p": 0,
  "seed": 21,
  "model": "my-model-name"
}

範例回覆

{
  "id": "kgousajxgzyhugvqekuswuqbk",
  "object": "chat.completion",
  "created": 1696522361,
  "model": "my-model-name",
  "usage": {
    "completion_tokens": 19,
    "prompt_tokens": 28,
    "total_tokens": 16,
    "completion_tokens_details": {
      "audio_tokens": 5,
      "total_tokens": 5
    },
    "prompt_tokens_details": {
      "audio_tokens": 10,
      "cached_tokens": 0
    }
  },
  "choices": [
    {
      "index": 0,
      "finish_reason": "stop",
      "message": {
        "role": "assistant",
        "content": null,
        "tool_calls": null,
        "audio": {
          "id": "abcdef1234",
          "format": "wav",
          "data": "<base64 encoded audio data>",
          "expires_at": 1896522361,
          "transcript": "This is a sample transcript"
        }
      }
    }
  ]
}

maximum set chat completion

範例要求

POST https:///chat/completions?api-version=2024-05-01-preview


{
  "modalities": [
    "text"
  ],
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant"
    },
    {
      "role": "user",
      "content": "Explain Riemann's conjecture"
    },
    {
      "role": "assistant",
      "content": "The Riemann Conjecture is a deep mathematical conjecture around prime numbers and how they can be predicted. It was first published in Riemann's groundbreaking 1859 paper. The conjecture states that the Riemann zeta function has its zeros only at the negative even integers and complex numbers with real part 1/21. Many consider it to be the most important unsolved problem in pure mathematics. The Riemann hypothesis is a way to predict the probability that numbers in a certain range are prime that was also devised by German mathematician Bernhard Riemann in 18594."
    },
    {
      "role": "user",
      "content": "Ist it proved?"
    }
  ],
  "frequency_penalty": 0,
  "stream": true,
  "presence_penalty": 0,
  "temperature": 0,
  "top_p": 0,
  "max_tokens": 255,
  "response_format": {
    "type": "text"
  },
  "stop": [
    "<|endoftext|>"
  ],
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "my-function-name",
        "description": "A function useful to know if a theroem is proved or not"
      }
    }
  ],
  "seed": 21,
  "model": "my-model-name"
}

範例回覆

{
  "id": "kgousajxgzyhugvqekuswuqbk",
  "object": "chat.completion",
  "created": 18,
  "model": "my-model-name",
  "usage": {
    "completion_tokens": 19,
    "prompt_tokens": 28,
    "total_tokens": 16
  },
  "choices": [
    {
      "index": 7,
      "finish_reason": "stop",
      "message": {
        "role": "assistant",
        "content": null,
        "tool_calls": [
          {
            "id": "yrobmilsrugmbwukmzo",
            "type": "function",
            "function": {
              "name": "my-function-name",
              "arguments": "{ \"arg1\": \"value1\", \"arg2\": \"value2\" }"
            }
          }
        ]
      }
    }
  ]
}

minimum set chat completion

範例要求

POST https:///chat/completions?api-version=2024-05-01-preview

{
  "messages": [
    {
      "role": "user",
      "content": "Explain Riemann's conjecture"
    }
  ]
}

範例回覆

{
  "id": "kgousajxgzyhugvqekuswuqbk",
  "object": "chat.completion",
  "created": 1234567890,
  "model": "my-model-name",
  "usage": {
    "prompt_tokens": 205,
    "completion_tokens": 5,
    "total_tokens": 210
  },
  "choices": [
    {
      "index": 0,
      "finish_reason": "stop",
      "message": {
        "role": "assistant",
        "content": "The Riemann Conjecture is a deep mathematical conjecture around prime numbers and how they can be predicted. It was first published in Riemann's groundbreaking 1859 paper. The conjecture states that the Riemann zeta function has its zeros only at the negative even integers and complex numbers with real part 1/21. Many consider it to be the most important unsolved problem in pure mathematics. The Riemann hypothesis is a way to predict the probability that numbers in a certain range are prime that was also devised by German mathematician Bernhard Riemann in 18594"
      }
    }
  ]
}

定義

名稱 Description
AudioContentFormat

音訊之可能音訊格式的表示。

Azure.Core.Foundations.Error

error 物件。

Azure.Core.Foundations.ErrorResponse

包含錯誤詳細數據的回應。

Azure.Core.Foundations.InnerError

物件,包含有關錯誤的更特定資訊。 根據Microsoft一個 API 指導方針 - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses

ChatChoice

在整體聊天完成要求中,表示單一提示完成。 一般而言,每個提供的提示會產生 n 選項,預設值為1。 令牌限制和其他設定可能會限制產生的選擇數目。

ChatCompletions

來自聊天完成要求的回應數據表示。 完成支持各種不同的工作,併產生從 或 「完成」提供的提示數據繼續的文字。

ChatCompletionsAudio

模型所產生的音訊表示。

ChatCompletionsModality

允許模型用於聊天完成回應的模式。

ChatCompletionsOptions

聊天完成要求的組態資訊。 完成支持各種不同的工作,併產生從 或 「完成」提供的提示數據繼續的文字。

ChatCompletionsResponseFormatJsonObject

聊天完成的回應格式,會限制回應發出有效的 JSON 物件。 請注意,若要啟用 JSON 模式,某些 AI 模型可能也需要指示模型透過系統或使用者訊息產生 JSON。

ChatCompletionsResponseFormatJsonSchema

聊天完成的回應格式,會限制回應發出有效的 JSON 物件,以及呼叫端所指定的 JSON 架構。

ChatCompletionsResponseFormatJsonSchemaDefinition

回應中所需 JSON 架構的定義,以及相關聯的元數據。

ChatCompletionsResponseFormatText

發出文字回應的聊天完成回應格式。 這是預設回應格式。

ChatCompletionsToolCall

AI 模型所要求的函式工具呼叫。

ChatCompletionsToolDefinition

可呼叫函式的聊天完成工具定義。

ChatRequestAssistantMessage

代表助理回應或動作的要求聊天訊息。

ChatRequestAudioReference

模型所產生的音訊響應參考。

ChatRequestSystemMessage

要求聊天訊息,其中包含影響模型產生聊天完成回應方式的系統指示。

ChatRequestToolMessage

代表已設定工具所要求輸出的要求聊天訊息。

ChatRequestUserMessage

代表使用者輸入給助理的要求聊天訊息。

ChatResponseMessage

回應中收到的聊天訊息表示法。

ChatRole

聊天完成互動內訊息之預定用途的描述。

CompletionsFinishReason

完成回應結束之方式的表示。

CompletionsUsage

針對完成要求所處理的令牌計數表示。 計數會考慮提示、選擇、替代選項、best_of層代和其他取用者之間的所有令牌。

CompletionsUsageDetails

完成時所使用的令牌明細。

ExtraParameters

控制如果 REST API 未定義的額外參數傳入 JSON 要求承載,會發生什麼情況。

FunctionCall

應該呼叫之函式的名稱和自變數,如模型所產生。

FunctionDefinition

聊天完成可以叫用的呼叫端指定函式定義,以回應相符的用戶輸入。

PromptUsageDetails

提示/聊天記錄中使用的令牌明細。

AudioContentFormat

音訊之可能音訊格式的表示。

Description
mp3

以 MP3 格式指定音訊。

wav

以 WAV 格式指定音訊。

Azure.Core.Foundations.Error

error 物件。

名稱 類型 Description
code

string

其中一組伺服器定義的錯誤碼。

details

Azure.Core.Foundations.Error[]

導致此錯誤之特定錯誤的詳細數據陣列。

innererror

Azure.Core.Foundations.InnerError

物件,包含與目前對象有關錯誤更具體的資訊。

message

string

錯誤的人類可讀取表示法。

target

string

錯誤的目標。

Azure.Core.Foundations.ErrorResponse

包含錯誤詳細數據的回應。

名稱 類型 Description
error

Azure.Core.Foundations.Error

error 物件。

Azure.Core.Foundations.InnerError

物件,包含有關錯誤的更特定資訊。 根據Microsoft一個 API 指導方針 - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses

名稱 類型 Description
code

string

其中一組伺服器定義的錯誤碼。

innererror

Azure.Core.Foundations.InnerError

內部錯誤。

ChatChoice

在整體聊天完成要求中,表示單一提示完成。 一般而言,每個提供的提示會產生 n 選項,預設值為1。 令牌限制和其他設定可能會限制產生的選擇數目。

名稱 類型 Description
finish_reason

CompletionsFinishReason

此聊天完成選擇完成其產生的原因。

index

integer (int32)

與此聊天完成選項相關聯的已排序索引。

message

ChatResponseMessage

指定聊天完成提示的聊天訊息。

ChatCompletions

來自聊天完成要求的回應數據表示。 完成支持各種不同的工作,併產生從 或 「完成」提供的提示數據繼續的文字。

名稱 類型 Description
choices

ChatChoice[]

與此完成回應相關聯的完成選項集合。 一般而言,每個提供的提示會產生 n 選項,預設值為1。 令牌限制和其他設定可能會限制產生的選擇數目。

created

integer (unixtime)

與這個完成響應之產生活動相關聯的第一個時間戳,表示為 1970 年 1 月 1 日 Unix epoch 00:00 開始後的秒數。

id

string

與此聊天完成回應相關聯的唯一標識符。

model

string

用於聊天完成的模型。

object enum:

chat.completion

回應物件類型,一律 chat.completion

usage

CompletionsUsage

在此完成作業中處理和產生的令牌使用資訊。

ChatCompletionsAudio

模型所產生的音訊表示。

名稱 類型 Description
data

string

Base64 編碼的音訊數據

expires_at

integer (unixtime)

Unix 時間戳(以秒為單位)音訊片段到期,且無法再由其標識碼在多回合交談中參考。

format

AudioContentFormat

音訊內容的格式。 如果未提供格式,它會比對輸入音訊要求中使用的格式。

id

string

音訊回應的唯一標識符。 此值可用於聊天記錄訊息,而不是傳遞完整的音訊物件。

transcript

string

音訊檔案的文字記錄。

ChatCompletionsModality

允許模型用於聊天完成回應的模式。

Description
audio

模型允許產生音訊。

text

模型只允許產生文字。

ChatCompletionsOptions

聊天完成要求的組態資訊。 完成支持各種不同的工作,併產生從 或 「完成」提供的提示數據繼續的文字。

名稱 類型 預設值 Description
frequency_penalty

number (float)

minimum: -2
maximum: 2
0

值,根據產生的文字中的累計頻率,影響產生的令牌出現機率。 正值會使標記在頻率增加時不太可能出現,並減少重複相同語句的模型可能性。 支援的範圍是 [-2, 2]。

max_tokens

integer (int32)

minimum: 0

要產生的令牌數目上限。

messages ChatRequestMessage[]:

與此聊天完成要求相關聯的內容訊息集合。 一般使用方式的開頭是系統角色的聊天訊息,其會提供助理行為的指示,後面接著在使用者和助理角色之間交替訊息。

modalities

ChatCompletionsModality[]

允許模型用於聊天完成回應的模式。 預設形式為 text。 指出不支援的模式組合會導致 422 錯誤。

model

string

如果端點上有一個以上的模型,則為要使用的特定 AI 模型標識碼。

presence_penalty

number (float)

minimum: -2
maximum: 2
0

值,根據產生的文字中現有的存在,影響產生的令牌出現機率。 正值會使令牌在已經存在時不太可能出現,並增加模型輸出新主題的可能性。 支援的範圍是 [-2, 2]。

response_format ChatCompletionsResponseFormat:

物件,指定模型必須輸出的格式。

將 設定為 { "type": "json_schema", "json_schema": {...} } 會啟用結構化輸出,以確保模型符合您提供的 JSON 架構。

將 設定為 { "type": "json_object" } 會啟用 JSON 模式,以確保模型產生的訊息是有效的 JSON。

重要事項:使用 JSON 模式時,您必須 也必須指示模型透過系統或使用者訊息自行產生 JSON。 如果沒有此情況,模型可能會產生未傳送的空格串流,直到產生達到令牌限制為止,導致長時間執行且看似「停滯」的要求。 另請注意,如果 finish_reason="length",則訊息內容可能會部分中斷,這表示已超過 max_tokens,或交談超過內容長度上限。

seed

integer (int64)

如果指定,系統會盡最大努力以決定性方式取樣,讓重複要求具有相同種子和參數應該傳回相同的結果。 不確定決定性。

stop

string[]

將結束完成產生之文字序列的集合。

stream

boolean

值,指出是否應該針對此要求串流聊天完成。

temperature

number (float)

minimum: 0
maximum: 1
0.7

用來控制所產生完成之明顯創造力的取樣溫度。 較高的值會使輸出更具隨機性,而較低的值會使結果更專注且具決定性。 不建議針對與這兩個設定的互動進行相同的完成要求修改溫度和top_p,這兩個設定的互動難以預測。 支援的範圍是 [0, 1]。

tool_choice

如果指定,模型會設定它可用於聊天完成回應的所提供的工具。

tools

ChatCompletionsToolDefinition[]

模型可能要求呼叫的工具清單。 目前僅支援函式做為工具。 模型可能會回應函式呼叫要求,並以 JSON 格式提供該函式的輸入自變數。

top_p

number (float)

minimum: 0
maximum: 1
1

使用稱為核取樣的溫度進行取樣的替代方案。 此值會使模型考慮具有所提供機率品質的令牌結果。 例如,值為 0.15 只會造成考慮機率品質前 15 個% 的標記。 不建議針對與這兩個設定的互動進行相同的完成要求修改溫度和top_p,這兩個設定的互動難以預測。 支援的範圍是 [0, 1]。

ChatCompletionsResponseFormatJsonObject

聊天完成的回應格式,會限制回應發出有效的 JSON 物件。 請注意,若要啟用 JSON 模式,某些 AI 模型可能也需要指示模型透過系統或使用者訊息產生 JSON。

名稱 類型 Description
type string:

json_object

用於聊天完成的回應格式類型。

ChatCompletionsResponseFormatJsonSchema

聊天完成的回應格式,會限制回應發出有效的 JSON 物件,以及呼叫端所指定的 JSON 架構。

名稱 類型 Description
json_schema

ChatCompletionsResponseFormatJsonSchemaDefinition

回應中所需 JSON 架構的定義,以及相關聯的元數據。

type string:

json_schema

用於聊天完成的回應格式類型。

ChatCompletionsResponseFormatJsonSchemaDefinition

回應中所需 JSON 架構的定義,以及相關聯的元數據。

名稱 類型 預設值 Description
description

string

AI 模型用來判斷如何以這個格式產生回應的回應格式描述。

name

string

回應格式的名稱。 必須是 a-z、A-Z、0-9,或包含底線和虛線,長度上限為 64。

schema

JSON 架構的定義

strict

boolean

False

是否要在產生輸出時啟用嚴格的架構遵循。 如果設定為 true,模型一律會遵循 schema 欄位中定義的確切架構。 strict true 時,僅支援 JSON 架構的子集。

ChatCompletionsResponseFormatText

發出文字回應的聊天完成回應格式。 這是預設回應格式。

名稱 類型 Description
type string:

text

用於聊天完成的回應格式類型。

ChatCompletionsToolCall

AI 模型所要求的函式工具呼叫。

名稱 類型 Description
function

FunctionCall

AI 模型所要求的函數調用詳細數據。

id

string

工具呼叫的識別碼。

type enum:

function

工具呼叫的類型。 目前僅支援 function

ChatCompletionsToolDefinition

可呼叫函式的聊天完成工具定義。

名稱 類型 Description
function

FunctionDefinition

函式工具的函式定義詳細數據。

type enum:

function

工具的類型。 目前僅支援 function

ChatRequestAssistantMessage

代表助理回應或動作的要求聊天訊息。

名稱 類型 Description
audio

ChatRequestAudioReference

在多回合交談中先前回應所產生的音訊。

content

string

訊息的內容。

role string:

assistant

與此訊息相關聯的聊天角色。

tool_calls

ChatCompletionsToolCall[]

必須解析的工具呼叫,並將其輸出附加至後續的輸入訊息,以供聊天完成要求解析為已設定。

ChatRequestAudioReference

模型所產生的音訊響應參考。

名稱 類型 Description
id

string

音訊回應的唯一標識符。 這個值會對應到先前音訊完成的標識碼。

ChatRequestSystemMessage

要求聊天訊息,其中包含影響模型產生聊天完成回應方式的系統指示。

名稱 類型 Description
content

string

系統訊息的內容。

role string:

system

與此訊息相關聯的聊天角色。

ChatRequestToolMessage

代表已設定工具所要求輸出的要求聊天訊息。

名稱 類型 Description
content

string

訊息的內容。

role string:

tool

與此訊息相關聯的聊天角色。

tool_call_id

string

所提供內容解析之工具呼叫的標識碼。

ChatRequestUserMessage

代表使用者輸入給助理的要求聊天訊息。

名稱 類型 Description
content

使用者訊息的內容,可用輸入類型會依選取的模型而不同。

role string:

user

與此訊息相關聯的聊天角色。

ChatResponseMessage

回應中收到的聊天訊息表示法。

名稱 類型 Description
audio

ChatCompletionsAudio

如果模型設定為產生音訊,則模型所產生的音訊會作為訊息的回應。

content

string

訊息的內容。

role

ChatRole

與訊息相關聯的聊天角色。

tool_calls

ChatCompletionsToolCall[]

必須解析的工具呼叫,並將其輸出附加至後續的輸入訊息,以供聊天完成要求解析為已設定。

ChatRole

聊天完成互動內訊息之預定用途的描述。

Description
assistant

提供系統指示、使用者提示輸入回應的角色。

developer

角色,提供在使用者訊息之前優先處理之模型的指示。

system

指示或設定助理行為的角色。

tool

角色,表示聊天完成作業內的擴充工具活動。

user

提供聊天完成輸入的角色。

CompletionsFinishReason

完成回應結束之方式的表示。

Description
content_filter

完成會產生一個回應,該回應會識別為可能區分每個內容仲裁原則。

length

完成會耗盡可用的令牌限制,才能產生完成。

stop

完成會正常結束,並達到令牌產生結束。

tool_calls

完成會以呼叫提供的輸出工具的模型結束。

CompletionsUsage

針對完成要求所處理的令牌計數表示。 計數會考慮提示、選擇、替代選項、best_of層代和其他取用者之間的所有令牌。

名稱 類型 Description
completion_tokens

integer (int32)

在所有完成排放中產生的令牌數目。

completion_tokens_details

CompletionsUsageDetails

完成時所使用的令牌明細。

prompt_tokens

integer (int32)

提供的令牌數目會提示完成要求。

prompt_tokens_details

PromptUsageDetails

提示/聊天記錄中使用的令牌明細。

total_tokens

integer (int32)

完成要求和回應所處理的令牌總數。

CompletionsUsageDetails

完成時所使用的令牌明細。

名稱 類型 Description
audio_tokens

integer (int32)

對應至音訊輸入的令牌數目。

total_tokens

integer (int32)

完成要求和回應所處理的令牌總數。

ExtraParameters

控制如果 REST API 未定義的額外參數傳入 JSON 要求承載,會發生什麼情況。

Description
drop

服務會忽略要求承載中的額外參數。。 它只會將已知參數傳遞至後端 AI 模型。

error

如果服務偵測到要求承載中的額外參數,服務將會發生錯誤。 這是服務預設值。

pass-through

服務會將額外的參數傳遞至後端 AI 模型。

FunctionCall

應該呼叫之函式的名稱和自變數,如模型所產生。

名稱 類型 Description
arguments

string

使用的自變數,以 JSON 格式產生模型所產生的自變數。 請注意,模型不一定會產生有效的 JSON,而且可能會使函式架構未定義的幻覺參數。 在呼叫函式之前,請先驗證程序代碼中的自變數。

name

string

要呼叫的函式名稱。

FunctionDefinition

聊天完成可以叫用的呼叫端指定函式定義,以回應相符的用戶輸入。

名稱 類型 Description
description

string

函式所執行之用途的描述。 選取函式並解譯其參數時,模型會使用此描述。

name

string

要呼叫之函式的名稱。

parameters

函式接受的參數,描述為 JSON 架構物件。

PromptUsageDetails

提示/聊天記錄中使用的令牌明細。

名稱 類型 Description
audio_tokens

integer (int32)

對應至音訊輸入的令牌數目。

cached_tokens

integer (int32)

快取的令牌總數。