Saiba como usar o modo JSON

O modo JSON permite definir o formato de resposta dos modelos para retornar um objeto JSON válido como parte de uma conclusão de bate-papo. Embora a geração de JSON válido fosse possível anteriormente, poderia haver problemas com a consistência da resposta que levariam à geração de objetos JSON inválidos.

Nota

Embora o modo JSON ainda seja suportado, quando possível, recomendamos o uso de saídas estruturadas. Como as saídas estruturadas do modo JSON geram JSON válido, mas com o benefício adicional de que você pode restringir o modelo a usar um esquema JSON específico.

Nota

Atualmente, as saídas estruturadas não são suportadas no cenário bring your own data .

Suporte ao modo JSON

Atualmente, o modo JSON só é suportado com os seguintes modelos:

Modelos suportados

• gpt-35-turbo (1106)
• gpt-35-turbo (0125)
• gpt-4 (1106-Pré-visualização)
• gpt-4 (0125-Pré-visualização)
• gpt-4o
• gpt-4o-mini

Suporte de API

O suporte para o modo JSON foi adicionado pela primeira vez na versão da API 2023-12-01-preview

Exemplo

Python

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-03-01-preview"
)

response = client.chat.completions.create(
  model="YOUR-MODEL_DEPLOYMENT_NAME", # Model = should match the deployment name you chose for your model deployment
  response_format={ "type": "json_object" },
  messages=[
    {"role": "system", "content": "You are a helpful assistant designed to output JSON."},
    {"role": "user", "content": "Who won the world series in 2020?"}
  ]
)
print(response.choices[0].message.content)

Saída

{
  "winner": "Los Angeles Dodgers",
  "event": "World Series",
  "year": 2020
}

PowerShell

Neste exemplo, o usuário solicita informações históricas em um esquema JSON específico porque planeja usar a saída para scripts adicionais.

$openai = @{
   api_key     = $Env:AZURE_OPENAI_API_KEY
   api_base    = $Env:AZURE_OPENAI_ENDPOINT # like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
   api_version = '2024-03-01-preview' # may change in the future
   name        = 'YOUR-DEPLOYMENT-NAME-HERE' # name you chose for your deployment
}

$headers = @{
  'api-key' = $openai.api_key
}

$messages  = @()
$messages += @{
  role     = 'system'
  content  = 'You are a helpful assistant designed to output JSON.'
}
$messages += @{
  role     = 'user'
  content  = 'Who threw the final pitch during the world series each year from 1979 to 1989?'
}
$messages += @{
  role     = 'user'
  content  = 'Respond using schema. response:{year, team, player, player_height}.'
}

$body      = @{
  response_format = @{type = 'json_object'}
  messages = $messages
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/chat/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
$response.choices[0].message.content

Saída

O recurso de saída JSON facilita para o PowerShell converter a resposta em um objeto .NET. Passe os dados através de um | pipe para executar mais etapas de script, como classificação.

if ($response.choices[0].finish_reason -eq 'stop') {
  $response.choices[0].message.content | ConvertFrom-Json | ForEach-Object response | Sort player_height -Descending
} else { write-warning 'the JSON response was incomplete'}

year team                  player           player_height
---- ----                  ------           -------------
1979 Pittsburgh Pirates    Kent Tekulve     6' 4"
1984 Detroit Tigers        Willie Hernandez 6' 3"
1988 Los Angeles Dodgers   Orel Hershiser   6' 3"
1982 St. Louis Cardinals   Bruce Sutter     6' 2"
1985 Kansas City Royals    Dan Quisenberry  6' 2"
1986 New York Mets         Jesse Orosco     6' 2"
1989 Oakland Athletics     Dennis Eckersley 6' 2"
1981 Los Angeles Dodgers   Steve Howe       6' 1"
1980 Philadelphia Phillies Tug McGraw       6' 0"
1987 Minnesota Twins       Jeff Reardon     6' 0"
1983 Baltimore Orioles     Tippy Martinez   5' 10"

Há dois fatores-chave que precisam estar presentes para usar com êxito o modo JSON:

• response_format={ "type": "json_object" }
• Dissemos ao modelo para produzir JSON como parte da mensagem do sistema.

É necessário incluir orientação para o modelo que deve produzir JSON como parte da conversa de mensagens. Recomendamos adicionar instruções como parte da mensagem do sistema. De acordo com a OpenAI, a falha em adicionar essa instrução pode fazer com que o modelo "gere um fluxo interminável de espaço em branco e a solicitação pode ser executada continuamente até atingir o limite de token".

A não inclusão de "JSON" nas mensagens retorna:

Saída

BadRequestError: Error code: 400 - {'error': {'message': "'messages' must contain the word 'json' in some form, to use 'response_format' of type 'json_object'.", 'type': 'invalid_request_error', 'param': 'messages', 'code': None}}

Outras considerações

Você deve verificar finish_reason o valor length antes de analisar a resposta. O modelo pode gerar JSON parcial. Isso significa que a saída do modelo foi maior do que os max_tokens disponíveis que foram definidos como parte da solicitação ou que a própria conversa excedeu o limite de token.

O modo JSON produz JSON válido e analisa sem erros. No entanto, não há garantia de que a saída corresponda a um esquema específico, mesmo se solicitado no prompt.