Modelos de teste no playground do Azure AI Studio

Concluído

Os playgrounds são interfaces úteis no Azure AI Studio que você pode usar para experimentar seus modelos implantados sem precisar desenvolver seu próprio aplicativo cliente. O Azure AI Studio oferece vários playgrounds com diferentes opções de ajuste de parâmetros.

Parque infantil de acabamentos

O playground Completions permite que você faça chamadas para seus modelos implantados por meio de uma interface text-in, text-out e ajuste parâmetros. Você precisa selecionar o nome da implantação do seu modelo em Implantações. Opcionalmente, você pode usar os exemplos fornecidos para começar e, em seguida, inserir seus próprios prompts.

Parâmetros do Playground de Conclusão

Há muitos parâmetros que você pode ajustar para alterar o desempenho do seu modelo:

• Temperatura: Controla a aleatoriedade. A redução da temperatura significa que o modelo produz respostas mais repetitivas e determinísticas. O aumento da temperatura resulta em respostas mais inesperadas ou criativas. Tente ajustar a temperatura ou Top P, mas não ambos.
• Comprimento máximo (tokens): defina um limite para o número de tokens por resposta do modelo. A API suporta um máximo de 4000 tokens compartilhados entre o prompt (incluindo mensagem do sistema, exemplos, histórico de mensagens e consulta do usuário) e a resposta do modelo. Um token tem aproximadamente quatro caracteres para o texto típico em inglês.
• Parar sequências: faça com que as respostas parem em um ponto desejado, como o final de uma frase ou lista. Especifique até quatro sequências em que o modelo deixará de gerar mais tokens em uma resposta. O texto retornado não conterá a sequência de parada.
• Probabilidades máximas (Top P): Semelhante à temperatura, este controla a aleatoriedade, mas usa um método diferente. A redução do Top P reduz a seleção de tokens do modelo para tokens mais prováveis. O aumento do Top P permite que o modelo escolha entre tokens com alta e baixa probabilidade. Tente ajustar a temperatura ou Top P, mas não ambos.
• Penalidade de frequência: reduza a chance de repetir um token proporcionalmente com base na frequência com que ele apareceu no texto até agora. Isso diminui a probabilidade de repetir exatamente o mesmo texto em uma resposta.
• Penalidade de presença: reduza a chance de repetir qualquer token que tenha aparecido no texto até agora. Isso aumenta a probabilidade de introduzir novos tópicos em uma resposta.
• Texto de pré-resposta: insira texto após a entrada do usuário e antes da resposta do modelo. Isso pode ajudar a preparar o modelo para uma resposta.
• Texto pós-resposta: insira texto após a resposta gerada pelo modelo para incentivar a entrada do usuário, como ao modelar uma conversa.

Playground de bate-papo

O playground de bate-papo é baseado em uma interface de entrada e saída de mensagens. Você pode inicializar a sessão com uma mensagem do sistema para configurar o contexto do chat.

No Chat playground, você pode adicionar alguns exemplos de captura. O termo few-shot refere-se a fornecer alguns exemplos para ajudar o modelo a aprender o que precisa fazer. Você pode pensar nisso em contraste com zero-shot, que se refere a não fornecer exemplos.

Na configuração do Assistente, você pode fornecer alguns exemplos do que pode ser a entrada do usuário e qual deve ser a resposta do assistente. O assistente tenta imitar as respostas que você inclui aqui no tom, nas regras e no formato que você definiu na mensagem do sistema.

Parâmetros do playground de bate-papo

O playground de bate-papo, como o playground de conclusão, também inclui parâmetros para personalizar o comportamento do modelo. O playground de bate-papo também suporta outros parâmetros não disponíveis no playground de conclusão. Estes são, entre outros:

• Resposta máxima: defina um limite no número de tokens por resposta do modelo. A API suporta um máximo de 4000 tokens compartilhados entre o prompt (incluindo mensagem do sistema, exemplos, histórico de mensagens e consulta do usuário) e a resposta do modelo. Um token tem aproximadamente quatro caracteres para o texto típico em inglês.
• Mensagens anteriores incluídas: selecione o número de mensagens anteriores a serem incluídas em cada nova solicitação de API. A inclusão de mensagens anteriores ajuda a fornecer o contexto do modelo para novas consultas de usuários. Definir esse número como 10 incluirá cinco consultas de usuário e cinco respostas do sistema.

A contagem de tokens atual pode ser visualizada no playground do bate-papo. Como as chamadas de API têm um preço por token e é possível definir um limite máximo de token de resposta, convém ficar de olho na contagem atual de tokens para garantir que a conversa não exceda a contagem máxima de tokens de resposta.