Exercício – Detecção de fundamentação

Concluído

Implementar um agente de suporte ao cliente da plataforma AI é um divisor de águas para a Contoso Camping Store! Os clientes podem solicitar ao agente de suporte por recomendações e diretrizes sobre como usar produtos da Contoso Camping Store. No entanto, queremos garantir que o modelo forneça respostas fundamentadas no material de origem passado para o modelo.

Vamos testar prompts com o modelo para que possamos detectar a fundamentação de sua saída.

Detectando saída fundamentada

Podemos fornecer uma fonte de fundamentação, enviar um prompt e fornecer uma conclusão para testar a capacidade do modelo de detectar uma saída fundamentada. Vamos tentar este teste com o custo de uma tenda.

1. Na página Segurança de Conteúdo, selecione Detecção de fundamentação.

2. Na seção Escolher uma tarefa, selecione P e R.

3. Na seção Teste, insira o seguinte em cada caixa:

   • Fontes de fundamentação – A tenda custa 250,00 USD

   • Prompt – Custo da tenda?

   • Preenchimento – 250,00 USD

   

4. Selecione Executar teste.

Considerando que a Origem da fundamentação e a saída da Conclusão estão alinhadas, o modelo foi capaz de detectar que a saída está fundamentada.

Detectando saída não fundamentada

Como os modelos às vezes podem fornecer informações incorretas, queremos garantir que o modelo possa detectar se uma saída não tem fundamentação. Como o exemplo anterior, podemos testar se uma saída não tem fundamentação, mas, em vez disso, forneceremos uma Conclusão que contradiz ou não está alinhada com a Origem da fundamentação.

1. Na seção Teste, insira o seguinte em cada caixa:

   • Fontes de fundamentação – A tenda custa 250,00 USD

   • Prompt – Custo da tenda?

   • Preenchimento – 350,00 USD

   

2. Selecione Executar teste.

Como a Conclusão fornece o custo incorreto de uma tenda, a saída está sem fundamentação e o modelo foi capaz de detectar que a saída não tem fundamentação.

Gerando saída resumida

Para um agente de suporte ao cliente, queremos garantir que o modelo possa gerar saída resumida. Por exemplo, se um cliente fornece um longo relato dos problemas que experimentou com um produto. Queremos garantir que o modelo sintetize com precisão o contexto dentro da consulta do cliente e, em troca, forneça uma saída resumida fundamentada. Podemos testar a fundamentação passando a questão do cliente como a fonte de fundamentação e fornecendo um Preenchimento com base no contexto do questão.

1. Na seção Escolher uma tarefa, selecione Resumo.

2. Na seção Teste, insira o seguinte em cada caixa:

   • Fontes de fundamentação - Recentemente comprei três Tendas da TrailMaster X4 para uma viagem de acampamento em família. Embora no geral elas tenham servido bem, eu notei alguns probleminhas. Os zíperes em uma das tendas pareciam um pouco pegajosos, e havia um pequeno rasgo no saco de armazenamento. Estas são preocupações pequenas, mas achei que deveria alertar você sobre elas.

   • Preenchimento – Comprei quatro tendas que serviram bem e não tiveram problemas.

   

3. Selecione Executar teste.

Como o cliente comprou três tendas e teve alguns probleminhas com elas, o Preenchimento não tem fundamentação. O modelo foi capaz de detectar que a saída resumida não tinha fundamentação.