Perguntas frequentes sobre o uso da orquestração generativa
Estas perguntas frequentes (FAQ) descrevem o impacto da IA do modo de orquestração generativa para agentes personalizados criados no Copilot Studio.
O que é orquestração generativa?
A orquestração generativa permite que seu agente personalizado responda às consultas do usuário com tópicos e/ou ações relevantes. A orquestração generativa permite conversas mais naturais preenchendo entradas usando detalhes do histórico da conversa. Por exemplo, se você perguntar sobre a loja mais próxima em Kirkland e, em seguida, perguntar sobre o tempo lá, a orquestração infere que você deseja perguntar sobre o tempo em Kirkland. O sistema também pode encadear várias ações ou tópicos. Por exemplo, ele pode responder "Preciso pegar o horário da loja e encontrar a loja mais próxima". Quando o agente não tem certeza sobre detalhes, ele pode fazer perguntas de acompanhamento para desambiguar.
O que a orquestração generativa pode fazer?
Com a orquestração generativa, o sistema cria primeiro um plano para responder à consulta do usuário usando o nome, a descrição, as entradas e as saídas dos tópicos e ações disponíveis. Ela também faz referência aos últimos 10 turnos da história da conversa. Em seguida, tenta executar o plano preenchendo as entradas necessárias da conversa, acompanhando o usuário em busca de detalhes ausentes ou ambíguos. O sistema verifica se ela encontrou uma resposta para a pergunta do usuário, antes de responder ao usuário. Caso contrário, ele passa pelo processo novamente. Por fim, o sistema gera um resposta com base na saída do plano, a partir dos tópicos e/ou ações. Ele também usa quaisquer instruções personalizadas para o agente ao gerar a resposta final.
Quais são os usos pretendidos da orquestração generativa?
Você pode usar esse modo em seu agente para criar um agente que possa responder a consultas do usuário com base no histórico de conversas, nomes e descrições de tópicos e nomes, descrições, entradas e saídas de ações.
Como a orquestração generativa é avaliada? Quais métricas são usadas para medir o desempenho?
A orquestração generativa é avaliada quanto à qualidade de ponta a ponta em cada etapa do processo. A qualidade é medida em termos de quão bem o sistema cria e executa um plano que atende com êxito à consulta do usuário. Nossa equipe rotula manualmente as pontuações de qualidade durante o ajuste fino. Avaliamos a qualidade em várias consultas, prompts e ações do usuário. Também avaliamos o quão bem o sistema se sai em ignorar conteúdo malicioso de usuários e autores, e quão bem o sistema evita a produção de conteúdo prejudicial.
Quais são as limitações da orquestração generativa? Como os usuários minimizam o impacto das limitações da orquestração generativa ao usar o sistema?
Para obter melhores resultados, certifique-se de que seus tópicos e ações incluam descrições de alta qualidade. Fornecemos orientação sobre como escrever descrições de alta qualidade na documentação do Copilot Studio.
Quais fatores e configurações operacionais permitem o uso eficaz e responsável da orquestração generativa?
A orquestração generativa atualmente é somente em inglês. Depois de habilitar o modo generativo em seu agente, você pode testar o sistema para ver o desempenho dele usando o painel de teste. Você também pode adicionar instruções personalizadas para o agente para ajudar a gerar a resposta final.
O que são ações e como seu agente, com o modo generativo habilitado, as usa?
Você pode adicionar ações ao seu agente personalizado para responder às consultas do usuário. Você pode usar ações desenvolvidas pela Microsoft ou por terceiros ou pode criar suas próprias ações. Você define quais ações configurar para o agente personalizado usar. Você também pode editar o nome, a descrição, as entradas e as saídas usadas pelo sistema.
Quais dados podem o Copilot Studio fornecer às ações? Quais permissões as ações do Copilot Studio têm?
Quando seu agente chama uma ação, a ação recebe os valores de entrada especificados pela ação. Os valores de entrada podem incluir parte do histórico de conversas com o usuário.
Que tipos de problemas podem surgir ao usar o Copilot Studio habilitado com ações?
As ações nem sempre funcionam como esperado. Erros podem ocorrer ao preparar a entrada para a ação ou ao gerar uma resposta com base na saída da ação. Seu agente também pode chamar a ação errada para a consulta do usuário. Para reduzir o risco de tais erros ao usar ações, certifique-se de ter descrições de alta qualidade, relevantes e inequívocas configuradas para as ações em seu agente personalizado.
Quais proteções o Copilot Studio tem em vigor para a IA responsável?
Existem muitos recursos de mitigação para proteger seus agentes. Você pode configurar seu agente com um conjunto de conhecimentos, ações e tópicos. Os agentes nunca executam uma ação que não faça parte de sua configuração. Os administradores podem não permitir ações para agentes em sua organização. Se você estiver preocupado com uma ação ser acionada sem confirmação, poderá configurar uma ação para ser chamada somente quando um usuário concordar em chamá-la.
Além disso, temos classificadores que analisam a entrada para o sistema para detectar conteúdo nocivo e ataques de jailbreak. De acordo com nossos testes, esses classificadores têm uma alta taxa de sucesso no bloqueio de conteúdo prejudicial e ataques de jailbreak, além de terem alto sucesso em não bloquear conteúdo que não seja prejudicial ou um ataque de jailbreak. No entanto, os classificadores não podem ser perfeitos, então há riscos de um agente produzir conteúdo prejudicial ou responder a um ataque de jailbreak. Esses riscos incluem ataques de injeção de prompt entre domínios, em que instruções podem ser adicionadas à saída de uma ação ou de uma fonte de conhecimento que o agente tenta seguir.
Finalmente, é uma prática recomendada comunicar aos usuários que o agente usa inteligência artificial, portanto, a seguinte mensagem padrão informa os usuários: "Só para que você esteja ciente, às vezes uso IA para responder às suas perguntas".