Explorar as variantes e as opções de monitoramento

Concluído

Durante a produção, queira otimizar e implantar seu fluxo. Por fim, quira monitorar seus fluxos para entender quando é necessário melhorar seus fluxos.

É possível otimizar o fluxo usando variantes, implantar o fluxo em um ponto de extremidade e monitorar o fluxo avaliando as principais métricas.

Explorar variantes

As variantes do prompt flows são versões de um nó de ferramenta com configurações distintas. Atualmente, as variantes só têm suporte na ferramenta LLM, em que uma variante pode representar um conteúdo de prompt ou uma configuração de conexão diferente. As variantes permitem que os usuários personalizem sua abordagem para tarefas específicas, como resumir artigos de notícias.

Alguns benefícios de usar variantes são:

• Melhorar a qualidade da sua geração de LLM: A criação de diversas variantes de um nó do LLM ajuda a encontrar o melhor prompt e as melhores configurações para um conteúdo de alta qualidade.
• Economizar tempo e esforço: As variantes permitem fácil gerenciamento e comparação de diferentes versões de prompt, simplificando o controle do histórico e reduzindo o esforço de ajuste do prompt.
• Aumentar a produtividade: Eles simplificam a otimização dos nós LLM, habilitando a criação e o gerenciamento mais rápidos de variações, levando a melhores resultados em menos tempo.
• Facilitar a fácil comparação: As variantes habilitam comparações de resultados lado a lado, auxiliando na escolha da variante mais eficaz com base em decisões controladas por dados.

Implantar seu fluxo em um ponto de extremidade

Quando estiver satisfeito com o desempenho do fluxo, você poderá optar por implantá-lo em um ponto de extremidade online. Os pontos de extremidade são URLs que podem ser chamados de qualquer aplicativo. Quando você faz uma chamada à API para um ponto de extremidade online, pode esperar uma resposta (quase) imediata.

Ao implantar seu fluxo em um ponto de extremidade online, o prompt flow gera uma URL e uma chave para que você possa integrar seu fluxo com segurança a outros aplicativos ou processos de negócios. Quando você invoca o ponto de extremidade, um fluxo é executado e a saída é retornada em tempo real. Como resultado, a implantação de fluxos em pontos de extremidade pode, por exemplo, gerar respostas de chats ou o Copilot que você deseja retornar em outro aplicativo.

Monitorar as métricas de avaliação

No prompt flow, o monitoramento das métricas de avaliação é fundamental para o reconhecimento do desempenho do seu aplicativo LLM, certificando-se de que elas atendam às expectativas do mundo real e entreguem resultados precisos.

Para entender se seu aplicativo está atendendo às necessidades práticas, é possível coletar comentários do usuário final e avaliar a utilidade do aplicativo. Outra abordagem para entender se sua aplicação está apresentando um bom desempenho é comparar as previsões do LLM com as respostas esperadas ou verdadeiras para avaliar a precisão e relevância. A avaliação das previsões do LLM é crucial para manter os aplicativos do LLM confiáveis e eficazes.

Métrica

As principais métricas usadas para o monitoramento da avaliação no prompt flow oferecem insights exclusivos sobre o desempenho dos LLMs:

• Fundamentação: Mede o alinhamento da saída do aplicativo LLM com a fonte de entrada ou o banco de dados.
• Relevância: Avalia a pertinência da saída do aplicativo LLM em relação à entrada fornecida.
• Coerência: Avalia o fluxo lógico e a legibilidade do texto do aplicativo LLM.
• Fluência: Avalia a precisão gramatical e linguística da saída do aplicativo LLM.
• Similaridade: Quantifica a correspondência contextual e semântica entre a saída do aplicativo LLM e a verdade fundamental.

Métricas como fundamentação, relevância, coerência, fluência e similaridade são fundamentais para garantir a qualidade, assegurando que as interações com seus aplicativos de LLM sejam precisas e eficazes. Sempre que seu aplicativo de LLM não tiver o desempenho conforme o esperado, você precisará voltar à experimentação para explorar iterativamente como melhorar seu fluxo.