Explore variantes e opções de monitoramento
Durante a produção, você deseja otimizar e implantar seu fluxo. Finalmente, você quer monitorar seus fluxos para entender quando melhorar seus fluxos é necessário.
Você pode otimizar seu fluxo usando variantes, pode implantar seu fluxo em um ponto de extremidade e pode monitorar seu fluxo avaliando métricas-chave.
Explore variantes
As variantes de fluxo de prompt são versões de um nó de ferramenta com configurações distintas. Atualmente, as variantes são suportadas apenas na ferramenta LLM, onde uma variante pode representar um conteúdo de prompt diferente ou uma configuração de conexão. As variantes permitem que os usuários personalizem sua abordagem para tarefas específicas, como, resumir artigos de notícias.
Alguns benefícios do uso de variantes são:
- Melhore a qualidade de sua geração LLM: Criar diversas variantes de um nó LLM ajuda a encontrar o melhor prompt e configurações para conteúdo de alta qualidade.
- Economize tempo e esforço: as variantes permitem fácil gerenciamento e comparação de diferentes versões de prompts, simplificando o rastreamento histórico e reduzindo o esforço no ajuste de prompts.
- Aumentar a produtividade: Simplificam a otimização dos nós LLM, permitindo uma criação e gestão mais rápidas de variações, levando a melhores resultados em menos tempo.
- Facilite a comparação: as variantes permitem comparações de resultados lado a lado, ajudando na escolha da variante mais eficaz com base em decisões baseadas em dados.
Implante seu fluxo em um ponto de extremidade
Quando estiver satisfeito com o desempenho do seu fluxo, você pode optar por implantá-lo em um ponto de extremidade online. Pontos de extremidade são URLs que você pode chamar de qualquer aplicativo. Quando você faz uma chamada de API para um ponto de extremidade online, pode esperar uma resposta (quase) imediata.
Quando você implanta seu fluxo em um ponto de extremidade online, o fluxo de prompt gera uma URL e uma chave para que você possa integrar com segurança seu fluxo com outros aplicativos ou processos de negócios. Quando você invoca o ponto de extremidade, um fluxo é executado e a saída é retornada em tempo real. Como resultado, a implantação de fluxos para pontos de extremidade pode, por exemplo, gerar respostas de bate-papo ou copiloto que você deseja retornar em outro aplicativo.
Monitorar métricas de avaliação
Em fluxo imediato, monitorar as métricas de avaliação é fundamental para entender o desempenho do seu aplicativo LLM, garantindo que eles atendam às expectativas do mundo real e entreguem resultados precisos.
Para entender se seu aplicativo está atendendo às necessidades práticas, você pode coletar comentários do usuário final e avaliar a utilidade do aplicativo. Outra abordagem para entender se seu aplicativo está tendo um bom desempenho é comparando as previsões de LLM com as respostas de verdade esperadas ou básicas para avaliar a precisão e a relevância. Avaliar as previsões do LLM é crucial para manter os aplicativos de LLM confiáveis e eficazes.
Métricas
As principais métricas usadas para monitorar a avaliação em fluxo imediato oferecem uma visão única sobre o desempenho dos LLMs:
- Fundamentação: Mede o alinhamento da saída do aplicativo LLM com a fonte de entrada ou banco de dados.
- Relevância: Avalia o quão pertinente é a saída do aplicativo LLM para a entrada dada.
- Coerência: Avalia o fluxo lógico e a legibilidade do texto da aplicação LLM.
- Fluência: Avalia a precisão gramatical e linguística dos resultados da aplicação LLM.
- Similaridade: Quantifica a correspondência contextual e semântica entre a saída do aplicativo LLM e a verdade básica.
Métricas como fundamentação, relevância, coerência, fluência e semelhança são fundamentais para a garantia de qualidade, garantindo que as interações com seus aplicativos LLM sejam precisas e eficazes. Sempre que seu aplicativo LLM não tiver o desempenho esperado, você precisará voltar à experimentação para explorar iterativamente como melhorar seu fluxo.