Explorer les variantes et les options de surveillance

  • 6 minutes

Pendant la production, vous souhaitez optimiser et déployer votre flux. Enfin, vous souhaitez surveiller vos flux pour comprendre quand vous améliorez vos flux.

Vous pouvez optimiser votre flux à l’aide de variantes, vous pouvez déployer votre flux sur un point de terminaison et surveiller votre flux en évaluant les métriques clés.

Explorer les variantes

Les variantes de flux d’invite sont des versions d’un nœud outil avec des paramètres distincts. Actuellement, les variantes sont uniquement prises en charge dans l’outil LLM, où une variante peut représenter un autre contenu d’invite ou paramètre de connexion. Les variantes permettent aux utilisateurs de personnaliser leur approche pour des tâches spécifiques, telles que le résumé des articles d’actualités.

Voici quelques avantages de l’utilisation de variantes :

  • Améliorer la qualité de votrede génération LLM : La création de variantes variées d’un nœud LLM permet de trouver les meilleurs paramètres et invites pour le contenu de haute qualité.
  • Économisez du temps et des efforts: Les variantes permettent de gérer et de comparer facilement différentes versions d’invite, de rationaliser le suivi historique et de réduire l’effort dans le réglage des invites.
  • Boostez votre productivité: Ils simplifient l’optimisation des nœuds LLM, ce qui permet une création et une gestion plus rapides des variations, ce qui entraîne de meilleurs résultats en moins de temps.
  • Faciliter la comparaison: Les variantes permettent des comparaisons de résultats côte à côte, ce qui permet de choisir la variante la plus efficace en fonction des décisions pilotées par les données.

Déployez votre flux sur un point de terminaison.

Lorsque vous êtes satisfait des performances de votre flux, vous pouvez choisir de le déployer sur un point de terminaison en ligne. Les points de terminaison sont des URL que vous pouvez appeler à partir de n’importe quelle application. Lorsque vous effectuez un appel d’API à un point de terminaison en ligne, vous pouvez attendre (presque) une réponse immédiate.

Lorsque vous déployez votre flux sur un point de terminaison en ligne, le flux d’invite génère une URL et une clé afin de pouvoir intégrer votre flux en toute sécurité à d’autres applications ou processus métier. Lorsque vous appelez le point de terminaison, un flux est exécuté et la sortie est retournée en temps réel. Par conséquent, le déploiement de flux sur des points de terminaison peut par exemple générer des réponses de conversation ou copilotes que vous souhaitez retourner dans une autre application.

Surveiller les métriques d’évaluation

Dans le flux d’invite, la surveillance des métriques d’évaluation est essentielle pour comprendre les performances de votre application LLM, en s’assurant qu’elles répondent aux attentes réelles et fournissent des résultats précis.

Pour savoir si votre application répond aux besoins pratiques, vous pouvez recueillir des commentaires des utilisateurs finaux et évaluer l’utilité de l’application. Une autre approche pour comprendre si votre application fonctionne bien, consiste à comparer les prédictions LLM avec les réponses de vérité attendues ou de base pour évaluer la précision et la pertinence. L’évaluation des prédictions du LLM est essentielle pour maintenir les applications LLM fiables et efficaces.

Métriques

Les métriques clés utilisées pour la surveillance de l’évaluation dans le flux d’invite offrent chacun un aperçu unique des performances des machines virtuelles :

  • Groundedness: Mesure l’alignement de la sortie de l’application LLM avec la source d’entrée ou la base de données.
  • Pertinence: Évalue la pertinence de la sortie de l’application LLM à l’entrée donnée.
  • Cohérence: Évalue le flux logique et la lisibilité du texte de l’application LLM.
  • Fluency: Évalue la précision grammaticale et linguistique de la sortie de l’application LLM.
  • Similarité: Quantifie la correspondance contextuelle et sémantique entre la sortie de l’application LLM et la vérité de base.

Les métriques telles que la pertinence, la pertinence, la cohérence, la fluidité et la similarité sont essentielles pour l’assurance qualité, ce qui garantit que les interactions avec vos applications LLM sont précises et efficaces. Chaque fois que votre application LLM ne fonctionne pas comme prévu, vous devez revenir à l’expérimentation pour explorer de manière itérative comment améliorer votre flux.