Explorer les connexions et les runtimes
Lorsque vous créez une application LLM (Large Language Model) avec un flux d’invite, vous devez d’abord configurer toutes les connexions et runtimes nécessaires.
Explorez les connexions
Chaque fois que vous souhaitez que votre flux se connecte à une source de données, un service ou une API externe, vous devez autoriser votre flux à communiquer avec ce service externe. Lorsque vous créez une connexion, vous configurez un lien sécurisé entre le flux d’invite et les services externes, ce qui garantit une communication transparente et sécurisée des données.
Selon le type de connexion que vous créez, la connexion stocke en toute sécurité le point de terminaison, la clé API ou les informations d’identification nécessaires au flux d’invite pour communiquer avec le service externe. Les secrets nécessaires ne sont pas exposés aux utilisateurs, mais sont stockés dans un Azure Key Vault.
En configurant des connexions, les utilisateurs peuvent facilement réutiliser les services externes nécessaires aux outils dans leurs flux.
Certains outils intégrés nécessitent la configuration d’une connexion :
| Type de connexion | Outils intégrés |
|---|---|
| Azure Open AI | LLM ou Python |
| Open AI | LLM ou Python |
| Recherche cognitive | Recherche de base de données vectorielle ou Python |
| Serp | API Serp ou Python |
| Custom | Python |
Les connexions de flux d’invite jouent des rôles essentiels dans deux scénarios. Elles automatisent la gestion des informations d’identification de l’API, ce qui simplifie et sécurise la gestion des informations d’accès sensibles. En outre, elles permettent un transfert sécurisé des données à partir de différentes sources, ce qui est essentiel pour maintenir l’intégrité et la confidentialité des données dans différents environnements.
Explorez les runtimes
Après avoir créé votre flux et configuré les connexions nécessaires que vos outils utilisent, vous souhaitez exécuter votre flux. Pour exécuter le flux, vous avez besoin de calcul, qui est proposé via des runtimes de flux d’invite.
Les runtimes (1) sont une combinaison d’une instance de calcul (2) fournissant les ressources de calcul nécessaires, et d’un environnement (3) spécifiant les packages et les bibliothèques nécessaires à installer avant de pouvoir exécuter le flux.
Lorsque vous utilisez des runtimes, vous disposez d’un environnement contrôlé dans lequel les flux peuvent être exécutés et validés, ce qui garantit que tout fonctionne comme prévu dans une configuration stable. Un environnement par défaut est disponible pour le développement et les tests rapides. Lorsque vous avez besoin d’installer d’autres packages, vous pouvez créer un environnement personnalisé.