Créer des applications genAI à l’aide de DSPy sur Azure Databricks
Cet article décrit DSPy et fournit des exemples de notebooks montrant comment utiliser DSPy sur Azure Databricks pour générer et optimiser les agents d’INTELLIGENCE artificielle générative.
Qu’est-ce que DSPy ?
DSPy est une infrastructure permettant de définir et d’optimiser par programmation les agents d’INTELLIGENCE artificielle générative. DSPy peut automatiser la conception des invites et orchestrer le réglage des LLM pour améliorer les performances.
DSPy se compose de plusieurs composants qui simplifient le développement d’agents et améliorent la qualité de l’agent :
- Modules: dans DSPy, il s’agit de composants qui gèrent des transformations de texte spécifiques, comme répondre à des questions ou résumer. Ils remplacent les invites manuscrites traditionnelles et peuvent apprendre à partir d’exemples, ce qui les rend plus adaptables.
- Signatures: Description en langage naturel du comportement des entrées et sorties d’un module. Par exemple, « question -> réponse » spécifie que le module doit prendre une question comme entrée et retourner une réponse.
- compilateur: il s’agit de l’outil d’optimisation de DSPy. Il améliore les pipelines LM en ajustant les modules pour satisfaire à un critère de performance, soit en générant de meilleures invites, soit en ajustant précisément les modèles.
- Program (DSPy): ensemble de modules connectés à un pipeline pour effectuer des tâches complexes. Les programmes DSPy sont flexibles, ce qui vous permet d’optimiser et de les adapter à l’aide du compilateur.
Créer un programme DSPy classifieur de texte
Le notebook suivant montre comment créer un programme DSPy qui effectue la classification de texte. Cet exemple montre comment fonctionne DSPy et les composants qu’il utilise.
Créer un bloc-notes de programme DSPy classifieur de texte
Créer un programme DSPy pour RAG
Ces notebooks vous montrent comment créer et optimiser un programme RAG de base à l’aide de DSPy. Ces notebooks partent du principe que vous utilisez le calcul sans serveur et installent des packages au niveau du notebook afin de garantir qu'ils fonctionnent indépendamment de la version de Databricks Runtime.
Partie 1 : Préparer les données et l'index de recherche de vecteurs pour un cahier de programme RAG DSPy
Partie 2 : Créer et optimiser un programme DSPy pour le notebook RAG
Migrer LangChain vers DSPy
Ces notebooks montrent comment migrer le code du modèle LangChain vers DSPy et l’optimiser pour de meilleures performances. Ces notebooks supposent que vous utilisez le calcul sans serveur et qu'ils installent des paquets au niveau du notebook pour s'assurer qu'ils s'exécutent indépendamment de la version de Databricks Runtime.