Comment créer une solution RAG en utilisant Recherche Azure AI
Cette série de tutoriels illustre un modèle de création de solutions RAG sur Recherche Azure AI. Il couvre les composants créés dans Recherche d’IA Azure, les dépendances et les optimisations pour optimiser la pertinence et réduire les coûts.
Les échantillons de données sont une collection de fichiers PDF chargés dans stockage Azure. Le contenu provient du livre électronique gratuit de la NASA « Earth ».
Vous trouverez un exemple de code dans ce notebook Python, mais nous vous recommandons de consulter les articles de cette série pour le contexte, les insights et pour explorer d’autres approches.
Exercices de cette série
Choisir vos modèles pour les incorporations et les conversations
Concevoir un index pour la recherche conversationnelle
Concevoir un pipeline d’indexation qui charge, fragmente, incorpore et ingère du contenu consultable
Récupérer du contenu pouvant faire l’objet d’une recherche à l’aide de requêtes et d’un modèle de conversation
Optimiser la pertinence
Minimiser le stockage et les coûts
Nous avons omis quelques aspects d’un modèle RAG pour réduire la complexité :
Pas de gestion d’historique de conversation, ni de contexte. En principe, l’historique des conversations doit être stocké et géré séparément de vos données de base, ce qui signifie des étapes et du code supplémentaires. Ce tutoriel part du principe que les questions et réponses atomiques sont fournies par le LLM et l’expérience LLM par défaut.
Aucune sécurité utilisateur par utilisateur sur les résultats (ce que nous appelons « filtrage de sécurité »). Pour plus d’informations et de ressources, commencez par Filtrage de sécurité et veillez à consulter les liens à la fin de l’article.
Cette série couvre les principes fondamentaux du développement de solutions RAG. Une fois que vous comprenez les principes de base, poursuivez avec les accélérateurs et d’autres examples de code qui fournissent plus d’abstraction ou sont mieux adaptés aux environnements de production et aux charges de travail plus complexes.
Pourquoi utiliser la recherche Azure AI pour RAG ?
Les modèles de conversation sont confrontés à des contraintes sur la quantité de données qu’ils peuvent accepter sur une requête. Vous devez utiliser Recherche Azure AI, car la qualité du contenu transmis à un LLM peut effectuer ou interrompre une solution RAG.
Pour fournir les entrées de qualité les plus élevées à un modèle de conversation, Recherche Azure AI fournit un moteur de recherche de classe optimale avec l’intégration de l’IA et un réglage complet de pertinence. Le moteur de recherche prend en charge la recherche de similarité vectorielle (plusieurs algorithmes), la recherche par mot clé, la recherche approximative, la recherche géospatiale et les filtres. Vous pouvez créer des requêtes hybrides qui incluent tous ces composants, et vous pouvez contrôler la quantité de chaque requête qui contribue à la requête globale.