Rendre vos données accessibles à la recherche
Lorsque vous souhaitez créer un copilote qui utilise vos propres données pour générer des réponses justes, vous devez être en mesure d’effectuer efficacement des recherches parmi vos données. Lorsque vous créez un copilote avec Azure AI Studio, vous pouvez utiliser l’intégration à Recherche Azure AI pour récupérer le contexte pertinent dans votre flux de conversation.
Recherche Azure AI est un récupérateur que vous pouvez inclure lors de la génération d’une application de modèle de langage avec un flux d’invite. Recherche Azure AI vous permet d’apporter vos propres données, d’indexer vos données, et d’interroger l’index pour récupérer les informations dont vous avez besoin.
Utilisation d’un index vectoriel
Bien qu’un index textuel améliore l’efficacité de la recherche, vous pouvez généralement obtenir une meilleure solution d’extraction de données en utilisant un index vectoriel qui contient des incorporations représentant les jetons de texte dans votre source de données.
Une incorporation est un format spécial de représentation des données qu’un moteur de recherche peut utiliser pour trouver facilement les informations pertinentes. Plus spécifiquement, une incorporation est un vecteur de nombres à virgule flottante.
Par exemple, imaginez que vous disposez de deux documents avec le contenu suivant :
- « The children played joyfully in the park. »
- « Kids happily ran around the playground. »
Ces deux documents contiennent des textes qui sont sémantiquement liés, même si des mots différents sont utilisés. Grâce à la création d’incorporations vectorielles pour le texte contenu dans les documents, la relation entre les mots peut être calculée mathématiquement.
Imaginez que les mots clés sont extraits du document et tracés sous forme de vecteur dans un espace multidimensionnel :
La distance entre les vecteurs peut être calculée en mesurant le cosinus de l’angle entre deux vecteurs, également appelé similarité cosinus. En d’autres termes, la similarité cosinus calcule la similarité sémantique entre des documents et une requête.
En représentant des mots et leurs significations sous forme de vecteurs, vous pouvez extraire le contexte pertinent à partir de votre source de données même lorsque vos données sont stockées dans différents formats (texte ou image) et langues.
Lorsque vous souhaitez pouvoir utiliser la recherche vectorielle pour effectuer une recherche parmi vos données, vous devez créer des incorporations lors de la création de votre index de recherche. Pour créer des incorporations pour votre index de recherche, vous pouvez utiliser un modèle d’incorporations Azure OpenAI disponible dans Azure AI Studio.
Conseil
Apprenez-en davantage sur les incorporations dans Azure OpenAI Service.
Création d’un index de recherche
Dans Recherche Azure AI, un index de recherche décrit la façon dont votre contenu est organisé pour le rendre accessible à la recherche. Imaginez une bibliothèque contenant de nombreux livres. Vous souhaitez pouvoir effectuer des recherches dans la bibliothèque et récupérer un livre spécifique facilement et efficacement. Pour que la bibliothèque puisse faire l’objet d’une recherche, vous créez un catalogue qui contient toutes les données pertinentes relatives aux livres, afin de faciliter la recherche d’un livre spécifique. Le catalogue d’une bibliothèque sert d’index de recherche.
Bien qu’il existe différentes manières d’aborder la création d’index, l’intégration de Recherche Azure AI dans Azure AI Studio vous permet de créer facilement un index adapté aux modèles de langage. Vous pouvez ajouter vos données à Azure AI Studio, après quoi vous pouvez utiliser Recherche Azure AI pour créer un index dans Azure AI Studio à l’aide d’un modèle d’incorporations. La ressource d’index est stockée dans Recherche Azure AI, et interrogée par Azure AI Studio lorsqu’elle est utilisée dans un flux de conversation.
La façon dont vous configurez votre index de recherche dépend des données que vous avez et du contexte que vous souhaitez utiliser pour votre modèle de langage. Par exemple, la recherche par mot clé vous permet de récupérer des informations qui correspondent exactement à la requête de recherche. La recherche sémantique va un peu plus loin, car elle récupère des informations qui correspondent à la signification de la requête plutôt qu’au mot clé exact, à l’aide de modèles sémantiques. Actuellement, la technique la plus avancée est la recherche vectorielle, qui crée des incorporations pour représenter vos données.
Conseil
Apprenez-en davantage sur la recherche vectorielle.
Recherche dans un index
Il existe plusieurs façons d’interroger les informations d’un index :
- Recherche par mots clés : identifie les documents ou passages pertinents en fonction de mots clés ou de termes spécifiques fournis en entrée.
- Recherche sémantique : récupère des documents ou des passages en comprenant la signification de la requête et en la faisant correspondre à du contenu lié sémantiquement plutôt qu’en s’appuyant uniquement sur des correspondances de mots clés exactes.
- Recherche vectorielle : utilise des représentations mathématiques de texte (vecteurs) pour rechercher des documents ou des passages similaires en fonction de leur signification sémantique ou de leur contexte.
- Recherche hybride : combine plusieurs techniques de recherche. Les requêtes sont exécutées en parallèle, et sont retournées dans un jeu de résultats unifié.
Lorsque vous créez un index de recherche dans Azure AI Studio, vous êtes guidé dans la configuration d’un index dont l’utilisation est optimale en combinaison avec un modèle de langage. Lorsque vos résultats de recherche sont utilisés dans une application d’IA générative, la recherche hybride donne les résultats les plus justes.
La recherche hybride est une combinaison de recherche par mot clé (et en texte intégral) et de recherche vectorielle, à laquelle le classement sémantique est éventuellement ajouté. Lorsque vous créez un index compatible avec la recherche hybride, les informations récupérées sont précises lorsque des correspondances exactes sont disponibles (à l’aide de mots clés), et toujours pertinentes lorsque seules des informations conceptuellement similaires sont disponibles (à l’aide de la recherche vectorielle).
Conseil
Apprenez-en davantage sur la recherche hybride.