Comment implémenter la vectorisation intégrée en utilisant des modèles d’Azure AI Foundry

Important

Cette fonctionnalité est en préversion publique sous les conditions d’utilisation supplémentaires. L’API REST 2024-05-01-Preview prend en charge cette fonctionnalité.

Dans cet article, découvrez comment accéder aux modèles d’incorporation dans le catalogue de modèles Azure AI Foundry pour les conversions de vecteurs lors de l’indexation et dans des requêtes dans Recherche Azure AI.

Le workflow inclut les étapes de déploiement du modèle. Le catalogue de modèles comprend des modèles d’incorporation provenant d’Azure OpenAI, Cohere, Facebook et OpenAI. Le déploiement d’un modèle est facturable selon la structure de facturation de chaque fournisseur.

Une fois le modèle déployé, vous pouvez l’utiliser pour la vectorisation intégrée pendant l’indexation, ou avec le vectoriseur AI Foundry pour des requêtes.

Déployer un modèle d’incorporation à partir du catalogue de modèles d’Azure AI Foundry

1. Ouvrez au catalogue de modèles Azure AI Foundry.

2. Appliquez un filtre pour voir seulement les modèles d’incorporation. Sous Tâches d’inférence, sélectionnez Incorporations :

   

3. Sélectionnez le modèle avec lequel vous voulez vectoriser votre contenu. Sélectionnez ensuite Déployer, puis choisissez une option de déploiement.

   

4. Entrez les informations demandées. Sélectionnez ou créez un projet IA, puis sélectionnez Déployer. Les détails du déploiement varient selon le modèle que vous sélectionnez.

5. Attendez que le déploiement du modèle se termine en surveillant l’état d’approvisionnement. Il doit passer de « Approvisionnement » à « Mise à jour », puis à « Réussite ». Il peut être nécessaire de sélectionner Actualiser toutes les quelques minutes pour voir la mise à jour de l’état.

6. Copiez les champs URL, Clé principale et ID de modèle, puis conservez-les à part pour plus tard. Vous avez besoin de ces valeurs pour la définition du vectoriseur dans un index de recherche et pour l’ensemble de compétences qui appelle les points de terminaison du modèle lors de l’indexation.

   Si vous le souhaitez, vous pouvez faire en sorte que votre point de terminaison utilise Authentification par jeton au lieu de Authentification par clé. Si vous activez l’authentification par jeton, vous devez seulement copier l’URL et l’ID de modèle, et noter la région dans laquelle le modèle est déployé.

   

7. Vous pouvez maintenant configurer un index de recherche et un indexeur pour utiliser le modèle déployé.

   • Pour utiliser le modèle lors de l’indexation, consultez Étapes pour activer la vectorisation intégrée. Veillez à utiliser la compétence Azure Machine Learning (AML), et non pas la compétence AzureOpenAIEmbedding. La section suivante décrit la configuration de la compétence.

   • Pour utiliser le modèle comme vectoriseur au moment de la requête, consultez Configurer un vectoriseur. Veillez à utiliser le vectoriseur du catalogue de modèles d’Azure AI Foundry pour cette étape.

Exemples de charges utiles de compétence AML

Quand vous déployez des modèles d’incorporation du catalogue de modèles d’Azure AI Foundry, vous vous y connectez en utilisant la compétence AML dans Recherche Azure AI pour l’indexation des charges de travail.

Cette section décrit la définition de la compétence AML et les mappages d’index. Elle inclut des exemples de charges utiles déjà configurées pour fonctionner avec leurs points de terminaison déployés correspondants. Pour plus d’informations techniques sur le fonctionnement de ces charges utiles, consultez le Langage d’annotation du contexte et des entrées des compétences.

Entrée de texte pour l’API « Inférence »

Cette charge utile de la compétence AML fonctionne avec les modèles suivants d’AI Foundry :

• OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
• OpenAI-CLIP-Image-Text-Embeddings-ViT-Large-Patch14-336

Elle suppose que vous segmentez votre contenu en utilisant la compétence Fractionnement de texte et que le texte à vectoriser se trouve dans le chemin d’accès /document/pages/*. Si votre texte provient d’un chemin d’accès différent, mettez à jour en conséquence toutes les références au chemin d’accès /document/pages/*.

L’URI et la clé sont générés quand vous déployez le modèle à partir du catalogue. Pour plus d’informations sur ces valeurs, consultez Comment déployer des grands modèles de langage avec Azure AI Foundry.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "<YOUR_MODEL_URL_HERE>",
  "key": "<YOUR_MODEL_KEY_HERE>",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/pages/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[['', $(/document/pages/*)]]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "text_features"
    }
  ]
}

Entrée d’image pour l’API « Inférence »

Cette charge utile de la compétence AML fonctionne avec les modèles suivants d’AI Foundry :

• OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
• OpenAI-CLIP-Image-Text-Embeddings-ViT-Large-Patch14-336
• Facebook-DinoV2-Image-Embeddings-ViT-Base
• Facebook-DinoV2-Image-Embeddings-ViT-Giant

Elle suppose que vos images proviennent du chemin d’accès /document/normalized_images/* qui est créé en activant l’extraction d’images intégrée. Si vos images proviennent d’un chemin d’accès différent ou sont stockées sous forme d’URL, mettez à jour en conséquence toutes les références au chemin d’accès /document/normalized_images/*.

L’URI et la clé sont générés quand vous déployez le modèle à partir du catalogue. Pour plus d’informations sur ces valeurs, consultez Comment déployer des grands modèles de langage avec Azure AI Foundry.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/normalized_images/*",
  "uri": "<YOUR_MODEL_URL_HERE>",
  "key": "<YOUR_MODEL_HERE>",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/normalized_images/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[[$(/document/normalized_images/*/data), '']]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "image_features"
    }
  ]
}

Cohere

Cette charge utile de la compétence AML fonctionne avec les modèles suivants d’AI Foundry :

• Cohere-embed-v3-english
• Cohere-embed-v3-multilingual

Elle suppose que vous segmentez votre contenu en utilisant la compétence Fractionnement (SplitSkill) et que le texte à vectoriser se trouve dans le chemin d’accès /document/pages/*. Si votre texte provient d’un chemin d’accès différent, mettez à jour en conséquence toutes les références au chemin d’accès /document/pages/*.

Vous devez ajouter le chemin d’accès /v1/embed à la fin de l’URL que vous avez copiée à partir de votre déploiement AI Foundry. Vous pouvez également modifier les valeurs pour les entrées input_type, truncate et embedding_types pour les adapter à votre cas d’usage. Pour plus d’informations sur les options disponibles, consultez les Informations de référence sur l’API Cohere Embed.

L’URI et la clé sont générés quand vous déployez le modèle à partir du catalogue. Pour plus d’informations sur ces valeurs, consultez Comment déployer des modèles Cohere Embed avec Azure AI Foundry.

Notez que les URI d’image ne sont actuellement pas pris en charge par cette intégration.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "<YOUR_MODEL_URL_HERE>/v1/embed",
  "key": "<YOUR_MODEL_KEY_HERE>",
  "inputs": [
    {
      "name": "texts",
      "source": "=[$(/document/pages/*)]"
    },
    {
      "name": "input_type",
      "source": "='search_document'"
    },
    {
      "name": "truncate",
      "source": "='NONE'"
    },
    {
      "name": "embedding_types",
      "source": "=['float']"
    }
  ],
  "outputs": [
    {
      "name": "embeddings",
      "targetName": "aml_vector_data"
    }
  ]
}

En outre, la sortie du modèle Cohere n’est pas directement le tableau des incorporations : c’est un objet JSON qui le contient. Vous devez le sélectionner correctement lors du mappage à la définition d’index via indexProjections ou outputFieldMappings. Voici un exemple de charge utile indexProjections qui vous permettrait d’implémenter ce mappage.

Si vous avez sélectionné un autre embedding_types dans votre définition de compétence, vous devez modifier float dans le chemin d’accès source pour le type approprié que vous avez sélectionné à la place.

"indexProjections": {
  "selectors": [
    {
      "targetIndexName": "<YOUR_TARGET_INDEX_NAME_HERE>",
      "parentKeyFieldName": "ParentKey", // Change this to the name of the field in your index definition where the parent key will be stored
      "sourceContext": "/document/pages/*",
      "mappings": [
        {
          "name": "aml_vector", // Change this to the name of the field in your index definition where the Cohere embedding will be stored
          "source": "/document/pages/*/aml_vector_data/float/0"
        }
      ]
    }
  ],
  "parameters": {}
}

Exemple de charge utile de vectoriseur AI Foundry

Le vectoriseur AI Foundry, contrairement à la compétence AML, est conçu pour fonctionner seulement avec les modèles incorporés qui sont déployables via le catalogue de modèles d’AI Foundry. La principale différence est que vous n’avez pas à vous soucier de la charge utile des requêtes et des réponses, mais vous devez fournir le modelName, qui correspond à l’« ID de modèle » que vous avez copié après le déploiement du modèle dans le portail AI Foundry.

Voici un exemple de charge montrant comment configurer le vectoriseur sur votre définition d’index en fonction des propriétés copiées depuis AI Foundry.

Pour les modèles Cohere, vous ne devez PAS ajouter le chemin d’accès /v1/embed à la fin de votre URL comme vous l’avez fait avec la compétence.

"vectorizers": [
    {
        "name": "<YOUR_VECTORIZER_NAME_HERE>",
        "kind": "aml",
        "amlParameters": {
            "uri": "<YOUR_URL_HERE>",
            "key": "<YOUR_PRIMARY_KEY_HERE>",
            "modelName": "<YOUR_MODEL_ID_HERE>"
        },
    }
]

Se connecter en utilisant l’authentification par jeton

Si vous ne pouvez pas utiliser l’authentification par clé, vous pouvez configurer à la place la connexion de la compétence AML et du vectoriseur AI Foundry pour l’authentification par jeton via le contrôle d’accès en fonction du rôle sur Azure. Le service de recherche doit avoir une identité managée affectée par le système ou par l’utilisateur, et l’identité doit disposer d’autorisations Propriétaire ou Contributeur pour l’espace de travail de votre projet AML. Vous pouvez ensuite supprimer le champ de clé de votre définition de compétence et de vectoriseur, en le remplaçant par le champ resourceId. Si votre projet AML et votre service de recherche se trouvent dans des régions différentes, renseignez également le champ Région.

"uri": "<YOUR_URL_HERE>",
"resourceId": "subscriptions/<YOUR_SUBSCRIPTION_ID_HERE>/resourceGroups/<YOUR_RESOURCE_GROUP_NAME_HERE>/providers/Microsoft.MachineLearningServices/workspaces/<YOUR_AML_WORKSPACE_NAME_HERE>/onlineendpoints/<YOUR_AML_ENDPOINT_NAME_HERE>",
"region": "westus", // Only need if AML project lives in different region from search service

Étapes suivantes

• Configurer un vectoriseur dans un index de recherche
• Configurer des projections d’index dans un ensemble de compétences
• Compétence AML
• Vectoriseur Azure AI Foundry
• Langage d’annotation du contexte et des entrées de compétences