你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

如何使用 Azure AI Studio 中的模型实现集成矢量化

项目
10/29/2024

重要

根据补充使用条款，此功能以公共预览版提供。 2024-05-01-Preview REST API 支持此功能。

本文介绍如何在 Azure AI 搜索中的索引编制期间和查询中访问 Azure AI Studio 模型目录中的嵌入模型以进行矢量转换。

工作流包括模型部署步骤。模型目录包括来自 Azure OpenAI、Cohere、Facebook 和 OpenAI 的嵌入模型。部署模型按每个提供商的计费结构计费。

部署模型后，可以在索引期间将其用于集成矢量化，也可以与 AI Studio 矢量器配合使用来进行查询。

从 Azure AI Studio 模型目录部署嵌入模型

打开 Azure AI Studio 模型目录。
应用筛选器，以便仅显示嵌入模型。在“推理任务”下，选择“嵌入”：
选择要用于实现内容矢量化的模型。然后选择“部署”并选择部署选项。
填写必需的信息。选择或创建新的 AI 项目，然后选择“部署”。部署详细信息因所选模型而异。
通过监视“预配状态”，等待模型完成部署。该状态应从“正在预配”更改为“正在更新”，再更改为“成功”。可能需要每隔几分钟选择“刷新”才能查看状态更新。
复制 URL、主键和模型 ID 字段，并将其放在一边供以后使用。你需要将这些值用于搜索索引中的矢量器定义，以及用于在索引期间调用模型终结点的技能集。

（可选）可以更改终结点以使用令牌身份验证，而不是密钥身份验证。如果启用令牌身份验证，只需复制 URL 和模型 ID，并记下部署模型的区域。
现在可以配置搜索索引和索引器来使用已部署的模型。
- 若要在编制索引期间使用模型，请参阅启用集成矢量化的步骤。请确保使用 Azure 机器学习 (AML) 技能，而不是 AzureOpenAIEmbedding 技能。下一部分介绍技能配置。
- 若要在查询时将模型用作矢量器，请参阅配置矢量器。请务必对此步骤使用 Azure AI Studio 模型目录矢量器。

示例 AML 技能有效负载

从 Azure AI Studio 模型目录部署嵌入模型时，你会使用 Azure AI 搜索中的 AML 技能连接到它们，以编制工作负载索引。

本部分介绍 AML 技能定义和索引映射。其中包括已配置为使用其相应部署终结点的示例有效负载。有关这些有效负载工作原理的更多技术详细信息，请阅读技能上下文和输入注释语言。

此 AML 技能有效负载适用于 AI Studio 中的以下模型：

OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
OpenAI-CLIP-Image-Text-Embeddings-ViT-Large-Patch14-336

它假定你要使用文本拆分技能对内容进行分块，并且要矢量化的文本位于 /document/pages/* 路径中。如果文本来自其他路径，请相应地更新对 /document/pages/* 路径的所有引用。

从目录部署模型时，便会生成 URI 和密钥。有关这些值的详细信息，请参阅如何使用 Azure AI Studio 部署大型语言模型。

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "<YOUR_MODEL_URL_HERE>",
  "key": "<YOUR_MODEL_KEY_HERE>",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/pages/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[['', $(/document/pages/*)]]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "text_features"
    }
  ]
}

此 AML 技能有效负载适用于 AI Studio 中的以下模型：

OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
OpenAI-CLIP-Image-Text-Embeddings-ViT-Large-Patch14-336
Facebook-DinoV2-Image-Embeddings-ViT-Base
Facebook-DinoV2-Image-Embeddings-ViT-Giant

它假定你的图像来自通过启用内置图像提取创建的 /document/normalized_images/* 路径。如果图像来自其他路径或存储为 URL，请相应地更新对 /document/normalized_images/* 路径的所有引用。

从目录部署模型时，便会生成 URI 和密钥。有关这些值的详细信息，请参阅如何使用 Azure AI Studio 部署大型语言模型。

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/normalized_images/*",
  "uri": "<YOUR_MODEL_URL_HERE>",
  "key": "<YOUR_MODEL_HERE>",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/normalized_images/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[[$(/document/normalized_images/*/data), '']]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "image_features"
    }
  ]
}

此 AML 技能有效负载适用于 AI Studio 中的以下模型：

Cohere-embed-v3-english
Cohere-embed-v3-multilingual

它假定你要使用 SplitSkill 对内容进行分块，因而要矢量化的文本位于 /document/pages/* 路径中。如果文本来自其他路径，请相应地更新对 /document/pages/* 路径的所有引用。

必须将 /v1/embed 路径添加到从 AI Studio 部署中复制的 URL 的末尾。还可以更改 input_type、truncate 和 embedding_types 输入的值，以更好地适应用例。有关可用选项的详细信息，请查看 Cohere 嵌入 API 参考。

从目录部署模型时，便会生成 URI 和密钥。有关这些值的详细信息，请参阅如何使用 Azure AI Studio 部署 Cohere Embed 模型。

请注意，此集成目前不支持映像 URI。

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "<YOUR_MODEL_URL_HERE>/v1/embed",
  "key": "<YOUR_MODEL_KEY_HERE>",
  "inputs": [
    {
      "name": "texts",
      "source": "=[$(/document/pages/*)]"
    },
    {
      "name": "input_type",
      "source": "='search_document'"
    },
    {
      "name": "truncate",
      "source": "='NONE'"
    },
    {
      "name": "embedding_types",
      "source": "=['float']"
    }
  ],
  "outputs": [
    {
      "name": "embeddings",
      "targetName": "aml_vector_data"
    }
  ]
}

此外，Cohere 模型的输出并非直接就是嵌入数组，而是包含该数组的 JSON 对象。在通过 indexProjections 或 outputFieldMappings 将其映射到索引定义时，需要相应选择它。下面是一个 indexProjections 有效负载示例，可用于实现此映射。

如果在技能定义中选择了其他 embedding_types，必须改为将 source 路径中的 float 更改为所选的适当类型。

"indexProjections": {
  "selectors": [
    {
      "targetIndexName": "<YOUR_TARGET_INDEX_NAME_HERE>",
      "parentKeyFieldName": "ParentKey", // Change this to the name of the field in your index definition where the parent key will be stored
      "sourceContext": "/document/pages/*",
      "mappings": [
        {
          "name": "aml_vector", // Change this to the name of the field in your index definition where the Cohere embedding will be stored
          "source": "/document/pages/*/aml_vector_data/float/0"
        }
      ]
    }
  ],
  "parameters": {}
}

示例 AI Studio 矢量器有效负载

与 AML 技能不同，AI Studio 矢量化器经过专门定制，仅适用于可通过 AI Studio 模型目录部署的嵌入模型。主要区别在于，你不必担心请求和响应有效负载，但必须提供 modelName，这对应于在 AI Studio 中部署模型后复制的“模型 ID”。

以下是一个示例有效负载，演示如何在给定从 AI Studio 复制的属性的情况下在索引定义上配置矢量器。

对于 Cohere 模型，不应像使用技能那样将 /v1/embed 路径添加到 URL 末尾。

"vectorizers": [
    {
        "name": "<YOUR_VECTORIZER_NAME_HERE>",
        "kind": "aml",
        "amlParameters": {
            "uri": "<YOUR_URL_HERE>",
            "key": "<YOUR_PRIMARY_KEY_HERE>",
            "modelName": "<YOUR_MODEL_ID_HERE>"
        },
    }
]

使用令牌身份验证进行连接

如果无法使用基于密钥的身份验证，可改为通过 Azure 上的基于角色的访问控制来配置 AML 技能和 AI Studio 矢量器连接，以进行令牌身份验证。搜索服务必须具有系统或用户分配的托管标识，并且该标识必须具有 AML 项目工作区的所有者或参与者权限。然后，可以从技能定义和矢量器定义中删除键字段，并将其替换为 resourceId 字段。如果 AML 项目和搜索服务位于不同区域，则还要提供区域字段。

"uri": "<YOUR_URL_HERE>",
"resourceId": "subscriptions/<YOUR_SUBSCRIPTION_ID_HERE>/resourceGroups/<YOUR_RESOURCE_GROUP_NAME_HERE>/providers/Microsoft.MachineLearningServices/workspaces/<YOUR_AML_WORKSPACE_NAME_HERE>/onlineendpoints/<YOUR_AML_ENDPOINT_NAME_HERE>",
"region": "westus", // Only need if AML project lives in different region from search service

通过

如何使用 Azure AI Studio 中的模型实现集成矢量化

从 Azure AI Studio 模型目录部署嵌入模型

示例 AML 技能有效负载

示例 AI Studio 矢量器有效负载

使用令牌身份验证进行连接

后续步骤

反馈

其他资源