Использование моделей внедрения из каталога моделей Azure AI Foundry для интегрированной векторизации

Статья
12/18/2024

Внимание

Эта функция предоставляется в общедоступной предварительной версии, и к ней применяются дополнительные Условия использования. REST API 2024-05-01-Preview поддерживает эту функцию.

В этой статье вы узнаете, как получить доступ к моделям внедрения в каталог моделей Azure AI Foundry для преобразования векторов во время индексирования и запросов в поиске ИИ Azure.

Рабочий процесс включает этапы развертывания модели. Каталог моделей включает в себя внедрение моделей от Корпорации Майкрософт и других компаний. Развертывание модели оплачивается по структуре выставления счетов каждого поставщика.

После развертывания модели его можно использовать для интегрированной векторизации во время индексирования или с векторизатором Azure AI Foundry для запросов.

Совет

Используйте мастер импорта и векторизации данных, чтобы создать набор навыков, включающий навык AML для развертывания развернутых моделей внедрения в Azure AI Foundry. Определение навыка AML для входных данных, выходных данных и сопоставлений создается мастером, что позволяет легко протестировать модель перед написанием любого кода.

Необходимые компоненты

Поиск ИИ Azure, любой регион и уровень.
Azure AI Foundry и проект Azure AI Foundry.

Поддерживаемые модели внедрения

Интегрированная векторизация и мастер импорта и векторизации данных поддерживает следующие модели внедрения в каталог моделей:

Для внедрения текста:

Cohere-embed-v3-english (английский язык)
Cohere-embed-v3-multilingual (многоязычная)

Для внедрения изображений:

Facebook-DinoV2-Image-Embeddings-ViT-Base
Facebook-DinoV2-Image-Embeddings-ViT-Giant

Развертывание модели внедрения из каталога моделей Azure AI Foundry

Откройте каталог моделей Azure AI Foundry. Создайте проект, если у вас еще нет.
Примените фильтр, чтобы отобразить только модели внедрения. В разделе задач вывода выберите "Внедрение":
Выберите поддерживаемую модель, а затем нажмите кнопку "Развернуть".
Примите значения по умолчанию или измените по мере необходимости, а затем нажмите кнопку "Развернуть". Сведения о развертывании зависят от выбранной модели.
Дождитесь завершения развертывания модели, отслеживая состояние подготовки. Он должен измениться с "Подготовка" на "Обновление" на "Успешно". Чтобы просмотреть обновление состояния, может потребоваться выбрать "Обновить " каждые несколько минут.
Запишите целевой URI, ключ и имя модели. Эти значения требуются для определения векторизатора в индексе поиска и набора навыков, вызывающего конечные точки модели во время индексирования.

При необходимости можно изменить конечную точку, чтобы использовать проверку подлинности маркера вместо проверки подлинности ключа. Если вы включите проверку подлинности маркеров, необходимо скопировать только URI и имя модели, но запишите регион, в котором развертывается модель.
Теперь можно настроить индекс поиска и индексатор для использования развернутой модели.
- Сведения об использовании модели во время индексирования см . в шагах по включению встроенной векторизации. Не забудьте использовать навык Машинное обучение Azure (AML), а не навык AzureOpenAIEmbedding. В следующем разделе описывается конфигурация навыка.
- Сведения об использовании модели в качестве векторизатора во время запроса см. в разделе "Настройка векторизатора". Для этого шага обязательно используйте векторизатор каталога моделей Azure AI Foundry.

Пример полезных данных навыка AML

При развертывании моделей внедрения из каталога моделей Azure AI Foundry вы подключаетесь к ним с помощью навыка AML в поиске ИИ Azure для индексирования рабочих нагрузок.

В этом разделе описаны определения навыка AML и сопоставления индексов. Он включает примеры полезных данных, которые уже настроены для работы с соответствующими развернутыми конечными точками. Дополнительные технические сведения о работе этих полезных данных см. в разделе о контексте навыка и языке заметок ввода.

Модели внедрения Facebook
Совместное внедрение моделей

Эта полезные данные навыка AML работает со следующими моделями внедрения изображений из Azure AI Foundry:

Facebook-DinoV2-Image-Embeddings-ViT-Base
Facebook-DinoV2-Image-Embeddings-ViT-Giant

Предполагается, что изображения приходят из пути, созданного путем включения встроенного /document/normalized_images/* извлечения изображений. Если изображения приходят из другого пути или хранятся в качестве URL-адресов, обновите все ссылки на /document/normalized_images/* путь в соответствии с.

URI и ключ создаются при развертывании модели из каталога. Дополнительные сведения об этих значениях см. в статье "Развертывание больших языковых моделей с помощью Azure AI Foundry".

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/normalized_images/*",
  "uri": "https://myproject-1a1a-abcd.eastus.inference.ml.azure.com/score",
  "timeout": "PT1M",
  "key": "bbbbbbbb-1c1c-2d2d-3e3e-444444444444",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/normalized_images/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[[$(/document/normalized_images/*/data), '']]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "image_features"
    }
  ]
}

Эта полезные данные навыка AML работает со следующими моделями внедрения текста из Azure AI Foundry:

Cohere-embed-v3-english (английский язык)
Cohere-embed-v3-multilingual (многоязычная)

Предполагается, что вы фрагментируете содержимое с помощью навыка разделения текста, поэтому векторизованный текст находится в /document/pages/* пути. Если текст поступает из другого пути, обновите все ссылки на /document/pages/* путь соответствующим образом.

Необходимо добавить /v1/embed путь в конец URL-адреса, скопированного из развертывания Azure AI Foundry. Вы также можете изменить значения для input_typetruncate входных данных, embedding_types чтобы лучше соответствовать вашему варианту использования. Дополнительные сведения о доступных вариантах см . в справочнике по API внедрения Cohere.

URI и ключ создаются при развертывании модели из каталога. Дополнительные сведения об этих значениях см. в статье "Развертывание моделей Внедрения Cohere с помощью Azure AI Foundry".

Обратите внимание, что URI изображений в настоящее время не поддерживаются этой интеграцией.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "https://cohere-embed-v3-multilingual-hin.eastus.models.ai.azure.com/v1/embed",
  "key": "aaaaaaaa-0b0b-1c1c-2d2d-333333333333",
  "inputs": [
    {
      "name": "texts",
      "source": "=[$(/document/pages/*)]"
    },
    {
      "name": "input_type",
      "source": "='search_document'"
    },
    {
      "name": "truncate",
      "source": "='NONE'"
    },
    {
      "name": "embedding_types",
      "source": "=['float']"
    }
  ],
  "outputs": [
    {
      "name": "embeddings",
      "targetName": "aml_vector_data"
    }
  ]
}

Кроме того, выходные данные модели Cohere не является массивом внедрения напрямую, а объектом JSON, содержащим его. При сопоставлении его с определением indexProjections индекса необходимо выбрать соответствующим outputFieldMappingsобразом. Ниже приведен пример indexProjections полезных данных, позволяющих реализовать это сопоставление.

Если вы выбрали другое embedding_types в определении навыка, необходимо изменить float source путь к соответствующему типу, который вы выбрали.

"indexProjections": {
  "selectors": [
    {
      "targetIndexName": "<YOUR_TARGET_INDEX_NAME_HERE>",
      "parentKeyFieldName": "ParentKey", // Change this to the name of the field in your index definition where the parent key will be stored
      "sourceContext": "/document/pages/*",
      "mappings": [
        {
          "name": "aml_vector", // Change this to the name of the field in your index definition where the Cohere embedding will be stored
          "source": "/document/pages/*/aml_vector_data/float/0"
        }
      ]
    }
  ],
  "parameters": {}
}

Пример полезных данных векторизатора векторов Azure AI Foundry

Векторизатор Azure AI Foundry, в отличие от навыка AML, предназначен для работы только с теми моделями внедрения, которые можно развернуть с помощью каталога моделей Azure AI Foundry. Основное различие заключается в том, что вам не нужно беспокоиться о полезных данных запроса и ответа, но вам нужно modelNameпредоставить идентификатор модели, скопированный после развертывания модели на портале Azure AI Foundry.

Ниже приведен пример полезных данных о настройке векторизатора в определении индекса с учетом свойств, скопированных из Azure AI Foundry.

Для моделей Cohere не следует добавлять /v1/embed путь к концу URL-адреса, как это было с навыком.

"vectorizers": [
    {
        "name": "<YOUR_VECTORIZER_NAME_HERE>",
        "kind": "aml",
        "amlParameters": {
            "uri": "<YOUR_URL_HERE>",
            "key": "<YOUR_PRIMARY_KEY_HERE>",
            "modelName": "<YOUR_MODEL_ID_HERE>"
        },
    }
]

Подключение с помощью проверки подлинности маркера

Если вы не можете использовать проверку подлинности на основе ключей, можно настроить навык AML и векторизатор Azure AI Foundry для проверки подлинности маркеров с помощью управления доступом на основе ролей в Azure. Служба поиска должна иметь управляемое удостоверение, назначаемое пользователем, а удостоверение должно иметь разрешения владельца или участника для рабочей области проекта AML. Затем можно удалить ключевое поле из определения навыка и векторизатора, заменив его полем resourceId. Если проект AML и служба поиска находятся в разных регионах, укажите поле региона.

"uri": "<YOUR_URL_HERE>",
"resourceId": "subscriptions/<YOUR_SUBSCRIPTION_ID_HERE>/resourceGroups/<YOUR_RESOURCE_GROUP_NAME_HERE>/providers/Microsoft.MachineLearningServices/workspaces/<YOUR_AML_WORKSPACE_NAME_HERE>/onlineendpoints/<YOUR_AML_ENDPOINT_NAME_HERE>",
"region": "westus", // Only need if AML project lives in different region from search service

Поделиться через