Новые возможности поиска ИИ Azure
Когнитивный поиск Azure теперь — поиск ИИ Azure. Узнайте о последних обновлениях функций поиска ИИ Azure, документации и примеров.
Примечание.
Предварительные версии функций объявляются здесь, но мы также поддерживаем список предварительных версий функций, чтобы найти их в одном месте.
Ноябрь 2024 г.
| Пункт | Тип | Описание |
|---|---|---|
| Периметр безопасности сети | Безопасность | Присоедините службу поиска к периметру безопасности сети для управления доступом к службе поиска. Для просмотра конфигураций периметра безопасности сети можно использовать портал Azure и REST API управления в предварительной версии 2024-06-01-preview. |
| Поддержка общих приватных ссылок для подключений службы ИИ Azure | Безопасность | Подключения к Azure AI для встроенной обработки навыков теперь могут быть закрытыми с помощью общей приватной ссылки на подключение. |
| Параметры перезаписи сжатых векторов | С сортировкой по релевантности | Можно задать параметры для повторного ядра с исходными векторами вместо сжатых векторов. Применяется к HNSW и исчерпывающим алгоритмам векторов KNN, используя двоичное и скалярное сжатие. Доступно в индексе создания или обновления (2024-11-01-preview), портал Azure и в бета-версиях пакета Azure SDK, которые предоставляют эту функцию. |
| Хранение меньше векторных экземпляров | векторный поиск | В сценариях сжатия векторов можно опустить хранение полных векторов точности, если их не требуется для повторной обработки. Доступно в индексе создания или обновления (2024-11-01-preview), портал Azure и в бета-версиях пакета Azure SDK, которые предоставляют эту функцию. |
| Перезапись запросов в семантическом повторном выполнении запросов | С сортировкой по релевантности | Параметры семантического запроса можно задать для перезаписи входных данных запроса в измененный или развернутый запрос, который создает более релевантные результаты из рангера L2. Доступно в документах поиска (2024-11-01-preview), портал Azure и в бета-версиях пакета AZURE SDK, которые предоставляют эту функцию. |
| Новые модели семантического ранга | С сортировкой по релевантности | Семантический рангер выполняется с улучшенными моделями во всех поддерживаемых регионах. Нет изменений в API или интерфейсе портала. |
| Навык макета документа | Примененный ИИ (навыки) | Новый навык, используемый для анализа документа для структуры и предоставления фрагментов с учетом структуры (абзаца). Этот навык вызывает аналитику документов и использует модель макета аналитики документов. Доступно в выбранных регионах с помощью набора навыков создания или обновления (2024-11-01-preview), портал Azure и бета-версий пакета SDK Azure, которые предоставляют эту функцию. |
| Выставление счетов без ключей для обработки навыков ИИ Azure | Примененный ИИ (навыки) | Теперь вы можете использовать управляемое удостоверение и роли для бессерверного подключения к службам ИИ Azure для встроенной обработки навыков. Эта возможность удаляет ограничения для поиска и служб искусственного интеллекта в одном регионе. Доступно в наборе навыков создания или обновления (2024-11-01-preview), портал Azure и в бета-версиях пакета SDK Azure, которые предоставляют эту функцию. |
| Режим синтаксического анализа Markdown | Источник данных индексатора | С помощью этого режима синтаксического анализа индексаторы могут создавать документы поиска "один к одному" или "один ко многим" из файлов Markdown в служба хранилища Azure и OneLake. Доступно в средстве создания или обновления индексатора (2024-11-01-preview), портал Azure и в бета-версиях пакета SDK Azure, которые предоставляют эту функцию. |
| 2024-11-01-preview | API | Предварительный выпуск REST API для перезаписи запросов, навык макета документов, без ключа выставления счетов для обработки навыков, режима синтаксического анализа Markdown и параметров переопределения сжатых векторов. |
| Поддержка портала для структурированных данных | Функция | Мастер импорта и векторизации данных теперь поддерживает Azure SQL, Azure Cosmos DB и хранилище таблиц Azure. |
Октябрь 2024 г.
| Пункт | Тип | Описание |
|---|---|---|
| Снижение требований к измерению для моделей внедрения текста с обучением MRL в Azure OpenAI | Функция | Text-embedding-3-small и Text-embedding-3-large обучены с помощью Matryoshka Representation Learning (MRL). Это позволяет усечь векторы внедрения до меньшего размера и настроить баланс между использованием векторного индекса и качеством извлечения. Новый в truncationDimension версии 2024-09-01-preview обеспечивает доступ к сжатия MRL в моделях внедрения текста. Это можно настроить только для новых векторных полей. |
Распаковка @search.score для просмотра подкордер в результатах гибридного поиска |
Функция | Вы можете изучить ранжированные результаты взаимного ранжирования Fusion (RRF), просмотрев отдельные подкорки запроса окончательного объединенного и оцененного результата. Новое debug свойство распаковывает оценку поиска. QueryResultDocumentSubscores, QueryResultDocumentRerankerInputи QueryResultDocumentSemanticField укажите дополнительные сведения. Эти определения доступны в предварительной версии 2024-09-01-preview. |
| Целевые фильтры в гибридном поиске только для векторных запросов | Функция | Фильтр гибридного запроса включает все вложенные запросы в запросе независимо от типа. Вы можете переопределить глобальный фильтр, чтобы ограничить фильтрацию определенным вложенным запросом. Новый filterOverride параметр доступен в гибридных запросах с помощью предварительной версии 2024-09-01-preview. |
| Навык разделения текста (фрагментирование маркеров) | Примененный ИИ (навыки) | Этот навык имеет новые параметры, которые улучшают блоки данных для внедрения моделей. Новый unit параметр позволяет указать блоки маркеров. Теперь можно фрагментировать по длине маркера, указав длину в значение, которое имеет смысл для модели внедрения. Вы также можете указать токенизатор и любые маркеры, которые не должны быть разделены во время блокирования данных. Новые unit определения параметров и вложенных ядер запроса находятся в предварительной версии 2024-09-01-preview. |
| 2024-09-01-preview | API | Предварительный выпуск REST API для усеченных измерений в моделях с внедрением текста-3, целевой фильтрации векторов для гибридных запросов, сведений о подкормке RRF для отладки и фрагментирования маркеров для навыка разделения текста. |
| Поддержка портала для шифрования ключей, управляемых клиентом (CMK) | Функция | При создании новых объектов в портал Azure теперь можно указать шифрование CMK и выбрать Azure Key Vault для предоставления ключа. |
Август 2024 г.
| Пункт | Тип | Описание |
|---|---|---|
| Улучшения сеанса отладки | функция | Существует два важных улучшения. Во-первых, теперь можно отлаживать интегрированные векторизации и блоки данных рабочие нагрузки. Во-вторых, сеансы отладки перепроектированы для более упрощенной презентации навыков и сопоставлений. Вы можете выбрать объект в потоке и просмотреть или изменить его сведения на боковой панели. Предыдущий макет табуляции полностью заменен более контекстно-конфиденциальными сведениями на странице. |
| 2024-07-01 | API | Стабильный выпуск REST API для общедоступных типов векторных данных, сжатия векторов и интегрированной векторизации во время индексирования и запросов. |
| Встроенная векторизация | Функция | Объявление об общедоступной доступности. Блоки данных на основе навыков и внедрение во время индексирования. |
| Векторизаторы | Функция | Объявление об общедоступной доступности. Преобразование текста в вектор во время выполнения запроса. Векторизатор Azure OpenAI и настраиваемый векторизатор веб-API общедоступны. |
| Навык azureOpenAIEmbedding | Функция | Объявление об общедоступной доступности. Тип навыка, который вызывает модель внедрения Azure OpenAI для создания внедрения во время индексирования. |
| Проекции индекса | Функция | Объявление об общедоступной доступности. Компонент определения набора навыков, который определяет форму вторичного индекса, поддерживая шаблон индекса "один ко многим", где содержимое из конвейера обогащения может нацелено на несколько индексов. |
| Двоичная и скалярная квантизация | Функция | Объявление об общедоступной доступности. Сжатие размера векторного индекса в памяти и на диске с помощью встроенной квантизации. |
| Узкие типы данных | Функция | Объявление об общедоступной доступности. Назначьте меньший тип данных в векторных полях, если входящие данные являются данными этого типа данных. |
| Мастер импорта и векторизации данных | Портал Azure | Объявление об общедоступной доступности. Мастер, создающий полный конвейер индексирования, включающий блоки данных и векторизацию. Мастер создает все необходимые объекты и конфигурации. В этом выпуске добавлена поддержка мастера Azure Data Lake в служба хранилища Azure. |
| хранимое свойство | Функция | Объявление об общедоступной доступности. Логическое значение, которое сокращает хранилище векторных индексов, не сохраняя извлекаемые векторы. |
| vectorQueries.Weight property | Функция | Объявление об общедоступной доступности. Укажите относительный вес каждого векторного запроса в операции поиска. |
Июль 2024 г.
| Пункт | Тип | Описание |
|---|---|---|
| Чат с данными | Accelerator | Акселератор решений для шаблона RAG, работающего в Azure, с помощью поиска ИИ Azure для получения и больших языковых моделей Azure OpenAI для создания взаимодействия с диалогом. Код с примерами данных доступен для сценариев использования, таких как финансовый консультант и обзор контракта и сводка. |
| Интеллектуальный анализ знаний беседы | Accelerator | Акселератор решений, построенный на основе службы "Поиск ИИ Azure", службы "Речь Azure" и Azure OpenAI, позволяющие клиентам извлекать полезные сведения из бесед после контакта. |
| Создание собственного copilot | Accelerator | Создайте собственное пользовательское решение copilot, которое позволяет помощнику клиента использовать возможности генерированного ИИ как в структурированных, так и неструктурированных данных. Помогите нашим клиентам оптимизировать ежедневные задачи и повысить эффективность взаимодействия с большим числом клиентов. |
Июнь 2024 г.
| Пункт | Тип | Описание |
|---|---|---|
| Поиск изображений в портал Azure | Функция | Обозреватель поиска теперь поддерживает поиск изображений. В векторном индексе с векторным содержимым изображения можно удалить изображения в обозреватель поиска, чтобы запросить совпадение. |
Май 2024 г.
| Пункт | Тип | Описание |
|---|---|---|
| Более высокая емкость и больше векторной квоты на каждом уровне (одна и та же ставка выставления счетов) | Инфраструктура | Для большинства регионов размеры секций теперь еще больше для стандартных 2 (S2), Standard 3 (S3) и Standard 3 High Density (S3 HD) для служб, созданных после 3 апреля 2024 года. Чтобы получить более крупные секции, создайте новую службу в регионе , который предоставляет более новую инфраструктуру. Оптимизированные для хранилища уровни (L1 и L2) также имеют большую емкость. Клиенты L1 и L2 должны создать новую службу, чтобы воспользоваться более высокой емкостью. В настоящее время обновление на месте отсутствует. Дополнительная емкость теперь доступна в других регионах: Северная Германия, Западная Германия, Северная Африка, Западная Африка, Западная Швейцария и Azure для государственных организаций (Техас, Аризона и Вирджиния). |
| Интеграция OneLake (предварительная версия) | Функция | Новый индексатор для файлов OneLake и сочетаний клавиш OneLake. Если вы используете Microsoft Fabric и OneLake для доступа к данным к источникам данных Amazon Web Services (AWS) и Google, используйте этот индексатор для импорта внешних данных в индекс поиска. Этот индексатор доступен через портал Azure, rest API 2024-05-01-preview и бета-пакеты Azure SDK. |
| Релевантность вектора релевантность гибридного запроса |
Функция | Четыре улучшения повышают релевантность вектора и гибридного поиска. Во-первых, теперь можно задать пороговые значения для результатов векторного поиска, чтобы исключить результаты низкой оценки. Во-вторых, изменения в архитектуре запросов применяют профили оценки в конце конвейера запросов для каждого типа запроса. Повышение документов — это общий профиль оценки, который теперь работает должным образом в векторных и гибридных запросах. В-третьих, можно задать MaxTextRecallSize и countAndFacetMode в гибридных запросах, чтобы управлять количеством результатов поиска, ранжированных по BM25, которые выполняются в гибридной модели ранжирования. В-четвертых, для векторного и гибридного поиска можно взвесить векторный запрос, чтобы увеличить или уменьшить его важность в многозаверном запросе. |
| Поддержка двоичных векторов | Функция | Collection(Edm.Byte) — это новый поддерживаемый тип данных. Этот тип данных открывает интеграцию с моделями внедрения двоичного кода Cohere версии 3 и пользовательским двоичным квантованием. Узкие типы данных снижают стоимость больших векторных наборов данных. Дополнительные сведения см. в разделе "Двоичные данные индекса" для поиска векторов. |
| Навыки многомодального внедрения в azure AI Vision (предварительная версия) | Навык | Новый навык, связанный с многомодальным api внедрения API Azure AI Vision. Во время индексирования можно создавать внедрения для текста или изображений. Этот навык доступен через портал Azure и REST API 2024-05-01-preview. |
| Векторизатор визуального распознавания Azure (предварительная версия) | Векторизатор | Новый векторизатор подключается к ресурсу Azure AI Vision с помощью API многомодальных внедрения для создания внедрения во время запроса. Этот векторизатор доступен через портал Azure и REST API 2024-05-01-preview. |
| Векторизатор каталога моделей Azure AI Studio (предварительная версия) | Векторизатор | Новый векторизатор подключается к модели внедрения, развернутой из каталога моделей Azure AI Studio. Этот векторизатор доступен через портал Azure и REST API 2024-05-01-preview. Реализация интегрированной векторизации с помощью моделей из Azure AI Studio. |
| Навыки AzureOpenAIEmbedding (предварительная версия) поддерживают дополнительные модели в Azure OpenAI | Навык | Теперь поддерживается text-embedding-3-large и text-embedding-3-small, а также text-embedding-ada-002 из предыдущего обновления. Новые dimensions и modelName свойства позволяют указать различные модели внедрения в Azure OpenAI. Ранее ограничения измерений были исправлены в 1536 измерениях, применимых только к текстовым внедрениям ada-002. Обновленный навык доступен через портал Azure и REST API 2024-05-01-preview. |
| Обновления портала Azure | Портал | Мастер импорта и векторизации данных теперь поддерживает индексаторы OneLake в качестве источника данных. Для внедрения он также поддерживает подключения к мультимодальному приложению Azure AI Vision, каталогу моделей Azure AI Studio и более внедрению моделей в Azure OpenAI. При добавлении поля в индекс можно выбрать двоичный тип данных. Обозреватель поиска теперь по умолчанию имеет значение 2024-05-01-preview и поддерживает новые функции предварительной версии для векторных и гибридных запросов. |
| 2024-05-01-preview | API | Новая предварительная версия REST API поиска предоставляет новые навыки и векторизаторы, новый двоичный тип данных, индексатор файлов OneLake и новые параметры запроса для более релевантных результатов. Сведения об обновлении REST API , если у вас есть код, написанный в версии 2023-07-01-preview, и необходимо выполнить миграцию в эту версию. |
| Бета-версии пакетов Пакета SDK Для Azure | API | Просмотрите журналы изменений следующих бета-версий пакета Azure SDK для новых функций: Пакет SDK Azure для Python, пакет SDK Azure для .NET, пакет SDK Azure для Java |
| Примеры кода Python | Примеры | Новые комплексные примеры демонстрируют интеграцию с Cohere Embed версии 3, интеграцию с OneLake и облачными платформами данных в Google и AWS и интеграцию с многомодальными API Azure AI Vision. |
Апрель 2024 г.
| Пункт | Тип | Описание |
|---|---|---|
| Устранение сведений об обновлении системы безопасности | API | Ответы GET больше не возвращают строка подключения или ключи. Применяется к набору навыков GET, индексу GET и индексатору GET. Это изменение помогает защитить ресурсы Azure, интегрированные с поиском ИИ, от несанкционированного доступа. |
| Больше хранилища на уровнях "Базовый" и "Стандартный" | Инфраструктура | Базовый теперь поддерживает до трех секций и трех реплик. Уровни "Базовый" и "Стандартный" (S1, S2, S3) имеют значительно больше хранилища для каждой секции с той же частотой выставления счетов на секцию. Дополнительная емкость зависит от региональной доступности и применяется к новым службам поиска, созданным после 3 апреля 2024 года. В настоящее время нет обновления на месте, поэтому необходимо создать новую службу поиска, чтобы получить дополнительное хранилище. |
| Дополнительные квоты для векторов | Инфраструктура | Квоты векторов также выше для новых служб, созданных после 3 апреля 2024 г. в выбранных регионах. |
Векторная квантизация, типы данных узкого вектора и новое stored свойство (предварительная версия) |
Функция | В совокупности эти три функции добавляют сжатие векторов и более умные параметры хранения. Во-первых, скалярная квантизация уменьшает размер векторного индекса в памяти и на диске. Во-вторых, узкие типы данных сокращают хранилище на поле, сохраняя меньшие значения. В-третьих, можно stored отказаться от хранения дополнительной копии вектора, который используется только для результатов поиска. Если в ответе запроса не нужны векторы, можно задать stored значение false, чтобы сохранить место. |
| REST API поиска 2024-03-01-preview | API | Новая предварительная версия REST API поиска для новых типов данных, свойств сжатия векторов и параметров хранилища векторов. |
| REST API управления 2024-03-01-preview | API | Новая предварительная версия REST API управления для операций плоскости управления. |
| Объявление об отмене предварительной версии 2023-07-01-preview | API | О прекращении использования было объявлено 8 апреля 2024 года. Она становится неподдерживаемой 8 июля 2024 года. Это был первый REST API, который предложил поддержку поиска векторов. Более новые версии API имеют другую конфигурацию вектора. Вы должны перейти на более новую версию как можно скорее. |
Февраль 2024 г.
| Пункт | Тип | Описание |
|---|---|---|
| Новые ограничения измерений | Функция | Для векторных полей максимальные пределы измерения теперь 3072растут.2048 |
Объявления 2023 г.
| месяц | Тип | Объявление |
|---|---|---|
| ноября | Функция | Векторный поиск, общедоступный. Теперь отменяется предыдущее ограничение на ключи, управляемые клиентом (CMK). Префиксирование и исчерпывающий алгоритм ближайшего соседа K теперь также общедоступен. |
| ноября | Функция | Семантический рангер( общедоступная версия) |
| ноября | Функция | Встроенная векторизация (предварительная версия) добавляет блоки данных и преобразования текста в вектор во время индексирования, а также добавляет преобразования текста в вектор во время запроса. |
| ноября | Функция | Мастер импорта и векторизации данных (предварительная версия) автоматизирует блоки и векторизацию данных. Он предназначен для REST API 2023-10-01-Preview . |
| ноября | Функция | Проекции индекса (предварительная версия) определяют форму вторичного индекса, используемую для шаблона индекса "один ко многим", где содержимое из конвейера обогащения может нацелено на несколько индексов. |
| ноября | API | REST API поиска 2023-11-01 является стабильной версией REST API поиска для векторного поиска и семантического ранжирования. Сведения об обновлении REST API см. в статье об обновлении REST API для шагов миграции в общедоступные функции. |
| ноября | API | REST API управления 2023-11-01 добавляет API, которые позволяют включить или отключить семантический рангировщик. |
| ноября | Навык | Навык внедрения Azure OpenAI (предварительная версия) подключается к развернутой модели внедрения в ресурсе Azure OpenAI для создания внедрения во время выполнения набора навыков. |
| ноября | Навык | Навык разделения текста (предварительная версия) обновлен в 2023-10-01-Preview для поддержки фрагментирования собственных данных. |
| ноября | Видео | Как поиск векторов и семантическое ранжирование улучшают запросы GPT, объясняет, как гибридное извлечение дает оптимальные данные о создании полезных ответов ИИ и позволяет выполнять поиск по понятиям и ключевым словам. |
| ноября | Пример | Управление доступом на основе ролей в приложениях Createive AI объясняет, как использовать идентификатор Microsoft Entra и API Microsoft Graph для развертывания подробных разрешений пользователей на фрагментированное содержимое в индексе. |
| октября | Пример | Акселератор решения "Чат с данными". Комплексный шаблон RAG, использующий поиск ИИ Azure в качестве извлекателя. Он обеспечивает индексирование, блоки данных и оркестрацию. |
| октября | Функция | Исчерпывающий алгоритм оценки K-Ближайших соседей (KNN) для поиска сходства в векторном пространстве. Доступно только в REST API версии 2023-10-01-Preview. |
| октября | Функция | Префильтры в векторном поиске оценивают критерии фильтра перед выполнением запроса, уменьшая объем содержимого, которое необходимо выполнить. Доступно только в REST API 2023-10-01-Preview через новое vectorFilterMode свойство запроса, которое может быть задано preFilter (по умолчанию) или postFilterв зависимости от ваших требований. |
| октября | API | REST API поиска 2023-10-01-Preview, критически изменяя определение векторных полей и векторных запросов. |
| августа | Функция | Расширенный семантический рейтинг. Обновленные модели развертываются для семантического повторного использования, а доступность расширяется в большее число регионов. Максимальное число уникальных маркеров удвоится с 128 до 256. |
| июля | Пример | Демонстрация вектора (Пакет SDK Azure для JavaScript). Использует библиотеку Node.js и @azure/search-documents 12.0.0-beta.2 для создания внедрения, создания и загрузки индекса и выполнения нескольких векторных запросов. |
| июля | Пример | Демонстрация вектора (пакет SDK Azure для .NET). Использует библиотеку Azure.Search.Documents 11.5.0-beta.3 для создания внедрения, создания и загрузки индекса и выполнения нескольких векторных запросов. Вы также можете попробовать этот пример из команды azure SDK. |
| июля | Пример | Векторная демонстрация (Пакет SDK Azure для Python) использует последнюю бета-версию azure.search.documents для создания внедрения, создания и загрузки индекса и выполнения нескольких векторных запросов. Посетите репозиторий azure-search-vector-samples/demo-python для получения дополнительных демонстраций векторного поиска. |
| июня | Функция | Общедоступная предварительная версия векторного поиска. |
| июня | Функция | Доступность семантического поиска, доступная на уровне "Базовый". |
| июня | API | REST API поиска 2023-07-01-Preview. Поддержка векторного поиска. |
| мая | Функция | Azure RBAC (управление доступом на основе ролей, общедоступная версия). |
| мая | API | REST API управления 2022-09-01 с поддержкой настройки поиска для использования ролей Azure. Модуль Az.Search azure PowerShell и модуля поиска Az в Azure CLI обновляется для поддержки параметров проверки подлинности службы поиска. Вы также можете использовать поставщик Terraform для настройки параметров проверки подлинности (дополнительные сведения см. в этом кратком руководстве по Terraform). |
| апреля | Пример | Развертывание многорегионного поиска ИИ Azure для обеспечения непрерывности бизнес-процессов и аварийного восстановления. Сценарии развертывания, которые полностью настраивают мультирегионное решение для поиска ИИ Azure, с параметрами синхронизации содержимого и перенаправления запросов, если конечная точка завершается сбоем. |
| марта | Пример | Данные ChatGPT + Enterprise с помощью Azure OpenAI и поиска ИИ Azure (GitHub). Код Python и шаблон для объединения службы "Поиск ИИ Azure" с большими языковыми моделями в OpenAI. Дополнительные сведения см. в этой записи блога Tech Community: революция корпоративных данных с помощью ChatGPT. Ключевые моменты: Использование службы "Поиск ИИ Azure" для консолидации и индексирования содержимого, доступного для поиска. Запрос индекса для первоначальных результатов поиска. Сбор запросов от этих результатов и отправка в модель gpt-35-turbo (предварительная версия) в Azure OpenAI. Верните ответ между документами и предоставьте ссылки и прозрачность в приложении для клиента, чтобы пользователи могли оценить ответ. |
Объявления предыдущего года
Ребранд службы
На протяжении многих лет у этой службы было несколько имен. Здесь они находятся в обратном хронологическом порядке:
- Поиск ИИ Azure (ноябрь 2023 г.) переименован в соответствие со службами ИИ Azure и ожиданиями клиентов.
- Когнитивный поиск Azure (октябрь 2019 г.) Переименовано, чтобы отразить расширенное (еще необязательное) использование когнитивных навыков и обработки ИИ в операциях службы.
- Поиск Azure (март 2015 г.) Исходное имя.
Обновленные сведения об обслуживании
Объявления об обновлении службы для поиска ИИ Azure можно найти на веб-сайте Azure.
Переименование компонентов
Семантический поиск был переименован в семантический рангер в ноябре 2023 года, чтобы лучше описать функцию, которая предоставляет рейтинг L2 существующего результирующего набора.