Заголовки изображений (версия 4.0)

Заголовки изображений в анализе изображений 4.0 доступны с помощью функций субтитров и плотных подписей .

Функция заголовка создает одно предложение для всех содержимого изображения. Плотные субтитры предоставляют более подробную информацию, создавая одно предложение описания до 10 разных областей изображения в дополнение к описанию всего изображения. Плотные подписи также возвращают ограничивающие координаты прямоугольники описанных областей изображения. Обе эти функции используют последние модели ИИ на основе Флоренции.

Заголовок изображения доступен только на английском языке.

Внимание

Заголовок изображения в службе "Анализ изображений 4.0" доступен только в определенных регионах центра обработки данных Azure: см . статью "Доступность регионов". Чтобы получить результаты из функций субтитров и плотных подписей, необходимо использовать ресурс Визуального распознавания Azure, расположенный в одном из этих регионов.

Если вам нужно использовать ресурс визуального распознавания за пределами этих регионов для создания подписей изображений, используйте анализ изображений 3.2 , доступный во всех регионах Распознавания искусственного интеллекта Azure.

Быстро и легко опробуйте возможности добавления подписей к изображениям в браузере с помощью Vision Studio.

Попробовать Vision Studio

Заголовки с гендерной нейтральной позицией

По умолчанию подписи содержат гендерные термины ("человек", "женщина", "мальчик" и "девушка"). Вы можете заменить эти термины на "person" в результатах и получить заголовки, нейтральные полом. Это можно сделать, задав необязательный параметр gender-neutral-caption true запроса API в URL-адресе запроса.

Примеры подписей и плотных субтитров

Заголовок

В следующем ответе JSON показано, что API анализа изображений 4.0 возвращается при описании примера изображения на основе его визуальных функций.

"captions": [
    {
        "text": "a man pointing at a screen",
        "confidence": 0.4891590476036072
    }
]

Плотные подписи

Следующий ответ JSON иллюстрирует, что API анализа изображений 4.0 возвращает при создании плотных подписей для примера изображения.

{
  "denseCaptionsResult": {
    "values": [
      {
        "text": "a man driving a tractor in a farm",
        "confidence": 0.535620927810669,
        "boundingBox": {
          "x": 0,
          "y": 0,
          "w": 850,
          "h": 567
        }
      },
      {
        "text": "a man driving a tractor in a field",
        "confidence": 0.5428450107574463,
        "boundingBox": {
          "x": 132,
          "y": 266,
          "w": 209,
          "h": 219
        }
      },
      {
        "text": "a blurry image of a tree",
        "confidence": 0.5139822363853455,
        "boundingBox": {
          "x": 147,
          "y": 126,
          "w": 76,
          "h": 131
        }
      },
      {
        "text": "a man riding a tractor",
        "confidence": 0.4799223840236664,
        "boundingBox": {
          "x": 206,
          "y": 264,
          "w": 64,
          "h": 97
        }
      },
      {
        "text": "a blue sky above a hill",
        "confidence": 0.35495415329933167,
        "boundingBox": {
          "x": 0,
          "y": 0,
          "w": 837,
          "h": 166
        }
      },
      {
        "text": "a tractor in a field",
        "confidence": 0.47338250279426575,
        "boundingBox": {
          "x": 0,
          "y": 243,
          "w": 838,
          "h": 311
        }
      }
    ]
  },
  "modelVersion": "2024-02-01",
  "metadata": {
    "width": 850,
    "height": 567
  }
}

Использование API

Подписи изображений

Функция заголовков изображений является частью API анализа изображений . Включите Caption в параметр запроса функций . Затем, когда вы получите полный ответ JSON, анализирует строку для содержимого "captionResult" раздела.

Плотные подписи

Функция плотного заголовка является частью API анализа изображений . Включите denseCaptions в параметр запроса функций . Затем, когда вы получите полный ответ JSON, анализирует строку для содержимого "denseCaptionsResult" раздела.

Следующие шаги

• Узнайте о связанной концепции обнаружения объектов.
• Краткое руководство. REST API или клиентские библиотеки службы "Анализ изображений"
• Вызов API анализа изображений