Поделиться через

Краткое руководство. Начало работы с чатами с поддержкой визуального распознавания на портале Azure AI Foundry

  • Статья

Внимание

Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.

Используйте эту статью, чтобы приступить к использованию Azure AI Foundry для развертывания и тестирования модели завершения чата с пониманием изображений.

Дополнительные сборы за использование могут применяться при использовании моделей завершения чата с функциональными возможностями зрения.

Необходимые компоненты

Подготовка носителя

Чтобы завершить работу с этим кратким руководством, вам потребуется изображение. Этот образ можно использовать или любой другой доступный образ.

Фотография аварии на автомобиле, которую можно использовать для завершения краткого руководства.

Развертывание модели чата с поддержкой визуального зрения

  1. Войдите в Azure AI Foundry и выберите центр, в который вы хотите работать.
  2. В меню навигации слева выберите "Модели + конечные точки" и нажмите кнопку "Развернуть модель".
  3. На странице выбора модели выберите модель с поддержкой визуального зрения, например GPT-4o. В появившемся окне выберите имя и тип развертывания. Убедитесь, что ресурс Azure OpenAI подключен.
  4. Выберите Развернуть.
  5. Затем выберите новую модель и нажмите кнопку "Открыть на детской площадке". На игровой площадке чата в раскрывающемся списке развертывания необходимо выбрать созданное развертывание.

Запросы на изображение

В этом сеансе чата вы указываете помощнику помочь вам в понимании входных изображений.

  1. В текстовом поле контекста на панели установки укажите этот запрос, чтобы помочь помощнику: "You're an AI assistant that helps people find information." Или вы можете настроить запрос на изображение или сценарий.
  2. Нажмите кнопку "Применить изменения" , чтобы сохранить изменения.
  3. В области сеансов чата нажмите кнопку вложения и отправьте изображение. Выберите изображение.
  4. Добавьте следующий запрос в поле чата: "Describe this image"и выберите значок отправки.
  5. Значок отправки заменяется кнопкой остановки. Если выбрать его, помощник перестает обрабатывать запрос. В этом кратком руководстве помощник завершит ответ.
  6. Помощник отвечает с описанием изображения.
  7. Задайте следующий вопрос, связанный с анализом изображения. Вы можете ввести, "What should I highlight about this image to my insurance company?".
  8. Вы должны получить соответствующий ответ, аналогичный приведенному здесь: 
    When reporting the incident to your insurance company, you should highlight the following key points from the image:  

1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  

2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  

3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  

4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  

5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  

6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  

Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.

Просмотр и экспорт кода

В любой момент в сеансе чата можно включить переключатель Show raw JSON в верхней части окна чата, чтобы просмотреть беседу в формате JSON. Вот как выглядит в начале сеанса чата быстрого запуска:

[
	{
		"role": "system",
		"content": [
			"You are an AI assistant that helps people find information."
		]
	},
]

Очистка ресурсов

Чтобы избежать ненужных затрат Azure, следует удалить ресурсы, созданные в этом кратком руководстве, если они больше не нужны. Для управления ресурсами можно использовать портал Azure.

Следующие шаги