Поделиться через

Краткое руководство. Использование изображений в чатах ИИ

  • Статья

Начало работы с GPT-4 Turbo с образами с помощью Службы Azure OpenAI.

Примечание.

Выбор модели

Последние модели, поддерживаемые зрением, и gpt-4ogpt-4o mini. Эти модели находятся в общедоступной предварительной версии. Последняя доступна модель gpt-4 общедоступной версии turbo-2024-04-09.

Внимание

Дополнительные сборы за использование могут применяться при использовании моделей завершения чата с функциональными возможностями зрения.

Используйте эту статью, чтобы приступить к использованию Azure AI Foundry для развертывания и тестирования модели завершения чата с пониманием изображений.

Необходимые компоненты

Подготовка носителя

Чтобы завершить работу с этим кратким руководством, вам потребуется изображение. Этот образ можно использовать или любой другой доступный образ.

Фотография аварии на автомобиле, которую можно использовать для завершения краткого руководства.

Перейдите в Azure AI Foundry

  1. Перейдите к Azure AI Foundry и войдите с учетными данными, связанными с ресурсом Azure OpenAI. Во время или после рабочего процесса входа выберите соответствующий каталог, подписку Azure и ресурс Azure OpenAI.
  2. Выберите концентратор, в который вы хотите работать.
  3. В меню навигации слева выберите "Модели + конечные точки" и нажмите кнопку "Развернуть модель".
  4. Выберите развертывание с поддержкой образа, выбрав имя модели: gpt-4o или gpt-4o-mini. В появившемся окне выберите имя и тип развертывания. Убедитесь, что ресурс Azure OpenAI подключен. Дополнительные сведения о моделях развертывания Azure, см. в руководстве по развертыванию ресурсов.
  5. Выберите Развернуть.
  6. Затем выберите новую модель и нажмите кнопку "Открыть на детской площадке". На игровой площадке чата в раскрывающемся списке развертывания необходимо выбрать созданное развертывание.

Тестовая площадка

В этом сеансе чата вы указываете помощнику помочь вам в понимании входных изображений.

Общие сведения о настройке помощника, сеансах чата, параметрах и панелях см. в кратком руководстве по чату.

Запуск сеанса чата для анализа изображений

В этом сеансе чата вы указываете помощнику помочь в понимании входных изображений.

  1. Чтобы начать, убедитесь, что развертывание с поддержкой образа выбрано в раскрывающемся списке развертывания .

  2. В текстовом поле контекста на панели установки укажите этот запрос, чтобы помочь помощнику: "You're an AI assistant that helps people find information." Или вы можете настроить запрос на изображение или сценарий.

    Примечание.

    Мы рекомендуем обновить системное сообщение для конкретной задачи, чтобы избежать ненужных ответов от модели.

  3. Нажмите кнопку "Применить изменения" , чтобы сохранить изменения.

  4. В области сеансов чата нажмите кнопку вложения и отправьте изображение. Выберите изображение.

  5. Добавьте следующий запрос в поле чата: Describe this imageи выберите значок отправки.

  6. Значок отправки заменяется кнопкой остановки. Если выбрать его, помощник перестает обрабатывать запрос. В этом кратком руководстве помощник завершит ответ.

  7. Помощник отвечает с описанием изображения.

  8. Задайте следующий вопрос, связанный с анализом изображения. Вы можете ввести, "What should I highlight about this image to my insurance company?".

  9. Вы должны получить соответствующий ответ, аналогичный приведенному здесь:

    When reporting the incident to your insurance company, you should highlight the following key points from the image:  

1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  

2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  

3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  

4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  

5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  

6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  

Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.

Просмотр и экспорт кода

В любой момент в сеансе чата можно включить переключатель Show raw JSON в верхней части окна чата, чтобы просмотреть беседу в формате JSON. Вот как выглядит в начале сеанса чата быстрого запуска:

[
	{
		"role": "system",
		"content": [
			"You are an AI assistant that helps people find information."
		]
	},
]

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Используйте эту статью, чтобы приступить к использованию REST API Azure OpenAI для развертывания и использования GPT-4 Turbo с моделью визуального распознавания.

Необходимые компоненты

Примечание.

В настоящее время не поддерживается отключение фильтрации содержимого для модели GPT-4 Turbo с моделью визуального зрения.

Получение ключа и конечной точки

Чтобы успешно вызвать API Azure OpenAI, вам потребуется следующая информация о ресурсе Azure OpenAI:

«Переменная» Имя. Значение
Конечная точка api_base Значение конечной точки находится в разделе "Ключи" и "Конечная точка" для ресурса в портал Azure. Вы также можете найти конечную точку на странице "Развертывания" на портале Azure AI Foundry. Пример конечной точки: https://docs-test-001.openai.azure.com/.
Ключ api_key Значение ключа также находится в разделе "Ключи" и "Конечная точка" для ресурса в портал Azure. Azure создает два ключа для ресурса. Можно использовать любое значение.

Перейдите к своему ресурсу на портале Azure. На панели навигации выберите "Ключи" и "Конечная точка " в разделе "Управление ресурсами". Скопируйте значение конечной точки и значение ключа доступа. Можно использовать значение KEY 1 или KEY 2 . Наличие двух ключей позволяет безопасно поворачивать и повторно создавать ключи без нарушения работы службы.

Снимок экрана: страница

Создание приложения Python

Создайте файл Python с именем quickstart.py. Откройте новый файл в предпочтительном редакторе или интегрированной среде разработки.

  1. Замените содержимое quickstart.py следующим кодом.

    # Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
data = { 
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

  2. Внесите следующие изменения:

    1. Введите URL-адрес конечной точки и ключ в соответствующих полях.
    2. Введите имя развертывания GPT-4 Turbo в соответствующем поле.
    3. Измените значение "image" поля на URL-адрес изображения.

      Совет

      Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по GPT-4 Turbo с руководством по визуальному представлению.

  3. Запустите приложение, выполнив команду python:

    python quickstart.py

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Используйте эту статью, чтобы приступить к развертыванию и использованию GPT-4 Turbo с моделью Визуального распознавания с помощью пакета SDK Для Python Для Azure OpenAI.

Исходный код библиотеки | Пакет (PyPi) |

Необходимые компоненты

Настройка

Установите клиентную библиотеку OpenAI Python с помощью следующих компонентов:

pip install openai

Примечание.

Эта библиотека поддерживается OpenAI. Ознакомьтесь с журналом выпуска, чтобы отслеживать последние обновления библиотеки.

Получение ключа и конечной точки

Чтобы успешно выполнить вызов к Azure OpenAI, вам потребуется конечная точка и ключ.

Имя переменной Значение
ENDPOINT Конечная точка службы можно найти в разделе "Ключи" и "Конечная точка" при изучении ресурса из портал Azure. Кроме того, можно найти конечную точку на странице "Развертывания " на портале Azure AI Foundry. Пример конечной точки: https://docs-test-001.openai.azure.com/.
API-KEY Это значение можно найти в разделе Ключи и конечная точка при просмотре ресурса на портале Azure. Вы можете использовать KEY1 или KEY2.

Перейдите к своему ресурсу на портале Azure. Раздел "Ключи и конечная точка " можно найти в разделе "Управление ресурсами". Скопируйте конечную точку и ключ доступа, так как они потребуются для проверки подлинности вызовов API. Вы можете использовать KEY1 или KEY2. Наличие двух ключей позволяет безопасно менять и повторно создавать ключи без прерывания работы службы.

Снимок экрана: пользовательский интерфейс обзора для ресурса Azure OpenAI в портал Azure с конечной точкой и расположением ключей доступа, окружаемых красным цветом.

Переменные среды

Создайте и назначьте переменные постоянной среды для ключа и конечной точки.

Внимание

Мы рекомендуем использовать проверку подлинности Идентификатора Microsoft Entra с управляемыми удостоверениями для ресурсов Azure, чтобы избежать хранения учетных данных с приложениями, работающими в облаке.

Используйте ключи API с осторожностью. Не включайте ключ API непосредственно в код и никогда не публикуйте его. При использовании ключей API безопасно храните их в Azure Key Vault, регулярно поворачивайте ключи и ограничьте доступ к Azure Key Vault с помощью управления доступом на основе ролей и ограничений доступа к сети. Дополнительные сведения об использовании ключей API безопасно в приложениях см. в разделе "Ключи API" с помощью Azure Key Vault.

Дополнительные сведения о безопасности служб ИИ см. в статье "Проверка подлинности запросов к службам ИИ Azure".

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

Создание приложения Python

Создайте файл Python с именем quickstart.py. Откройте новый файл в предпочтительном редакторе или интегрированной среде разработки.

  1. Замените содержимое quickstart.py следующим кодом.

    from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}"
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    max_tokens=2000 
)

print(response)

  2. Внесите следующие изменения:

    1. Введите имя GPT-4 Turbo с развертыванием Визуального зрения в соответствующем поле.
    2. Измените значение "url" поля на URL-адрес изображения.

      Совет

      Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по GPT-4 Turbo с руководством по визуальному представлению.

  3. Запустите приложение, выполнив команду python:

    python quickstart.py

Внимание

Используйте ключи API с осторожностью. Не включайте ключ API непосредственно в код и никогда не публикуйте его. Если вы используете ключ API, сохраните его безопасно в Azure Key Vault. Дополнительные сведения об использовании ключей API безопасно в приложениях см. в разделе "Ключи API" с помощью Azure Key Vault.

Дополнительные сведения о безопасности служб ИИ см. в статье "Проверка подлинности запросов к службам ИИ Azure".

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Используйте эту статью, чтобы приступить к использованию пакета SDK Для JavaScript OpenAI для развертывания и использования GPT-4 Turbo с моделью Визуального распознавания.

Этот пакет SDK предоставляется OpenAI с определенными типами Azure, предоставляемыми Azure.

Справочная документация | Исходный код библиотеки | Пакет (npm) | Примеры

Необходимые компоненты

Примечание.

Эта библиотека поддерживается OpenAI. Ознакомьтесь с журналом выпуска, чтобы отслеживать последние обновления библиотеки.

Предварительные требования для идентификатора Microsoft Entra

Для рекомендуемой проверки подлинности без ключа с помощью идентификатора Microsoft Entra необходимо:

  • Установите Azure CLI, используемый для проверки подлинности без ключа с помощью идентификатора Microsoft Entra.
  • Назначьте роль учетной Cognitive Services User записи пользователя. Роли можно назначить в портал Azure в разделе управления доступом (IAM)>Добавить назначение ролей.

Получение сведений о ресурсе

Чтобы проверить подлинность приложения с помощью ресурса Azure OpenAI, необходимо получить следующие сведения:

Имя переменной Значение
AZURE_OPENAI_ENDPOINT Это значение можно найти в разделе "Ключи и конечная точка" при изучении ресурса из портал Azure.
AZURE_OPENAI_DEPLOYMENT_NAME Это значение будет соответствовать пользовательскому имени, которое вы выбрали для развертывания при развертывании модели. Это значение можно найти в разделе "Развертывания модели управления>ресурсами" в портал Azure.
OPENAI_API_VERSION Дополнительные сведения о версиях API.

Дополнительные сведения о бессерверной проверке подлинности и настройке переменных среды.

Внимание

Чтобы использовать рекомендуемую проверку подлинности без ключа с пакетом SDK, убедитесь, что AZURE_OPENAI_API_KEY переменная среды не задана.

Создание приложения Node

В окне консоли (например, cmd, PowerShell или Bash) создайте новый каталог для приложения и перейдите в него. Затем выполните npm init команду, чтобы создать приложение узла с package.json файлом.

npm init

Установка клиентской библиотеки

Установите клиентские библиотеки с помощью следующих компонентов:

npm install openai @azure/identity

Файл package.json приложения будет обновлен с помощью зависимостей.

Создание нового приложения JavaScript для запросов изображений

Выберите изображение из azure-samples/cognitive-services-sample-data-files и задайте URL-адрес изображения в переменных среды.

  1. Замените содержимое quickstart.js следующим кодом.

    const AzureOpenAI = require('openai').AzureOpenAI;
const { 
    DefaultAzureCredential, 
    getBearerTokenProvider 
} = require('@azure/identity');

// You will need to set these environment variables or edit the following values
const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>";
const imageUrl = process.env["IMAGE_URL"] || "<image url>";

// Required Azure OpenAI deployment name and API version
const apiVersion = "2024-07-01-preview";
const deploymentName = "gpt-4-with-turbo";

// keyless authentication    
const credential = new DefaultAzureCredential();
const scope = "https://cognitiveservices.azure.com/.default";
const azureADTokenProvider = getBearerTokenProvider(credential, scope);

function getClient(): AzureOpenAI {
  return new AzureOpenAI({
    endpoint,
    azureADTokenProvider,
    apiVersion,
    deployment: deploymentName,
  });
}
function createMessages() {
  return {
    messages: [
      { role: "system", content: "You are a helpful assistant." },
      {
        role: "user",
        content: [
          {
            type: "text",
            text: "Describe this picture:",
          },
          {
            type: "image_url",
            image_url: {
              url: imageUrl,
            },
          },
        ],
      },
    ],
    model: "",
    max_tokens: 2000,
  };
}
async function printChoices(completion) {
  for (const choice of completion.choices) {
    console.log(choice.message);
  }
}
export async function main() {
  console.log("== Get GPT-4 Turbo with vision Sample ==");

  const client = getClient();
  const messages = createMessages();
  const completion = await client.chat.completions.create(messages);
  await printChoices(completion);
}

main().catch((err) => {
  console.error("Error occurred:", err);
});

  2. Внесите следующие изменения:

    1. Введите имя GPT-4 Turbo с развертыванием Визуального зрения в соответствующем поле.
    2. Измените значение "url" поля на URL-адрес изображения.

      Совет

      Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по GPT-4 Turbo с руководством по визуальному представлению.

  3. Запустите приложение, выполнив следующую команду:

    node quickstart.js

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Используйте эту статью, чтобы приступить к использованию пакета SDK Для JavaScript OpenAI для развертывания и использования GPT-4 Turbo с моделью Визуального распознавания.

Этот пакет SDK предоставляется OpenAI с определенными типами Azure, предоставляемыми Azure.

Справочная документация | Исходный код библиотеки | Пакет (npm) | Примеры

Необходимые компоненты

Примечание.

Эта библиотека поддерживается OpenAI. Ознакомьтесь с журналом выпуска, чтобы отслеживать последние обновления библиотеки.

Предварительные требования для идентификатора Microsoft Entra

Для рекомендуемой проверки подлинности без ключа с помощью идентификатора Microsoft Entra необходимо:

  • Установите Azure CLI, используемый для проверки подлинности без ключа с помощью идентификатора Microsoft Entra.
  • Назначьте роль учетной Cognitive Services User записи пользователя. Роли можно назначить в портал Azure в разделе управления доступом (IAM)>Добавить назначение ролей.

Получение сведений о ресурсе

Чтобы проверить подлинность приложения с помощью ресурса Azure OpenAI, необходимо получить следующие сведения:

Имя переменной Значение
AZURE_OPENAI_ENDPOINT Это значение можно найти в разделе "Ключи и конечная точка" при изучении ресурса из портал Azure.
AZURE_OPENAI_DEPLOYMENT_NAME Это значение будет соответствовать пользовательскому имени, которое вы выбрали для развертывания при развертывании модели. Это значение можно найти в разделе "Развертывания модели управления>ресурсами" в портал Azure.
OPENAI_API_VERSION Дополнительные сведения о версиях API.

Дополнительные сведения о бессерверной проверке подлинности и настройке переменных среды.

Внимание

Чтобы использовать рекомендуемую проверку подлинности без ключа с пакетом SDK, убедитесь, что AZURE_OPENAI_API_KEY переменная среды не задана.

Создание приложения Node

В окне консоли (например, cmd, PowerShell или Bash) создайте новый каталог для приложения и перейдите в него. Затем выполните npm init команду, чтобы создать приложение узла с package.json файлом.

npm init

Установка клиентской библиотеки

Установите клиентские библиотеки с помощью следующих компонентов:

npm install openai @azure/identity

Файл package.json приложения будет обновлен с помощью зависимостей.

Создание нового приложения JavaScript для запросов изображений

Выберите изображение из azure-samples/cognitive-services-sample-data-files и задайте URL-адрес изображения в переменных среды.

  1. Создайте quickstart.ts и вставьте следующий код.

    import { AzureOpenAI } from "openai";
import { 
    DefaultAzureCredential, 
    getBearerTokenProvider 
} from "@azure/identity";
import type {
  ChatCompletion,
  ChatCompletionCreateParamsNonStreaming,
} from "openai/resources/index";

// You will need to set these environment variables or edit the following values
const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>";
const imageUrl = process.env["IMAGE_URL"] || "<image url>";

// Required Azure OpenAI deployment name and API version
const apiVersion = "2024-07-01-preview";
const deploymentName = "gpt-4-with-turbo";

// keyless authentication    
const credential = new DefaultAzureCredential();
const scope = "https://cognitiveservices.azure.com/.default";
const azureADTokenProvider = getBearerTokenProvider(credential, scope);

function getClient(): AzureOpenAI {
  return new AzureOpenAI({
    endpoint,
    azureADTokenProvider,
    apiVersion,
    deployment: deploymentName,
  });
}
function createMessages(): ChatCompletionCreateParamsNonStreaming {
  return {
    messages: [
      { role: "system", content: "You are a helpful assistant." },
      {
        role: "user",
        content: [
          {
            type: "text",
            text: "Describe this picture:",
          },
          {
            type: "image_url",
            image_url: {
              url: imageUrl,
            },
          },
        ],
      },
    ],
    model: "",
    max_tokens: 2000,
  };
}
async function printChoices(completion: ChatCompletion): Promise<void> {
  for (const choice of completion.choices) {
    console.log(choice.message);
  }
}
export async function main() {
  console.log("== Get GPT-4 Turbo with vision Sample ==");

  const client = getClient();
  const messages = createMessages();
  const completion = await client.chat.completions.create(messages);
  await printChoices(completion);
}

main().catch((err) => {
  console.error("Error occurred:", err);
});

  2. Внесите следующие изменения:

    1. Введите имя GPT-4 Turbo с развертыванием Визуального зрения в соответствующем поле.
    2. Измените значение "url" поля на URL-адрес изображения.

      Совет

      Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по GPT-4 Turbo с руководством по визуальному представлению.

  3. Создайте приложение с помощью следующей команды:

    tsc

  4. Запустите приложение, выполнив следующую команду:

    node quickstart.js

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Используйте эту статью, чтобы приступить к работе с пакетом SDK для Azure OpenAI .NET для развертывания и использования GPT-4 Turbo с моделью визуального распознавания.

Необходимые компоненты

Настройка

Получение ключа и конечной точки

Чтобы успешно выполнить вызов к Azure OpenAI, вам потребуется конечная точка и ключ.

Имя переменной Значение
AZURE_OPENAI_ENDPOINT Конечная точка службы можно найти в разделе "Ключи" и "Конечная точка" при изучении ресурса из портал Azure. Кроме того, можно найти конечную точку на странице "Развертывания " на портале Azure AI Foundry. Пример конечной точки: https://docs-test-001.openai.azure.com/.
AZURE_OPENAI_API_KEY Это значение можно найти в разделе Ключи и конечная точка при просмотре ресурса на портале Azure. Вы можете использовать KEY1 или KEY2.

Перейдите к своему ресурсу на портале Azure. Конечную точку и ключи можно найти в разделе Управление ресурсами. Скопируйте конечную точку и ключ доступа, так как требуется для проверки подлинности вызовов API. Вы можете использовать KEY1 или KEY2. Наличие двух ключей позволяет безопасно менять и повторно создавать ключи без прерывания работы службы.

Снимок экрана: пользовательский интерфейс обзора для ресурса Azure OpenAI в портал Azure с выделенным расположением ключей доступа и конечной точки.

Создание приложения .NET

  1. Создайте приложение .NET с помощью dotnet new команды:

    dotnet new console -n OpenAISpeech

  2. Перейдите в каталог нового приложения:

    cd OpenAISpeech

Установка клиентской библиотеки

Установите клиентская Azure.OpenAI библиотека:

dotnet add package Azure.AI.OpenAI

Проверка подлинности без пароля является более безопасной, чем альтернатива на основе ключей и рекомендуется использовать для подключения к службам Azure. Если вы решили использовать проверку подлинности без пароля, вам потребуется выполнить следующие действия:

  1. Добавьте пакет Azure.Identity.

    dotnet add package Azure.Identity

  2. Назначьте роль учетной Cognitive Services User записи пользователя. Это можно сделать в портал Azure ресурса OpenAI в разделе управления доступом (IAM)>Добавить назначение ролей.

  3. Войдите в Azure с помощью Visual Studio или Azure CLI.az login

Обновление кода приложения

  1. Замените содержимое program.cs следующим кодом и обновите значения заполнителей собственными.

    using Azure;
using Azure.AI.OpenAI;
using Azure.Identity;
using OpenAI.Chat; // Required for Passwordless auth

var endpoint = new Uri("YOUR_AZURE_OPENAI_ENDPOINT");
var credentials = new AzureKeyCredential("YOUR_AZURE_OPENAI_KEY");
// var credentials = new DefaultAzureCredential(); // Use this line for Passwordless auth
var deploymentName = "gpt-4"; // Default name, update with your own if needed

var openAIClient = new AzureOpenAIClient(endpoint, credentials);
var chatClient = openAIClient.GetChatClient(deploymentName);

var imageUri = "YOUR_IMAGE_URL";

List<ChatMessage> messages = [
    new UserChatMessage(
        ChatMessageContentPart.CreateTextMessageContentPart("Please describe the following image:"),
        ChatMessageContentPart.CreateImageMessageContentPart(new Uri(imageUri), "image/png"))
];

ChatCompletion chatCompletion = await chatClient.CompleteChatAsync(messages);

Console.WriteLine($"[ASSISTANT]:");
Console.WriteLine($"{chatCompletion.Content[0].Text}");

Внимание

Мы рекомендуем использовать проверку подлинности Идентификатора Microsoft Entra с управляемыми удостоверениями для ресурсов Azure, чтобы избежать хранения учетных данных с приложениями, работающими в облаке.

Используйте ключи API с осторожностью. Не включайте ключ API непосредственно в код и никогда не публикуйте его. При использовании ключей API безопасно храните их в Azure Key Vault, регулярно поворачивайте ключи и ограничьте доступ к Azure Key Vault с помощью управления доступом на основе ролей и ограничений доступа к сети. Дополнительные сведения об использовании ключей API безопасно в приложениях см. в разделе "Ключи API" с помощью Azure Key Vault.

Дополнительные сведения о безопасности служб ИИ см. в статье "Проверка подлинности запросов к службам ИИ Azure".

  1. Запустите приложение с помощью dotnet run команды или кнопки запуска в верхней части Visual Studio:

    dotnet run

Приложение создает звуковой файл в расположении, указанном для переменной speechFilePath . Воспроизводите файл на устройстве, чтобы услышать созданный звук.

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Следующие шаги