Использование текстовой суммирования (предварительная версия)

В этой статье показано, как использовать текстовое сводные данные с индексатором видео Azure AI. В этом примере используются развертывания модели Azure OpenAI.

Примечание.

Эта функция работает только со стандартной учетной записью. Создайте стандартную учетную запись.

Необходимые компоненты

Ознакомьтесь с обзором текстового резюмирования и следующими предварительными условиями.

Облако

• Учетная запись индексатора видео Azure AI, подключенная к учетной записи Azure OpenAI.

• Службе Azure OpenAI предоставлен доступ в требуемой подписке Azure В настоящее время доступ к этой службе предоставляется приложением. Вы можете подать заявку на доступ к службе Azure OpenAI, заполнив форму.

• Развертывание Azure OpenAI GPT-35-Turbo, GPT-4 или GPT-4o. Чтобы воспользоваться сводками на основе ключевых кадров, необходимо выбрать модель Azure OpenAI, которая принимает визуальные данные. Дополнительные сведения см. здесь: модели службы Azure OpenAI.

• В развертывание следует добавить фильтр экранов запросов для прямых атак (джейл-брейл). Дополнительные сведения см. здесь: использование фильтров содержимого (предварительная версия) с помощью Службы Azure OpenAI.

• Мы рекомендуем настроить вредоносные фильтры содержимого для таких категорий, как "Насилие", "Ненависть", "Сексуальное" и "Самоповредение". Хотя эти фильтры не являются обязательными, следует задать для них значение "Средний" или "Низкий", чтобы отфильтровать содержимое по крайней мере среднего уровня вредности. Этот параметр гарантирует, что содержимое с рейтингом вредности среднего или более высокого уровня блокируется. Для повышения безопасности можно выбрать более строгий параметр. После настройки сохраните параметры фильтра содержимого.

• Видео, отправленное в библиотеку индексатора видео Azure AI.

Примечание.

Индексатор видео Azure AI не может подключаться к точно настроенным моделям.

Устройства периферии

Индексатор видео Azure AI, включенный в Arc, позволяет использовать Индексатор видео Azure на пограничных устройствах. Ниже приведены технические требования для этого варианта использования:

• Индексатор видео, включенный Arc версии 1.1.23 или более поздней.
• Требования к оборудованию: GPU или процессоры Intel. Мы не рекомендуем работать на ЦП из-за медленной скорости. Рекомендуется использовать gpu Nvidia V100 или более поздней версии. При наличии нескольких узлов GPU можно добавить селектор узлов, чтобы выбрать нужный узел.
• Использование ключевых кадров в рамках сводки требует Nvidia A100 или более поздней версии.
• Сводка текстовых видео на уровне периферии использует только модель Phi3.5. Дополнительные сведения об оборудовании см. в официальной информации о выпуске Phi 3.5.

Открытие веб-страниц в браузере

Проще следовать этим инструкциям, если у вас уже есть необходимые веб-страницы. Скопируйте и вставьте следующие параметры в любимый текстовый редактор. Ниже приведен список для начала работы:

• Идентификатор учетной записи VI:
• Идентификатор видеофайла:
• имя развертывания:
• маркер доступа:

1. Откройте портал Azure на одной вкладке или окне и войдите.
   1. Перейдите на страницу учетной записи Индексатора видео Azure для идентификатора учетной записи.
   2. Перейдите на страницу учетной записи Azure OpenAI
      1. В меню выберите "Развертывания модели", а затем выберите "Управление развертываниями". Откроется Azure OpenAI Studio. Скопируйте имя развертывания, которое вы хотите использовать.
2. Откройте веб-портал Индексатора видео Azure AI на другой вкладке или окне и войдите в систему.
   1. Перейдите на страницу библиотеки, выберите видео, а затем щелкните его правой кнопкой мыши для идентификатора видеофайла.
3. Откройте API индексатора видео в Azure AI на другой вкладке или окне и войдите в систему.

Веб-представление

Создание сводки текста с ключевыми кадрами или без нее

Для суммирования текста можно использовать веб-портал Индексатора видео Azure AI.

1. Если у вас еще нет веб-портала, откройте веб-портал Индексатора видео Azure.
2. Отправьте файл и дождитесь его индексирования.
3. Выберите видео, чтобы перейти на страницу мультимедиа.
4. Если вы хотите использовать ключевые кадры для создания сводки, установите флажок Включить визуальные ключевые кадры для получения более качественной сводки.
5. Выберите "Создать сводку". Создается текстовая сводка.

Примечание.

Если вы не видите кнопку создания сводки , возможно, вы используете пробную учетную запись. Создайте стандартную учетную запись для использования этой функции.

Сводка настроек

После создания сводки можно внести в него корректировки, настроив стиль сводки или изменив развертывание модели.

Настройка стиля сводки

Вы также можете настроить сводку, выбрав значок "Настройка сводки ". Вы можете выбрать короткие, **средние или длинные суммарные длины, а также выбрать "Нейтральный", "Случайный" или "Формальный" в виде стиля сводки. После выбора нажмите кнопку "Создать снова".

Изменение развертывания модели

1. Щелкните значок "Настройка сводки".
2. Выберите развертывание модели, которое вы хотите использовать в раскрывающемся списке развертывания модели.
3. Снова нажмите кнопку "Создать".

Примечание.

Помните, что развертывание модели — это сочетание модели и фильтров. Кроме того, каждый раз при настройке сводки текста он представляет запрос PUT API.

API

Создание сводки видео

Создание маркера доступа

Создайте маркер доступа в портал Azure:

1. Перейдите к учетной записи Индексатора видео Azure AI.
2. В меню выберите "Управление" , а затем API управления.
3. В раскрывающемся списке "Тип разрешения" выберите "Участник".
4. В раскрывающемся списке "Область" выберите "Учетная запись".
5. Выберите Создать. Создается маркер доступа.
6. Скопируйте маркер доступа в буфер обмена.

У вас должны быть все параметры, необходимые для создания сводки видео, готовой к работе в текстовом редакторе.

1. На странице API индексатора видео Azure ИИ найдите сводные данные.
2. Нажмите кнопку "Попробовать" рядом с кнопкой "Создать сводку видео". Откроется область параметров API.
3. Вставьте маркер доступа в буфер обмена в поле accessToken .
4. Выберите расположение из раскрывающегося списка расположений.
5. Скопируйте и вставьте идентификатор учетной записи VI в поле accountId .
6. Скопируйте идентификатор видеофайла и вставьте его в поле VideoId .
7. Выберите длину сводки, средней, короткой или длинной в раскрывающемся списке длины .
8. Выберите стиль, нейтральный, случайный или формальный в раскрывающемся списке стилей.
9. Выберите Отправить.

В ответе есть идентификатор сводки. Скопируйте этот идентификатор в буфер обмена.

Получение сводки видео

Сначала проверьте состояние сводки. Пока не завершится сводное задание, значение состояния отображает "Обработка", но в ответе нет сводки. По завершении задания сводки сводка отображается в ответе.

1. Выберите GET Video Summary. ( Получить сводку видео
2. Введите идентификатор учетной записи, идентификатор видео, идентификатор сводки и маркер доступа в соответствующие поля.
3. Выберите Отправить.

Примечание.

В ответе о сводке всегда доступен отказ от ответственности. Кроме того, есть ссылка на API статуса задачи в заголовке Location.

Вывод сводок видео

Вы можете перечислить сводки видео по страницам. Выберите "Сводки по списку" и используйте те же параметры, которые уже описаны. Если есть большой список сводок, используйте параметры страницы для возврата ответа на страницах. Используйте идентификатор сводки для запроса GET Video Summary.

Удаление сводки видео

Удаление сводки видео является таким же простым, как выбор del Delete Video Summary, используя те же параметры и выбрав "Отправить".

Коды ошибок

Запросить	Код состояния	Сообщение об ошибке	Тип ошибки	Причина	Исправление
Сводка по созданию видео	400	Учетная запись не подключена к Azure OpenAI	INVALID_INPUT		Перейдите к портал Azure и подключите учетную запись.
Сводка по созданию видео	400	Развертывание не найдено с таким именем: {deploymentName}	INVALID_INPUT		Проверьте строку имени развертывания.
Сводка по созданию видео	400	Эта модель не поддерживает создание сводок.	INVALID_INPUT		Выбор другой модели
Сводка по созданию видео	400	Не удалось создать сводку, так как модель ИИ должна содержать фильтры содержимого, чтобы избежать отображения вредного содержимого. " + $"Добавить следующие политики: {string. Join(",", Enum.GetValues<FilterType>(). Where(type = type !=> FilterType.JailBreak)}." + $"Set the AllowedContentLevel по крайней мере {AllowedContentLevel.Medium} для обоих источников {FilterSource.Prompt} и {FilterSource.Completion}	SUMMARY_FILTERS_NOT_FOUND		См. сообщение об ошибке.
Сводка по созданию видео	400	Видео не найдено	VIDEO_NOT_FOUND
Сводка по созданию видео	400	Индексирование видео еще не завершено	VIDEO_ALREADY_IN_PROGRESS
Сводка по созданию видео	400	Недопустимое значение суммарной длины "{length}"	INVALID_INPUT
Сводка по созданию видео	400	Недопустимое значение стиля сводки "{style}	INVALID_INPUT
Get-Video-Summary	200	Н/Д	Н/Д
Get-Video-Summary	404	Сводка "{summaryId}" не найдена для видео "{videoId}"	NOT_FOUND
Get-Video-Summary	200	Не удалось создать сводку, так как содержимое видео было помечено как вредное. Дополнительные сведения см. в статьях "Фильтры содержимого"	Н/Д	Все разделы в видео активировали фильтр содержимого.	Нет решения для конкретного видео.
Get-Video-Summary	200	Недостаточно сведений для создания сводки.	Н/Д	Аналитика видео не содержит достаточно сведений, чтобы создать запросы для Azure OpenAI	Если предустановка видео не содержит все модели, переиндексирование с более расширенным предустановкой, содержащей звук, может помочь.
Get-Video-Summary	200	Не удалось получить развертывания Azure OpenAI для ресурса {_resourceName}
Get-Video-Summary	200	Развертывание {DeploymentName} не существует
Get-Video-Summary	200	Не удалось достичь Azure OpenAI. Попробуйте выполнить сводку позже.			Повторите задание суммирования позже.
Сводка по созданию видео				Нет назначения ролей
Get-Video-Summary				Нет назначения ролей

Устранение неполадок

Прежде чем искать конкретные решения, убедитесь, что вы создали ресурсы в разделе предварительных требований документа.

Не отображается сводка

Возможно, вы не подключили учетную запись Azure OpenAI к учетной записи Индексатора видео Azure.

Не удалось создать сводку

• Чтобы избежать отображения вредного содержимого, необходимо добавить фильтры содержимого в развертывание. Вернитесь в студию Azure OpenAI и добавьте фильтры в развертывание.
• Возможно, вы создали фильтр неразрешительного содержимого для содержимого с конфиденциальным или вредным содержимым. Фильтр содержимого должен быть по крайней мере средним. Если для фильтра содержимого задано значение "Средний" И вредное содержимое остается в видео, фильтр активируется. В этом случае нет решения.
• Возможно, вы не попросили расшифровку или в процессе индексирования не было достаточно информации.
• Возможно, вы используете расширенную предустановку.
• Видео может не иметь достаточно звука для создания преобразования.

Не удается использовать развертывание или развертывание модели, отсутствующие

• Возможно, вы не создали развертывание.
• Возможно, кто-то изменил или удалил развернутую модель.

Регулирование

Может быть слишком много запросов, отправляемых в VI. Подождите несколько минут и повторите попытку.

Вы получите сообщение об ошибке "Фильтр не найден"

Если произойдет ошибка "фильтр не найден", вы получите подробное сообщение об ошибке, объясняющее, что именно отсутствует. Ошибка выглядит примерно так, но может содержать сведения о других отсутствующих вещах:

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

Примечание.

Фильтр для взлома тюрьмы требуется только при использовании сводки на основе ключевых кадров или регулярной сводки по состоянию на 1 ноября 2024 года.

Чтобы устранить проблему с тюрьмой, выполните следующие действия.

1. Выберите "Перейти к Azure Open AI Studio".
2. Выберите Развертывания.
3. Выберите развертывание, с которым вы работаете.
4. Выберите Изменить.
5. Настройте фильтры по крайней мере среднего уровня для каждой категории.
6. Примените экраны запроса для атак в тюрьме.
7. Выберите " Создать фильтр".

Другие вопросы

Рекомендуем создавать учетные записи индексатора видео Azure искусственного интеллекта и Azure OpenAI в одном регионе, чтобы избежать проблем с производительностью.