Изменить

Поделиться через

Классификация изображений в Azure

хранилище BLOB-объектов Azure
Компьютерное зрение Azure
Azure Cosmos DB
Сетка событий Azure
Функции Azure

Идеи решения

В этой статье описывается идея решения. Ваш архитектор облака может использовать это руководство, чтобы визуализировать основные компоненты для типичной реализации этой архитектуры. Используйте эту статью в качестве отправной точки для разработки хорошо спроектированного решения, которое соответствует конкретным требованиям рабочей нагрузки.

Используя службы Azure, такие как API компьютерного зрения и Функции Azure, компании могут устранить необходимость управления отдельными серверами, а также сократить затраты и использовать опыт, который корпорация Майкрософт уже разработала с обработкой изображений с помощью служб ИИ Azure. Эта идея решения специально касается варианта использования обработки изображений. Если у вас есть различные потребности в ИИ, рассмотрите полный набор служб ИИ Azure.

Архитектура

схема архитектуры, используемой для задач классификации изображений.

Скачайте файл Visio этой идеи решения.

Поток данных

Этот сценарий охватывает внутренние компоненты веб-приложения или мобильного приложения. Данные передаются по следующему сценарию:

  1. Добавление новых файлов (отправки изображений) в хранилище BLOB-объектов активирует событие в службе "Сетка событий Azure". Процесс отправки можно управлять через интернет или мобильное приложение. Кроме того, изображения можно отправлять отдельно в хранилище BLOB-объектов Azure.
  2. Служба "Сетка событий" отправляет уведомление, которое активирует функции Azure.
  3. Функции Azure вызывают API визуального распознавания Azure для анализа только что отправленного образа. Azure AI Vision обращается к изображению через URL-адрес большого двоичного объекта, который анализируется функциями Azure.
  4. Функции Azure сохраняют ответ API визуального распознавания ИИ в Azure Cosmos DB. Этот ответ включает результаты анализа, а также метаданные изображения.
  5. Результаты можно использовать и отражать в веб-интерфейсе или мобильном интерфейсе. Обратите внимание, что этот подход извлекает результаты классификации, но не загруженный образ.

Компоненты

  • Azure AI Vision входит в набор служб ИИ Azure и используется для получения сведений о каждом изображении.
  • Функции Azure предоставляют внутренний API для веб-приложения. Эта платформа также предоставляет обработку событий для отправленных образов.
  • Сетка событий Azure активирует событие при отправке нового образа в хранилище BLOB-объектов. Затем образ обрабатывается с помощью Функций Azure.
  • хранилище BLOB-объектов Azure хранит все файлы изображений, отправленные в веб-приложение, а также все статические файлы, которые использует веб-приложение.
  • Azure Cosmos DB хранит метаданные о каждом отправленном изображении, включая результаты обработки из API компьютерного зрения.

Альтернативы

  • Azure OpenAI GPT-4o и GPT-4o-mini. GPT-4o и GPT-4o-mini являются мультимодальными моделями чата из OpenAI, которые могут отвечать на общие вопросы о том, что присутствует в предоставленных изображениях.
  • пользовательской службы визуального распознавания. API компьютерного зрения возвращает набор категорий на основе таксономии. Если вам нужно обработать сведения, которые не возвращаются API компьютерного зрения, рассмотрите службу пользовательского визуального распознавания, которая позволяет создавать пользовательские классификаторы изображений. Чтобы узнать об этой службе, следуйте кратким инструкциям создание модели классификации изображений с помощью пользовательского визуального распознавания.
  • поиск azure AI. Если в вашем случае используется запрос метаданных, чтобы найти изображения, соответствующие определенным критериям, рассмотрите возможность использования службы "Поиск ИИ Azure". поиск azure AI легко интегрирует этот рабочий процесс.
  • Logic Apps. Если вам не нужно реагировать в режиме реального времени на добавленные файлы в большой двоичный объект, можно использовать Logic Apps. Приложение логики, которое может проверить, был ли добавлен файл, может начинаться с триггера повторения или скользящего триггера windows.
  • Если у вас есть изображения, внедренные в документы, используйте аналитику документов Azure AI для поиска этих изображений. С помощью этой информации вы можете извлечь и выполнить дальнейшие задачи компьютерного зрения на внедренных изображениях. Используйте аналитику документов для сбора данных об этих внедренных изображениях, таких как номер страницы или текст заголовка, который можно хранить вместе с другими метаданными изображений, полученными через API компьютерного зрения. Если изображения являются главным образом фотографиями или сканированием документов, используйте модели пользовательской классификации Document Intelligence, для классификации входного файла на одну страницу, чтобы определить документы внутри. Этот подход также может определять несколько документов или несколько экземпляров одного документа в входном файле.

Сведения о сценарии

Этот сценарий относится к предприятиям, которым требуется обрабатывать изображения.

К потенциальным приложениям относятся классификация изображений для веб-сайта моды, анализ текста и изображений для страховых претензий или понимание данных телеметрии на снимках экрана игры. Традиционно компании должны разработать опыт работы с моделями машинного обучения, обучить модели и, наконец, запустить образы с помощью пользовательского процесса, чтобы получить данные из изображений.

Возможные варианты использования

Это решение идеально подходит для розничной торговли, игры, финансов и страховых отраслей. К другим соответствующим вариантам использования относятся:

  • Классификация изображений на веб-сайте моды. Классификация изображений может использоваться продавцами при отправке фотографий продуктов на платформу для продажи. Затем они могут автоматизировать следовательное ручное добавление тегов. Клиенты также могут искать визуальное впечатление о продуктах.

  • Классификация данных телеметрии на снимках экрана игр. Классификация видеоигр на снимках экрана развивается в соответствующих проблемах в социальных сетях, в сочетании с компьютерным зрением. Например, когда потоковые потоки Twitch играют в разные игры в последовательности, они могут пропустить ручное обновление сведений о потоке. Сбой обновления сведений о потоке может привести к неправильному классификации потоков в поисках пользователей и может привести к потере потенциального просмотра как создателей контента, так и для платформ потоковой передачи. В то время как введение в новые игры, пользовательский маршрут модели может быть полезным, чтобы представить возможность обнаружения новых изображений из этих игр.

  • Классификация изображений для страховых претензий. Классификация изображений может помочь сократить время и стоимость обработки утверждений и андеррайтинга. Это может помочь проанализировать ущерб от стихийных бедствий, повреждения транспортных средств и определить жилые и коммерческие свойства.

Дальнейшие действия

Документация по продукту

Инструкции по обучению см. в статье: