Рабочие нагрузки искусственного интеллекта в Azure

В этой статье рассматриваются архитектурные проблемы проектирования рабочих нагрузок ИИ. В нем рассматриваются недетерминированные функциональные возможности, проектирование данных и приложений и операции. Рекомендации основаны на принципах Azure Well-Architected Framework и включают аналитические сведения из успешных реализаций Azure.

Эти статьи предназначены для владельцев рабочих нагрузок и технических заинтересованных лиц , таких как архитекторы, руководители разработки и ИТ-руководители. Специализированные роли искусственного интеллекта и данных, такие как специалисты по обработке и анализу данных, также должны учитывать это руководство, так как совместная работа между различными ролями и командами является ключевым аспектом.

Примечание.

Azure предлагает различные службы искусственного интеллекта, которые можно интегрировать в рабочую нагрузку или создать вокруг него. В зависимости от ваших бизнес-потребностей вы можете выбрать между полностью управляемым программным обеспечением как услуга (SaaS), решениями платформы как услуга (PaaS) или создавать собственное решение ИИ. Здесь не рассматриваются определенные службы Azure и их возможности. Мы рекомендуем ссылаться на соответствующую документацию по продукту для этой информации.

Кроме того, некоторые рабочие нагрузки ИИ не входят в область действия, например:

• Нагрузки, реализуемые с помощью решений low-code и no-code, таких как Copilot Studio.
• Рабочие нагрузки, требующие высокопроизводительных вычислений.
• Рабочие нагрузки, которые не реализуют варианты использования искусственного интеллекта, созданные или дискриминирующие.

Что такое рабочая нагрузка ИИ?

В контексте Well-Architected Framework рабочая нагрузка искусственного интеллекта соответствует потребностям прогнозных, дискриминационных или создаваемых задач. В ней основное внимание уделяется этическим функциям, адаптации к быстро развивающимся технологиям искусственного интеллекта и поддержанию актуальности и объяснимости. Применяйте основы структуры Well-Architected в каждой точке принятия решения, чтобы обеспечить надежность, безопасность, эффективность и экономичность системы.

Рабочие нагрузки искусственного интеллекта отличаются от традиционных, так как они заменяют детерминированные функции в частях рабочей нагрузки недетерминированным поведением, которое решает ситуации, когда фиксированные результаты нецелесообразны. Вместо этого они объединяют код и данные в единую сущность, или модель, чтобы предоставить уникальные возможности, которые традиционные системы не могут предоставить.

Прежде чем начать разработку стратегий, сначала рассмотрим эти ключевые моменты.

Ознакомьтесь с широкими категориями моделей

• Генеративный ИИ: использует машинное обучение для автономного создания нового контента. Он включает языковые модели, которые можно настроить с пользовательскими данными или использовать в качестве служб, таких как Служба Azure OpenAI. Например, GPT, тип языковой модели, специализируется на имитации человеческого беседного языка и идеально подходит для чата и естественного языка.

  Варианты использования: сгенерированный ИИ может создавать статьи, истории и искусство. Он также может создавать искусственные данные для балансировки наборов данных и сделать чат-ботов более человеческими.

• Дискриминативный ИИ: использует явное программирование для выполнения конкретных задач на основе правил и алгоритмов. Она разделена на:

  • на основе моделей: прогнозные системы обнаруживают шаблоны, обучаясь на основе предыдущих наблюдений для составления прогнозов, но не могут генерировать новое содержимое или адаптироваться самостоятельно.
  • немодельные: автономные агенты следуют предопределенным правилам для взаимодействия с системами, такими как персонажи видеоигр.

  Вариант использования: дискриминируемый ИИ используется для прогнозной аналитики, систем рекомендаций и обнаружения мошенничества.

В этой серии статей исследуются различные рабочие нагрузки ИИ, с акцентом на определенные типы, такие как языковые модели, когда это необходимо.

Внимание

При выборе между генерированными и дискриминируемыми моделями думайте о задаче, необходимой для выполнения. Создаваемые модели создают новые данные. Дискриминирующие модели классифицируют существующие данные на основе функций. Для задач классификации или регрессии выберите модели, которые соответствуют заданию. Например, языковая модель, которая может классифицироваться, может быть более универсальной, чем одна, которая классифицирует только.

Оценка вариантов сборки и покупки

Если универсальные ответы допустимы, предварительно созданная модель или решение на основе службы ИИ, использующее непрозрачную обработку, должно быть достаточно для рабочей нагрузки. Но если вам нужны данные, относящиеся к вашему бизнесу или требования к соответствию требованиям, создайте пользовательскую модель.

При выборе между пользовательской моделью, предварительно созданной моделью или службой следует учитывать следующие факторы:

• Управление данными: пользовательские модели обеспечивают больше контроля над конфиденциальными данными. Предварительно созданные модели проще для общих задач.
• Кастомизация: Пользовательские модели лучше подходят для уникальных потребностей. Предварительно созданные модели могут не быть гибкими.
• затраты и обслуживание: пользовательские модели нуждаются в текущем обслуживании и ресурсах. Предварительно созданные модели обычно имеют более низкие начальные затраты и меньше нагрузки на инфраструктуру.
• Производительность: предварительно настроенные службы предлагают оптимизированную инфраструктуру и масштабируемость. Они идеально подходят для низкой задержки или высокой масштабируемости.
• Экспертиза: для специальных моделей требуется квалифицированная команда. Предварительно созданные модели часто быстрее развертываются и проще использовать, если опыт ограничен.

Внимание

Для создания и обслуживания собственной модели требуется много ресурсов, времени и опыта. Перед решением важно тщательно изучить. Как правило, выбор предварительно созданной модели или управляемой службы является лучшим вариантом.

Каковы распространенные проблемы?

• затраты на вычисления: функции искусственного интеллекта могут быть дорогостоящими из-за высоких потребностей в вычислениях, а потребности в вычислениях могут отличаться в зависимости от структуры рабочей нагрузки. Ознакомьтесь с вашими требованиями и выберите нужную службу для управления затратами.
• Требования безопасности и соответствия: Готовые решения могут не соответствовать вашим требованиям безопасности и регламентов. Варианты исследования, чтобы избежать ненужных бремени.
• объем данных. Обработка больших объемов данных в различных форматах сопряжена с проблемами защиты конфиденциальной информации и эффективной обработки. Оптимизация затрат на хранение, обработку и передачу должна быть текущей деятельностью.
• деградация модели: модели могут ухудшаться с течением времени, что может приводить к неточным результатам. Тестирование систем искусственного интеллекта сложно из-за их случайности.
• задачи, связанные с навыками: для новых рабочих нагрузок ИИ могут потребоваться специализированные роли и новые операционные процессы, требующие обширного обучения.
• Темпы инноваций искусственного интеллекта: внедрение новейших технологий может быть заманчивым, чтобы оставаться на переднем крае. Тщательно оцените новые технологии, чтобы убедиться, что они улучшают взаимодействие с пользователем и не просто добавляют сложность ради актуальности.
• этические требования. Четко определите, является ли ваш сценарий использования этическим с точки зрения применения ИИ. Поддержание этических стандартов необходимо на протяжении всех этапов планирования и реализации, чтобы обеспечить создание ответственной системы.

Как использовать это руководство

✔ начните с методологии проектирования, которая описывает принципы и повторяющиеся темы в технических и операционных областях. Этот систематический подход помогает определить требования и стратегии проектирования. Вернитесь к этой методологии, когда вы сталкиваетесь с неопределенным выбором, чтобы оставаться в соответствии с общими целями рабочей нагрузки. Она также предоставляет платформу для совместной работы с заинтересованными лицами, чтобы оправдать технические решения и включить отзывы клиентов для непрерывного улучшения.

✔ Перейти к принципам проектирования, чтобы узнать, как методология проектирования соответствует основным Well-Architected основам платформы. Рассмотрим эволюцию роста. Оцените базовые принципы для всех столпов коллективно, включая компромиссы.

✔ Сосредоточьтесь на областях проектирования, которые оказывают наибольшее влияние на ваше решение. Каждая область включает рекомендации и рекомендации, которые помогут вам в принятии решений по проектированию.

✔ использовать средство проверки оценки для оценки готовности оптимизированной рабочей нагрузки ИИ в рабочей среде.

Типичные шаблоны архитектуры и области проектирования

На следующей схеме показано, как данные передаются через систему от начальной коллекции до окончательного взаимодействия с пользователем.

Архитектура выделяет интеграцию различных компонентов, чтобы обеспечить эффективную обработку данных, оптимизацию модели и развертывание приложений в режиме реального времени в решениях на основе искусственного интеллекта. Он включает такие модули, как источники данных, обработка данных, обучение модели, развертывание модели и пользовательские интерфейсы.

В следующей таблице описаны некоторые ключевые области проектирования, связанные с этим шаблоном.

Области проектирования
проектирование приложений. Узнайте о рекомендациях, уникальных для рабочих нагрузок ИИ, которые могут оказать значительное влияние на существующие стандарты разработки приложений.
платформы приложений: Определите лучшие платформы для поддержки функций рабочей нагрузки ИИ, таких как размещение моделей, обучение моделей и инференс.
Проектирование данных для обучения. Разработка стратегий приема, предварительной обработки, хранения и управления для обработки данных модели.
Проектирование данных заземления: Разработка стратегий для оптимизации поисковой доступности и извлечения при соблюдении требований безопасности и соответствия для ваших данных заземления.
платформа данных. Определите лучшую платформу размещения для обработки больших объемов и потенциально многих форматов данных, которые использует рабочая нагрузка.
операции машинного обучения и операции создания искусственного интеллекта. Создание современных методик DevOps для поддержки функций и систем машинного обучения или создания функций ИИ.
Операции с рабочей нагрузкой: модернизируйте ваши операционные практики с помощью новых подходов и добавьте специализированные роли и обучение.
тестирование и оценка. Разработка стратегий тестирования и оценки для измерения таких характеристик, как показатель точности, точность, чувствительность и специфичность с использованием метрик, ориентированных на рабочие нагрузки ИИ.
Персоны рабочей нагрузки. Узнайте, как персоны участвуют в полном жизненном цикле нагрузки ИИ, чтобы ваша команда могла успешно создавать и поддерживать её.
ответственный ИИ. Обратите особое внимание на взаимодействие с пользователем и этические последствия выпуска решения ИИ для общественности. ИИ приносит невероятные возможности для новых продуктов и услуг, но он также несет значительный уровень риска.

Совет

Каждое решение архитектуры включает в себя ряд соображений и набор признанных компромиссов, которые балансируют различные аспекты платформы. Эти компромиссы указываются этим значком .

Следующий шаг

Методология проектирования