Ai Ready — рекомендации для организаций по созданию рабочих нагрузок ИИ в Azure
В этой статье описывается организационный процесс создания рабочих нагрузок ИИ в Azure. В этой статье приводятся рекомендации по принятию ключевых решений по проектированию и процессу внедрения рабочих нагрузок ИИ в большом масштабе. В нем рассматриваются рекомендации по выбору регионов, организации ресурсов и сети для конкретного искусственного интеллекта.
Установка надежности искусственного интеллекта
Надежность ИИ включает выбор соответствующих регионов для размещения моделей ИИ для обеспечения согласованной производительности, соответствия требованиям и доступности. Организации должны устранять избыточность, отработку отказа и оптимизацию производительности для поддержания надежных служб искусственного интеллекта.
Используйте несколько регионов для размещения конечных точек модели ИИ. Для рабочих нагрузок конечные точки ИИ размещаются по крайней мере в двух регионах, чтобы обеспечить избыточность и обеспечить высокий уровень доступности. Хотя созданные модели искусственного интеллекта являются без отслеживания состояния, размещение их в нескольких регионах обеспечивает более быструю отработку отказа и восстановление во время региональных сбоев. Для моделей служб Azure OpenAI можно использовать глобальные развертывания. Эти многорегионные развертывания могут автоматически и прозрачно направлять запросы в регион с достаточной емкостью. Если выбрать неглобалированное развертывание, также известное как региональное развертывание, используйте Azure Управление API для балансировки нагрузки запросов API к конечным точкам ИИ.
Подтвердите доступность службы. Перед развертыванием убедитесь, что в регионе есть доступность необходимых ресурсов ИИ. Некоторые регионы могут не предоставлять определенные службы ИИ или могут иметь ограниченные функции, которые могут повлиять на функциональные возможности вашего решения. Это ограничение также может повлиять на масштабируемость развертывания. Например, доступность службы Azure OpenAI может отличаться в зависимости от модели развертывания. Эти модели развертывания включают глобальный стандарт, глобальную подготовку, региональный стандарт и региональную подготовку. Проверьте службу ИИ, чтобы убедиться, что у вас есть доступ к необходимым ресурсам.
Оцените квоту и емкость региона. Рассмотрите ограничения квоты или подписки в выбранном регионе по мере роста рабочих нагрузок ИИ. Службы Azure имеют ограничения на региональную подписку. Эти ограничения могут повлиять на крупномасштабные развертывания модели искусственного интеллекта, такие как большие рабочие нагрузки вывода. Чтобы предотвратить нарушения, обратитесь к поддержка Azure заранее, если вы предвидеете необходимость дополнительной емкости.
Оцените производительность. При создании приложений, необходимых для получения данных, таких как приложения для извлечения дополненного поколения (RAG), важно учитывать расположения хранилища данных для оптимизации производительности. Вам не нужно колоировать данные с моделями в приложениях RAG, но это может повысить производительность, уменьшая задержку и обеспечивая эффективное извлечение данных.
Подготовка к непрерывности операций. Чтобы обеспечить непрерывность бизнес-процессов и аварийное восстановление, реплицируйте критически важные ресурсы, такие как точно настроенные модели, данные RAG, обученные модели и наборы данных обучения в дополнительном регионе. Эта избыточность обеспечивает более быстрое восстановление при сбое и обеспечивает постоянную доступность службы.
Установка системы управления ИИ
Управление ИИ включает в себя организацию ресурсов и применение политик для управления рабочими нагрузками ИИ и затратами. Она включает структурирование групп управления и подписок для обеспечения соответствия требованиям и безопасности в разных рабочих нагрузках. Надлежащее управление искусственным интеллектом предотвращает несанкционированный доступ, управляет рисками и гарантирует эффективное функционирование ресурсов ИИ в организации.
Разделение рабочих нагрузок и внутренних рабочих нагрузок искусственного интеллекта в Интернете. Как минимум, используйте группы управления для разделения рабочих нагрузок искусственного интеллекта в Интернет ("онлайн") и только внутренних ("корпоративных"). Различие обеспечивает важную границу управления данными. Это помогает хранить внутренние данные отдельно от общедоступных данных. Внешние пользователи не хотят получать доступ к конфиденциальной бизнес-информации, необходимой для внутренней работы. Это различие между интернетом и внутренними рабочими нагрузками соответствует группам управления целевой зоной Azure.
Применение политик ИИ к каждой группе управления. Начните с базовых политик для каждого типа рабочей нагрузки, таких как эти политики, используемые в целевых зонах Azure. Добавьте дополнительные определения Политика Azure в базовые показатели, чтобы обеспечить единое управление службами ИИ Azure, поиском ИИ Azure, Машинное обучение Azure и Azure Виртуальные машины.
Развертывание ресурсов ИИ в подписках рабочей нагрузки. Ресурсы искусственного интеллекта должны наследовать политики управления рабочей нагрузкой из группы управления рабочей нагрузкой (внутренние или интернет-ресурсы). Сохраняйте их отдельно от ресурсов платформы. Ресурсы искусственного интеллекта, контролируемые командами платформ, обычно создают узкие места разработки. В контексте целевой зоны Azure разверните рабочие нагрузки ИИ в подписках целевой зоны приложений.
Установка сети искусственного интеллекта
Сеть искусственного интеллекта относится к проектированию и реализации сетевой инфраструктуры для рабочих нагрузок ИИ, включая безопасность и подключение. Он включает использование топологий, таких как концентратор и периферийный, применение таких мер безопасности, как защита от атак DDoS и обеспечение эффективной передачи данных. Эффективная сеть искусственного интеллекта критически важна для безопасного и надежного взаимодействия, предотвращения сбоев на основе сети и поддержания производительности.
Активируйте защиту от атак DDoS Azure для рабочих нагрузок ИИ, подключенных к Интернету. Защита от атак DDoS Azure защищает службы ИИ от потенциальных сбоев и простоя, вызванных распределенными атаками типа "отказ в обслуживании". Включите защиту от атак DDoS Azure на уровне виртуальной сети для защиты от наводнений трафика, предназначенных для приложений, подключенных к Интернету.
Подключитесь к локальным данным. Для организаций, которые передают большие объемы данных из локальных источников в облачные среды, используйте подключение с высокой пропускной способностью.
Рассмотрим Azure ExpressRoute. Azure ExpressRoute идеально подходит для больших объемов данных, обработки в режиме реального времени или рабочих нагрузок, требующих согласованной производительности. Она имеет функцию FastPath , которая улучшает производительность пути к данным.
Рассмотрим Azure VPN-шлюз. Используйте Azure VPN-шлюз для умеренных объемов данных, редкой передачи данных или при необходимости общедоступного доступа к Интернету. Проще настроить и эффективно использовать небольшие наборы данных, чем ExpressRoute. Используйте правильную топологию и проектирование для рабочих нагрузок ИИ. Используйте VPN типа "сеть — сеть" для межсайтовых и гибридных подключений. Используйте VPN типа "точка — сеть" для безопасного подключения к устройству. Дополнительные сведения см. в статье Выбор решения для подключения локальной сети к Azure.
Подготовка служб разрешения доменных имен. При использовании частных конечных точек интегрируйте частные конечные точки с DNS для правильного разрешения DNS и успешной функциональности частной конечной точки. Разверните инфраструктуру Azure DNS в рамках целевой зоны Azure и настройте условные серверы пересылки из существующих служб DNS для соответствующих зон. Дополнительные сведения см. в статье Приватный канал и интеграция DNS в масштабе целевых зон Azure.
Настройте элементы управления доступом к сети. Используйте группы безопасности сети (NSG) для определения и применения политик доступа, которые управляют входящим и исходящим трафиком в рабочие нагрузки ИИ и из нее. Эти элементы управления можно использовать для реализации принципа наименьшей привилегии, гарантируя, что разрешено только важное взаимодействие.
Используйте службы мониторинга сети. Используйте такие службы, как Azure Monitor Network Insights и Azure Наблюдатель за сетями, чтобы получить представление о производительности сети и работоспособности. Кроме того, используйте Microsoft Sentinel для расширенного обнаружения угроз и реагирования в сети Azure.
Разверните Брандмауэр Azure для проверки и защиты исходящего трафика рабочей нагрузки Azure. Брандмауэр Azure применяет политики безопасности для исходящего трафика, прежде чем он достигнет Интернета. Используйте его для управления исходящим трафиком и отслеживания исходящего трафика и включения SNAT для скрытия внутренних IP-адресов путем преобразования частных IP-адресов в общедоступный IP-адрес брандмауэра. Он обеспечивает безопасный и идентифицируемый исходящий трафик для улучшения мониторинга и безопасности.
Используйте Azure Брандмауэр веб-приложений (WAF) для рабочих нагрузок, подключенных к Интернету. Azure WAF помогает защитить рабочие нагрузки искусственного интеллекта от распространенных веб-уязвимостей, включая внедрение SQL и атаки на межсайтовые сценарии. Настройте Azure WAF на Шлюз приложений для рабочих нагрузок, требующих повышенной безопасности от вредоносного веб-трафика.
Создание основы ИИ
Фонд ИИ предоставляет базовую инфраструктуру и иерархию ресурсов, которая поддерживает рабочие нагрузки ИИ в Azure. Она включает в себя настройку масштабируемых, безопасных сред, которые соответствуют потребностям управления и эксплуатации. Надежная основа искусственного интеллекта обеспечивает эффективное развертывание рабочих нагрузок ИИ и управление ими. Она также обеспечивает безопасность и гибкость для будущего роста.
Использование целевой зоны Azure
Целевая зона Azure — это рекомендуемая отправная точка , которая подготавливает среду Azure. Она предоставляет предопределенную настройку для ресурсов платформы и приложений. После того как платформа будет развернута, вы можете развернуть рабочие нагрузки ИИ в выделенных целевых зонах приложений. На рисунке 2 ниже показано, как рабочие нагрузки ИИ интегрируются в целевую зону Azure.
Рис. 2. Рабочая нагрузка ИИ в целевой зоне Azure.
Создание среды ИИ
Если вы не используете целевую зону Azure, следуйте рекомендациям, приведенным в этой статье, чтобы создать среду ИИ. На следующей схеме показана базовая иерархия ресурсов. Он сегментирует внутренние рабочие нагрузки ИИ и рабочие нагрузки, подключенные к Интернету, как описано в статье о создании системы управления ИИ. Внутренние рабочие нагрузки используют политику для запрета доступа через Интернет от клиентов. Это разделение защищает внутренние данные от воздействия внешних пользователей. Разработка ИИ использует прыжки для управления ресурсами ИИ и данными.
Рис. 3. Базовая иерархия ресурсов для рабочих нагрузок ИИ.
Следующие шаги
Следующим шагом является создание и развертывание рабочих нагрузок ИИ в среде ИИ. Чтобы найти рекомендации по архитектуре, соответствующие вашим потребностям, воспользуйтесь приведенными ниже ссылками. Начните с архитектур платформы как службы (PaaS). PaaS — это рекомендуемый подход Майкрософт к внедрению ИИ.