Рекомендации по управлению для рабочих нагрузок ИИ в Azure
В этой статье представлены рекомендации по управлению для организаций, работающих с рабочими нагрузками искусственного интеллекта в Azure. Он посвящен решениям Azure AI platform-as-service (PaaS), включая Azure AI Foundry, Azure OpenAI, Машинное обучение Azure и службы искусственного интеллекта Azure. Она охватывает как рабочие нагрузки генерирующих, так и негенеративных ИИ.
Эффективное управление поддерживает ответственное использование ИИ. Это позволяет предприятиям оптимизировать свои инвестиции ВИИ, уменьшая риски, связанные с безопасностью, затратами и соответствием нормативным требованиям.
Управление моделями искусственного интеллекта
Управление моделью искусственного интеллекта относится к процессам управления моделями ИИ, чтобы гарантировать, что они создают надежные, безопасные и этические выходные данные. Элементы управления входными и выходными данными модели помогают снизить риски. Эти риски включают вредное содержимое и непреднамеренное использование ИИ. Оба могут повлиять на пользователей и организацию. Эти процессы поддерживают ответственное развертывание ИИ, и они защищают от потенциальных юридических и этических проблем.
Управление используемыми моделями. Используйте политику Azure для управления определенными моделями, которые могут быть разрешены для развертывания в каталоге моделей Azure AI Foundry. Вы можете использовать встроенную политику или создать пользовательскую политику. Так как этот подход использует список разрешений, начните с эффекта аудита. Функция аудита позволяет отслеживать модели, которые ваши команды используют, без ограничения развертываний. Только переключитесь на запретить эффект, как только вы понимаете потребности разработки ИИ и экспериментирования команд рабочих нагрузок, чтобы не препятствовать их прогрессу ненужным образом. Если вы переключите политику на запретить, она не удаляет автоматически несоответствующие модели, которые команды уже развернули. Эти модели необходимо исправить вручную.
Создайте процесс для обнаружения рисков ИИ. Используйте такие средства, как Defender для облака для обнаружения рабочихнагрузок и анализа рисков для создания артефактов искусственного интеллекта. Установите политику для регулярного создания моделей искусственного интеллекта для красной команды. Документируйте выявленные риски и постоянно обновляйте политики управления ИИ, чтобы устранить возникающие проблемы.
Определите базовые фильтры содержимого для моделей создания ИИ. Используйте безопасность содержимого ИИ Azure, чтобы определить базовый фильтр содержимого для утвержденных моделей ИИ. Эта система безопасности выполняет запрос и завершение модели с помощью группы моделей классификации. Эти модели классификации определяют и помогают предотвратить выход вредного содержимого в диапазоне категорий. Безопасность содержимого предоставляет такие функции, как экраны запроса, обнаружение заземления и обнаружение защищенного текста материала. Он сканирует изображения и текст. Создайте процесс для команд приложений для взаимодействия с различными потребностями управления.
Наземные модели создания ИИ. Используйте системные сообщения и шаблон дополненного поколения (RAG) для управления выходными данными моделей генерирующего искусственного интеллекта. Проверьте эффективность приземления с помощью таких средств, как поток запросов или красная платформа командной строки с открытым кодом PyRIT.
Управление затратами на искусственный интеллект
Управление затратами искусственного интеллекта включает управление затратами, связанными с рабочими нагрузками ИИ, чтобы повысить эффективность и сократить ненужные расходы. Эффективное управление затратами гарантирует, что инвестиции ИИ соответствуют бизнес-целям, что предотвращает непредвиденные затраты от чрезмерной подготовки или недоиспользования. Эти методики позволяют организациям оптимизировать свои операции искусственного интеллекта в финансовом отношении.
Используйте правильную модель выставления счетов. Если у вас есть прогнозируемые рабочие нагрузки, используйте уровни обязательств ИИ в службах ИИ Azure. Для моделей Azure OpenAI используйте подготовленные единицы пропускной способности (PTUS), которые могут быть менее дорогими, чем цены на оплату по мере использования (на основе потребления). Обычно используется объединение конечных точек PTU и конечных точек на основе потребления для оптимизации затрат. Используйте PTUs в основной конечной точке модели ИИ и вторичной конечной точке на основе потребления ИИ для разлива. Дополнительные сведения см. в статье "Введение шлюза для нескольких экземпляров Azure OpenAI".
Выберите подходящую модель для вашего варианта использования. Выберите модель искусственного интеллекта, которая соответствует вашим потребностям без чрезмерной затраты. Используйте менее дорогие модели, если вариант использования не требует более дорогой модели. Для точной настройки максимальное использование времени в течение каждого периода выставления счетов, чтобы избежать дополнительных расходов. Дополнительные сведения см. в моделях и ценах на Azure OpenAI. См. также каталог моделей Azure AI Foundry и сведения о выставлении счетов для развертываний моделей.
Задайте ограничения подготовки. Выделение квот подготовки для каждой модели на основе ожидаемых рабочих нагрузок, чтобы предотвратить ненужные затраты. Непрерывно отслеживайте динамические квоты, чтобы обеспечить соответствие фактическим требованиям и соответствующим образом настроить их, чтобы обеспечить оптимальную пропускную способность без перерасхода.
Используйте правильный тип развертывания. Модели Azure OpenAI позволяют использовать различные типы развертывания. Глобальное развертывание предлагает более низкие цены на токены для определенных моделей OpenAI.
Оцените параметры размещения. Выберите подходящую инфраструктуру размещения в зависимости от потребностей вашего решения. Например, для рабочих нагрузок создания ИИ доступны управляемые конечные точки в Сети, Служба Azure Kubernetes (AKS) и служба приложение Azure, каждая из которых имеет собственную модель выставления счетов. Выберите вариант, который обеспечивает оптимальный баланс между производительностью и затратами для конкретных требований.
Управление поведением клиента в службах на основе потребления. Ограничение доступа клиента к службе ИИ путем применения таких протоколов безопасности, как сетевые элементы управления, ключи и управление доступом на основе ролей (RBAC). Убедитесь, что клиенты используют ограничения API, такие как максимальные маркеры и максимальное завершение. По возможности пакетные запросы для оптимизации эффективности. Держите запросы краткими, но предоставьте необходимый контекст для уменьшения потребления маркеров.
Рекомендуется использовать созданный шлюз искусственного интеллекта. Сгенерированный шлюз искусственного интеллекта позволяет отслеживать использование маркеров, регулировать использование маркеров, применять разбиения каналов и направлять их к разным конечным точкам ИИ для управления затратами.
Создайте политику для завершения работы вычислительных экземпляров. Определите и примените политику, указывающую, что ресурсы ИИ должны использовать функцию автоматического завершения работы на виртуальных машинах и вычислительных экземплярах в Azure AI Foundry и Машинном обучении Azure. Автоматическое завершение работы применимо к непроизводствующим средам и рабочим рабочим нагрузкам, которые можно использовать в автономном режиме в течение определенных периодов времени.
Дополнительные рекомендации по управлению затратами см. в статье "Управление затратами и оптимизацией затрат и затрат" в базовой архитектуре Azure OpenAI.
Управление платформами ИИ
Управление платформой искусственного интеллекта включает применение средств управления политикой к различным службам ИИ в Azure, таким как Azure AI Foundry и Машинное обучение Azure. Использование управления на уровне платформы обеспечивает согласованную безопасность, соответствие и операционные политики в экосистеме ИИ. Это выравнивание поддерживает эффективный надзор, который укрепляет общее управление ИИ и надежность.
Используйте встроенные политики управления. Используйте Политика Azure для применения встроенных определений политик для каждой платформы ИИ, которую вы используете. Она включает в себя Azure AI Foundry, Azure Machine Learning, службы Azure AI, Azure AI Searchи другие.
Включите политики ИИ целевой зоны Azure. Для пользователей целевой зоны Azure развертывание включает в себя проверенный набор рекомендуемых встроенных политик для служб платформы ИИ Azure. Выберите инициативу политики, которую вы хотите использовать в категории "Конкретное соответствие рабочей нагрузки" во время развертывания целевой зоны Azure. Эти наборы политик включают Azure OpenAI, Машинное обучение Azure и поиск ИИ Azure и службы Azure Bot.
Управление безопасностью искусственного интеллекта
Управление безопасностью искусственного интеллекта устраняет необходимость защиты рабочих нагрузок ИИ от угроз, которые могут компрометировать данные, модели или инфраструктуру. Надежные методики безопасности защищают эти системы от несанкционированного доступа и нарушений данных. Эта защита обеспечивает целостность и надежность решений ИИ, что важно для поддержания доверия пользователей и соответствия нормативным требованиям.
Включите Defender для облака для каждой подписки. Defender для облака предоставляет экономичный подход для обнаружения конфигураций в развернутых ресурсах, которые не защищены. Кроме того, следует включить защиту от угроз ИИ.
Настройте управление доступом. Предоставьте пользователю минимальный доступ к централизованным ресурсам ИИ. Например, начните с роли читателя Azure и перейдите к роли участника Azure, если ограниченные разрешения замедляют разработку приложений.
использование управляемых удостоверений; Используйте управляемое удостоверение во всех поддерживаемых службах Azure. Предоставьте наименее привилегированный доступ к ресурсам приложений, которым требуется доступ к конечным точкам модели ИИ.
Используйте JIT-доступ. Используйте управление привилегированными удостоверениями (PIM) для JIT-доступа.
Управление операциями искусственного интеллекта
Управление операциями ИИ ориентировано на управление и поддержание стабильных служб ИИ. Эти операции поддерживают долгосрочную надежность и производительность. Централизованные планы надзора и непрерывности помогают организациям избежать простоя, что обеспечивает согласованную бизнес-ценность искусственного интеллекта. Эти усилия способствуют эффективному развертыванию ИИ и устойчивой операционной эффективности.
Просмотр моделей ИИ и управление ими. Разработка политики управления версиями моделей, особенно при обновлении или выходе из эксплуатации моделей. Необходимо поддерживать совместимость с существующими системами и обеспечить плавный переход между версиями модели.
Определите план непрерывности бизнес-процессов и аварийного восстановления. Установите политику непрерывности бизнес-процессов и аварийного восстановления для конечных точек ИИ и данных ИИ. Настройте базовое аварийное восстановление для ресурсов, в которых размещаются конечные точки модели ИИ. Эти ресурсы включают Azure AI Foundry, машинного обучения Azure, Azure OpenAIили службы ИИ Azure. Все хранилища данных Azure, такие как Хранилище BLOB-объектов Azure, Azure Cosmos DB и База данных SQL Azure, предоставляют рекомендации по надежности и аварийному восстановлению.
Определите базовые метрики для ресурсов искусственного интеллекта. Включите рекомендуемые правила генерации оповещений для получения уведомлений об отклонениях, указывающих на снижение работоспособности рабочей нагрузки. Примеры см. в статье поиска Azure AI, машинного обучения Azure, развертывания потоков запросов Azure AI Foundryи рекомендации по отдельным службам Azure AI.
Управление соответствием нормативным требованиям ИИ
Соответствие нормативным требованиям в ИИ требует от организаций соблюдать отраслевые стандарты и юридические обязательства, что снижает риски, связанные с обязательствами и доверием. Меры соответствия помогают организациям избежать штрафов и повысить доверие к клиентам и регуляторам. Соблюдение этих стандартов обеспечивает надежную основу для ответственного и соответствующего использования ИИ.
Автоматизация соответствия требованиям. Используйте Microsoft Purview Compliance Manager для оценки соответствия требованиям и управления ими в облачных средах. Используйте применимые инициативы соответствия нормативным требованиям в Политика Azure для вашей отрасли. Примените другие политики на основе используемых служб ИИ, таких как Azure AI Foundry и машинного обучения Azure.
Разработка контрольных списков соответствия для конкретных отраслей. Правила и стандарты отличаются по отраслям и расположениям. Вам нужно знать свои нормативные требования и скомпилировать контрольные списки, которые отражают нормативные требования, относящиеся к вашей отрасли. Используйте стандарты, такие как ISO/IEC 23053:2022 (Платформа для систем искусственного интеллекта с помощью Машинное обучение), для аудита политик, применяемых к рабочим нагрузкам ИИ.
Управление данными искусственного интеллекта
Управление данными искусственного интеллекта включает политики для обеспечения правильности передачи данных в модели ИИ, соответствия требованиям и безопасности. Управление данными защищает конфиденциальность и интеллектуальную собственность, что повышает надежность и качество выходных данных ИИ. Эти меры помогают снизить риски, связанные с неправильным использованием данных, и они соответствуют нормативным и этическим стандартам.
Создайте процесс для каталогизации данных. Используйте средство, например Microsoft Purview , для реализации единого каталога данных и системы классификации в организации. Интегрируйте эти политики в конвейеры CI/CD для разработки ИИ.
Поддержание границ безопасности данных. Каталогизация данных помогает гарантировать, что вы не передаете конфиденциальные данные в общедоступные конечные точки ИИ. При создании индексов из определенных источников данных процесс индексирования может удалить границы безопасности вокруг данных. Убедитесь, что все данные, принятые в модели ИИ, классифицируются и проверяются в соответствии с централизованным стандартами.
Предотвращение нарушения авторских прав. Используйте систему фильтрации содержимого, например защищенное обнаружение материалов в службе "Безопасность содержимого ИИ Azure", чтобы отфильтровать материалы, защищенные авторским правом. Если вы создаете, обучаете или настраиваете модель ИИ, убедитесь, что вы используете юридически полученные и должным образом лицензированные данные и реализуете гарантии, чтобы предотвратить нарушение авторских прав модели. Регулярно просматривайте выходные данные для соответствия интеллектуальной собственности.
Реализуйте управление версиями для данных о заземления. Создайте процесс управления версиями для приземления данных, например в RAG. Управление версиями гарантирует, что можно отслеживать любые изменения базовых данных или ее структуры. При необходимости можно вернуть изменения, помогая обеспечить согласованность между развертываниями.