Безопасный ИИ — процесс защиты ИИ
В этой статье описывается организационный процесс защиты рабочих нагрузок ИИ. Он посвящен конфиденциальности, целостности и доступности (ЦРУ) ИИ. Эффективные методики безопасности снижают риск компрометации путем защиты конфиденциальности, целостности и доступности моделей ИИ и данных. Безопасная среда искусственного интеллекта также соответствует целям безопасности бизнеса и повышает доверие к процессам, управляемым ИИ.
Оценка рисков безопасности ИИ
Оценка рисков безопасности искусственного интеллекта включает выявление и оценку потенциальных уязвимостей, которые могут повлиять на рабочие нагрузки ИИ. Упреждающее решение этих рисков помогает предотвратить нарушения, манипуляции и неправильное использование, что повышает надежность приложений ИИ. Этот подход также поддерживает цели организации, защищая конфиденциальные данные и сохраняя доверие заинтересованных лиц.
Определите распространенные риски безопасности ИИ. Используйте признанные ресурсы, такие как MITRE ATLAS и OWASP риск генеративного ИИ, для регулярной оценки рисков всех нагрузок, связанных с ИИ.
Управление состоянием безопасности ИИ. Для непрерывного управления безопасностью рекомендуется использовать средства безопасности ИИ, такие как управление безопасностью ИИ в Microsoft Defender для облака. Эти средства могут автоматизировать обнаружение и исправление рисков генерирования искусственного интеллекта.
Определение рисков данных. Используйте такие корпоративные инструменты, как Управление внутренними рисками Microsoft Purview, чтобы оценить внутренний риск и обеспечить безопасность данных на протяжении всего бизнеса. Во всех рабочих нагрузках ИИ классифицируйте и приоритеты рисков на основе конфиденциальности данных, которые они обрабатывают, хранят или передают.
Модели ИИ "красной команды". Проводите red team тестирование против генеративных моделей искусственного интеллекта и негенеративных моделей, чтобы оценить их уязвимость к атакам. Следуйте этим рекомендациям для анализа уязвимостей ИИ.
Оценка возможностей системы и контекста приложения. Определите, что может делать система ИИ и где она применяется, чтобы эффективно целиться на реальные уязвимости. Начиная с анализа потенциальных последствий, разрабатывайте эффективные стратегии нападения.
Сначала используйте простые методы атаки. Используйте простую инженерию запросов и слабости системы перед попыткой сложных атак с противодействием. Многие реальные нарушения полагаются на методы с низким уровнем ресурсов.
Различите красное командирование от бенчмаркинга. Команда аналитиков по безопасности искусственного интеллекта выявляет неизвестные риски. Бенчмаркинг оценивает известные уязвимости. Сосредоточьтесь на тестировании ИИ в реальных сценариях, а не на основе предварительно определенных метрик оценки.
Автоматизация расширения покрытия рисков. Используйте такие средства, как PyRIT, для тестирования систем ИИ в крупном масштабе, но при этом сохраняя контроль со стороны человека.
Приоритет человеческого решения в красной команде ИИ. Автоматизация помогает тестированию, но люди предоставляют необходимый контекст для оценки нюансов рисков, таких как предвзятость, эмоциональные ответы и культурные последствия.
Разработка надежных методов для измерения ответственных сбоев ИИ. Ответственные сбои искусственного интеллекта возникают, когда системы ИИ нарушают принципы ответственного ИИ. В отличие от уязвимостей безопасности, эти ошибки труднее определять и измерять из-за их субъективных, социальных и этических последствий. Используйте структурированные рекомендации и оценки на основе сценариев для оценки и устранения вредных выходных данных.
Защита традиционных и конкретных угроз ИИ. Решение традиционных уязвимостей безопасности, а также рисков, связанных с искусственным интеллектом, таких как инъекции команд и утечка данных. Укрепление защиты на уровне системы и модели.
Дополнительные сведения см. в разделе Уроки из методики 'red teaming' 100 генеративных продуктов ИИ.
Реализация элементов управления безопасностью искусственного интеллекта
Реализация средств управления безопасностью искусственного интеллекта означает создание политик, процедур и средств, которые защищают ресурсы и данные ИИ. Эти элементы управления помогают обеспечить соответствие нормативным требованиям и защитить от несанкционированного доступа, поддерживая непрерывную работу и конфиденциальность данных. При применении согласованных элементов управления в рабочих нагрузках ИИ можно более эффективно управлять безопасностью.
Безопасные ресурсы искусственного интеллекта
Защита ресурсов ИИ включает управление системами, моделями и инфраструктурой, поддерживающими приложения ИИ. Этот шаг снижает вероятность несанкционированного доступа и помогает стандартизировать методики безопасности в организации. Комплексная инвентаризация ресурсов позволяет согласованно применять политики безопасности и укрепить общий контроль над ресурсами ИИ.
Создание централизованного инвентаризации активов ИИ. Ведение подробной и актуальной инвентаризации ресурсов рабочей нагрузки ИИ гарантирует, что политики безопасности можно применять равномерно ко всем рабочим нагрузкам ИИ. Скомпилируйте инвентаризацию всех систем ИИ, моделей, наборов данных и инфраструктуры в Azure. Используйте такие средства, как Обозреватель Azure Resource Graph и Microsoft Defender для облака для автоматизации процесса обнаружения. Microsoft Defender для облака могут обнаруживать созданные рабочие нагрузки ИИ и в артефактах предустановки искусственного интеллекта.
Защита платформ ИИ Azure. Стандартизируйте применение базовых показателей безопасности Azure для каждого ресурса ИИ. Следуйте рекомендациям по безопасности в руководствах по службе Azure.
Используйте рекомендации по управлению рабочей нагрузкой. Подробные рекомендации по безопасности доступны для рабочих нагрузок ИИ в службах платформ Azure (PaaS) и инфраструктуре Azure (IaaS). Используйте это руководство для защиты моделей ИИ, ресурсов и данных в этих типах рабочих нагрузок.
Защита данных ИИ
Защита данных ИИ включает защиту данных, используемых и создаваемых моделями ИИ. Эффективные методики безопасности данных помогают предотвратить несанкционированный доступ, утечки данных и нарушения соответствия требованиям. Управление доступом к данным и обслуживанием подробного каталога также поддерживает принятие обоснованных решений и снижает риск предоставления конфиденциальной информации.
Определение и обслуживание границ данных. Убедитесь, что рабочие нагрузки ИИ используют данные, соответствующие их уровню доступа. Приложения ИИ, доступные всем сотрудникам, должны обрабатывать только данные, подходящие для всех сотрудников. Приложения ИИ, подключенные к Интернету, должны использовать данные, соответствующие общедоступному потреблению. Используйте отдельные наборы данных или среды для различных приложений ИИ, чтобы предотвратить непреднамеренный доступ к данным. Рекомендуется использовать набор средств безопасности данных Microsoft Purview для защиты данных.
Реализуйте строгие элементы управления доступом к данным. Убедитесь, что приложения проверяют, разрешены ли конечные пользователи получать доступ к данным, участвующим в своих запросах. Избегайте широких системных разрешений для действий пользователей. Действуют в соответствии с принципом, что если ИИ может получить доступ к определенной информации, пользователь должен быть авторизован для доступа к нему напрямую.
Обслуживание каталога данных. Обновляйте каталог всех данных, подключенных к системам ИИ и потребляемых ими, включая расположения хранения и сведения о доступе. Регулярно сканировать и метки данных для отслеживания уровней конфиденциальности и пригодности, помогая в аналитике и идентификации рисков. Рассмотрите возможность использования Каталог данных Microsoft Purview для сопоставления и управления данными.
Создайте план управления изменения конфиденциальности данных. Отслеживайте уровни конфиденциальности данных по мере их изменения с течением времени. Используйте каталог данных для мониторинга информации, используемой в рабочих нагрузках ИИ. Реализуйте процесс для поиска и удаления конфиденциальных данных из рабочих нагрузок ИИ.
Безопасные артефакты искусственного интеллекта. Распознайте модели ИИ и наборы данных как ценную интеллектуальную собственность и реализуйте меры по их защите соответствующим образом. Хранение моделей ИИ и наборов данных за частными конечными точками и в безопасных средах, таких как Хранилище BLOB-объектов Azure и выделенные рабочие области. Применение строгих политик доступа и шифрования для защиты артефактов ИИ от несанкционированного доступа или кражи, чтобы предотвратить отравление данными.
Защита конфиденциальных данных. Если исходный источник данных не подходит для прямого использования, используйте дубликаты, локальные копии или подмножества, содержащие только необходимые сведения. Обработка конфиденциальных данных в контролируемых средах, которые имеют сетевую изоляцию и строгие средства управления доступом, чтобы предотвратить несанкционированный доступ или утечку данных. Кроме того, реализуйте комплексные гарантии, такие как шифрование, непрерывный мониторинг и системы обнаружения вторжений для защиты от нарушений данных во время обработки.
Обслуживание элементов управления безопасностью искусственного интеллекта
Поддержание элементов управления безопасностью искусственного интеллекта включает в себя постоянный мониторинг, тестирование и обновление мер безопасности для решения возникающих угроз. Регулярно проверяя средства управления безопасностью, рабочие нагрузки ИИ остаются защищенными и что организация может адаптироваться к новым рискам. Упреждающее обслуживание помогает предотвратить нарушения и поддерживать доверие к системам искусственного интеллекта с течением времени.
Реализуйте тестирование утечки данных и приведения в системах ИИ. Провести строгие тесты, чтобы определить, могут ли конфиденциальные данные быть утечкой или принудительно применяться с помощью систем искусственного интеллекта. Выполните тесты защиты от потери данных (DLP) и имитируйте сценарии атак СИ. Имитация инверсии модели или состязательные атаки для оценки устойчивости мер защиты данных. Обеспечение безопасности моделей ИИ и процессов обработки данных от несанкционированного доступа и манипуляций имеет решающее значение для обеспечения целостности данных и доверия к приложениям ИИ.
Предоставление обучения и осведомленности сотрудников, ориентированных на ИИ. Предоставьте учебные программы для всех сотрудников, участвующих в проектах ИИ. Подчеркнуть важность безопасности данных и рекомендаций, относящихся к разработке и развертыванию ИИ. Узнайте сотрудникам, как обрабатывать конфиденциальные данные, используемые в обучении и распознавать угрозы, такие как инверсия модели или атаки на отравление данных. Регулярное обучение гарантирует, что члены команды знакомы с последними протоколами безопасности ИИ и понимают свою роль в поддержании целостности рабочих нагрузок ИИ.
Разработка и обслуживание плана реагирования на инциденты для инцидентов безопасности искусственного интеллекта. Создайте стратегию реагирования на инциденты, адаптированную к системам искусственного интеллекта для решения потенциальных нарушений данных или инцидентов безопасности. План должен разработать четкие процедуры для обнаружения, отчетности и устранения инцидентов безопасности, которые могут повлиять на модели, данные или инфраструктуру ИИ. Проводите регулярные детализации и имитации, ориентированные на сценарии СИ, чтобы обеспечить эффективную обработку инцидентов безопасности искусственного интеллекта в реальном мире.
Проводите периодические оценки рисков. Оценка возникающих угроз и уязвимостей, относящихся к ИИ, регулярно с помощью оценки рисков и анализа влияния. Эти оценки помогают определить новые риски, связанные с моделями ИИ, процессами обработки данных и средами развертывания. Оценки также оценивают потенциальные последствия нарушений безопасности в системах искусственного интеллекта.
Следующие шаги
Управление ИИ, управление ИИ и безопасный ИИ являются непрерывными процессами, которые необходимо выполнять регулярно. При необходимости вернитесь к каждой стратегии ИИ, плану ИИ и готовности К ИИ. Используйте контрольные списки внедрения ИИ, чтобы определить, какой должен быть следующий шаг.