Поделиться через

Безопасность ИИ для Microsoft 365 Copilot

  • Статья
  • Применяется к:
    ✅ Microsoft 365 Copilot

ИИ произвел революцию во многих секторах, обеспечивая беспрецедентные возможности и эффективность. Например, Microsoft 365 Copilot, наше средство повышения производительности на основе ИИ, координирует большие языковые модели (LLM), содержимое в Microsoft Graphs и приложения Microsoft 365 для повышения производительности, такие как Word, Excel, PowerPoint, Outlook, Teams, SharePoint и другие. Эта интеграция помогает пользователям в режиме реальном времени, чтобы они развивали свои творческие способности и профессиональные навыки, а также работали продуктивнее.

Клиенты стремятся изучить эти возможности и вдумчиво рассматривают важные аспекты безопасности, которые поставляются с ними. Основываясь на наших взаимодействиях с клиентами, которые находятся на пути преобразования ИИ, мы понимаем, что такие темы, как безопасность данных, конфиденциальность, надежность модели и кибератаки, являются главными.

Корпорация Майкрософт понимает, насколько важны эти факторы, поэтому мы используем надежную стратегию глубокой защиты для защиты средств повышения производительности, таких как Microsoft 365 Copilot от рисков безопасности. Этот многоуровневый подход включает сочетание расширенной аналитики угроз, строгих методов безопасности и упреждающих мер безопасности. Например, в дополнение к нашим собственным упражнениям для тестирования Microsoft 365 Copilot мы привлекли Casaba Security для тестирования девяти реализаций Copilot в наборе продуктов Microsoft 365. Мы оперативно рассмотрели и устранили результаты их тестирования, которое было сосредоточено на определении 10 лучших 10 проектов по безопасности приложений Open Worldwide Application Security Project (OWASP) для LLM, а также традиционных уязвимостей безопасности при поддержке инфраструктуры приложений.

Корпорация Майкрософт принимает широкие меры для обеспечения соответствия Microsoft 365 Copilot нашим клиентам существующих обязательств по конфиденциальности, безопасности и соответствию требованиям. И по мере того как технологии ИИ и варианты использования продолжают развиваться, наша работа никогда не выполняется: корпорация Майкрософт стремится постоянно продвигать защиту для Copilot, обучаясь на наших собственных мониторинга и тестировании наших систем, а также работать с клиентами, партнерами и более широкой индустрией безопасности.

В этой статье представлен обзор общей системы безопасности корпорации Майкрософт для ИИ, а также о том, как различные решения майкрософт по обеспечению безопасности работают вместе для защиты ваших данных и взаимодействия в Microsoft 365 Copilot и других приложениях ИИ. Мы обновим эту статью новыми сведениями о новых рисках и инновациях в решениях по мере их доступности.

Защита Microsoft 365 Copilot

В корпорации Майкрософт безопасность — это не просто приоритет; это основа для всего, что мы делаем. Это обязательство распространяется на ИИ: microsoft Office of Responsible AI не только определяет безопасность и безопасность на пути к ИИ, но и недавно расширенная инициатива "Безопасное будущее" еще больше отражает нашу приверженность созданию безопасного цифрового ландшафта для всех.

Наша комплексная система безопасности для ИИ состоит из следующих принципов:

  • Ответственное развитие ИИ. Корпорация Майкрософт выступает за принципы ответственного использования ИИ. Эти принципы подчеркивают справедливость, надежность и безопасность, конфиденциальность и безопасность, инклюзивность, прозрачность и подотчетность на протяжении всего жизненного цикла ИИ.
  • Рекомендации по обеспечению безопасности. Мы предоставляем специализированные ресурсы и рекомендации для разработчиков, инженеров и специалистов по безопасности, работающих с продуктами ИИ Майкрософт. Эти ресурсы помогают организациям понять и реализовать меры безопасности во время развертывания.
  • Жизненный цикл разработки безопасности (SDL). В нашем строгом SDL учитываются вопросы безопасности на протяжении всего процесса разработки ИИ. Такой упреждающий подход гарантирует выявление и устранение уязвимостей с самого начала.
  • Исследование, обнаружение и устранение угроз. Мы активно инвестируем в стратегии обнаружения и устранения угроз для наших моделей ИИ. Это включает постоянный мониторинг уязвимостей и разработку контрмер против потенциальных атак. Microsoft Threat Intelligence, наша глобальная сеть исследователей, также отслеживает ландшафт угроз для субъектов угроз и кибератак, которые могут использовать преимущества приложений ИИ.

Корпорация Майкрософт обеспечивает конфиденциальность, безопасность и надежность функций ИИ Microsoft 365 Copilot от этапа ввода пользователем до этапа вывода системы. Microsoft 365 Copilot соответствует нашим существующим обязательствам по конфиденциальности, безопасности и соответствию, включая Общий регламент по защите данных (GDPR) и границу данных Европейского союза (ЕС). В соответствии с этими обязательствами корпорация Майкрософт обрабатывает информацию в любых запросах, введенных с помощью Copilot, а полученные данные и созданные ответы остаются защищенными как данные клиента и в соответствии с нашими договорными требованиями к обработке данных.

В следующих разделах описывается, как корпорация Майкрософт решает различные аспекты конфиденциальности, безопасности и соответствия требованиям, которые являются важными для клиентов при внедрении Microsoft 365 Copilot.

Управление доступом и управление разрешениями

Microsoft 365 Copilot обращается к ресурсам от имени пользователя, поэтому он может получить доступ только к ресурсам, на доступ которого у пользователя уже есть разрешение. Если у пользователя нет доступа к документу, то Microsoft 365 Copilot, работающий от имени пользователя, также не будет иметь доступа.

Данные, которые она использует для создания ответов, обрабатываются корпорацией Майкрософт в соответствии с требованиями к обработке данных, включая шифрование при передаче, что помогает защитить конфиденциальность и предотвратить утечку данных. Кроме того, данные Microsoft 365, включая данные из Microsoft Graph и SharePoint, соответствуют механизмам контроля доступа и аудита.

Microsoft 365 Copilot соблюдает политики Microsoft 365, Microsoft Entra и Microsoft Purview, которые дополнительно ограничивают доступ и разрешения пользователей, например информационные барьеры, условный доступ и метки конфиденциальности.

Microsoft 365 Copilot наследует политики защиты от потери данных (DLP) для предотвращения кражи данных ответов, созданных Copilot. Кроме того, он повышает безопасность данных, применяя метки конфиденциальности к этим ответам.

Защита данных во время обучения модели

Microsoft 365 Copilot использует предварительно обученные модели LLM, размещенные корпорацией Майкрософт; для обучения этих моделей не используются данные клиентов. Кроме того, данные запроса и заземления не используются для обучения моделей ИИ и никогда не передаются OpenAI или другим сторонним организациям.

Соблюдение требований к размещению данных

Корпорация Майкрософт соблюдает обязательства по размещению данных, как описано в условиях использования продуктов Майкрософт и в добавлении к защите данных. Предложения Майкрософт Advanced Data Residency (ADR) и Multi-Geo Capabilities включают обязательства по размещению данных для клиентов Microsoft 365 Copilot с 1 марта 2024 года. Для пользователей Европейского союза (ЕС) корпорация Майкрософт предоставляет дополнительные меры безопасности для соблюдения границы данных ЕС. Трафик из ЕС остается в пределах границ данных ЕС, в то время как мировой трафик может быть отправлен в ЕС и другие регионы для обработки LLM.

Все данные, отправляемые для обработки ИИ, шифруются как при передаче, так и при хранении. Чтобы обеспечить безопасность данных на протяжении всего жизненного цикла обработки, Microsoft 365 использует технологии на стороне службы, совместимые с FIPS 140-2, которые шифруют содержимое клиента при хранении и передаче, включая BitLocker, шифрование для каждого файла, tls 1.2 и безопасность протокола ИНТЕРНЕТА (IPsec).

Усиление защиты от внедрения запросов

Корпорация Майкрософт использует сочетание расширенного машинного обучения для фильтрации содержимого на нескольких уровнях, строгих протоколов безопасности и непрерывного мониторинга. Классификаторы непрямого или перекрестного ввода запросов обнаруживают и блокируют внедрение запроса на нескольких уровнях. Между тем, защита, например следующая, также помогает свести к минимуму влияние на безопасность при атаках с внедрением нескольких запросов (XPIA):

  • Классификаторы XPIA используются для обнаружения и уменьшения экземпляров XPIA

  • Требование к человеку в цикле (инициированные пользователем или утвержденные действия) для привилегированных действий и действий, которые могут изменить или исходящий контент, таких как отправка сообщения электронной почты

  • Для предотвращения кражи данных удаляются ненужные механизмы исходящего трафика данных

Кроме того, в контексте атаки с вводом запроса злоумышленник может получить доступ к данным только в той степени, в которой у пользователя есть доступ. Это означает, что злоумышленник ограничен разрешениями и данными, которые у пользователя есть в системе. Это ограничение помогает сдержать потенциальный ущерб от атаки с вводом запроса на область разрешений пользователя.

Соблюдение принципов ответственного ИИ

Принципы ответственного использования ИИ Майкрософт лежат в основе разработки и использования Microsoft 365 Copilot. Например, Microsoft 365 Copilot реализует классификаторы, например классификаторы, доступные в Безопасность содержимого ИИ Azure, и метавыступления, чтобы снизить риск вредоносного, оскорбительного или насильственного содержимого. Microsoft 365 Copilot использует классификаторы на основе ИИ и фильтры содержимого, чтобы помечать различные типы потенциально опасного содержимого в запросах пользователей или созданных ответах. В то же время метапроиспециалитет поведение модели, в том числе гарантирует, что система работает в соответствии с принципами ИИ Майкрософт и ожиданиями пользователей.

Корпорация Майкрософт также применяет технологию оперативной проверки и фильтры содержимого, чтобы предотвратить использование Microsoft 365 Copilot для программ-шантажистов и других атак на основе вредоносных программ. Кроме того, жизненный цикл разработки безопасности (SDL) помогает защитить Microsoft 365 Copilot от удаленного выполнения кода. Одним из способов этого является предотвращение запуска copilot неограниченного и безандбоксированного кода.

Чтобы предотвратить нераспоставленное содержимое, Microsoft 365 Copilot реализует получение дополненного поколения (RAG) с помощью выделенной семантической базы данных, которая может предоставлять сведения о содержимом клиентов Microsoft 365. Корпорация Майкрософт постоянно и тщательно проверяет изменения в уровне заземления ответа. При любых изменениях, внесенных в Microsoft 365 Copilot (включая запрос, модель или оркестрацию), мы перехватываем регрессии, которые могут негативно повлиять на пользователя.

В ИИ Azure появились новые средства , которые помогают дополнительно улучшить эти меры безопасности, помогая разработчикам приложений ИИ создавать более безопасные приложения ИИ.

Корпорация Майкрософт имеет встроенные средства защиты от создания защищенного содержимого, которая включает в себя первую в отрасли программу обязательств по защите прав клиентов и компенсацию любых негативных решений в случае иска о нарушении авторских прав.

Соответствие нормативным требованиям

Microsoft 365 Copilot соответствует нормативным требованиям для обнаружения электронных данных, ведения журнала аудита и хранения с помощью нескольких механизмов:

  • Политики хранения. Сообщения из Microsoft 365 Copilot автоматически включаются в расположение политики хранения с именем чаты Teams и взаимодействия Copilot. Это означает, что запросы пользователей и ответы Copilot могут храниться и удаляться по соображениям соответствия требованиям. Данные из сообщений Copilot хранятся в скрытой папке в почтовом ящике пользователя, запускающего Copilot, который администраторы соответствия требованиям могут выполнять поиск с помощью средств обнаружения электронных данных.

  • Ведение журнала аудита. Журналы аудита, созданные Microsoft 365 Copilot, могут храниться в течение 180 дней для клиентов аудита (Standard) и до одного года для владельцев лицензий на аудит (премиум) с возможностью продления до 10 лет.

  • Соответствие требованиям Microsoft Purview. Microsoft Purview обеспечивает безопасность данных и защиту соответствия для генерирующих приложений ИИ, таких как Copilot. Управление состоянием безопасности данных Microsoft Purview для ИИ, в настоящее время находится в предварительной версии, предоставляет простые в использовании графические инструменты и отчеты для быстрого получения аналитических сведений об использовании ИИ в организации. Политики одним щелчком помогают защитить данные и соответствовать нормативным требованиям.

  • элементы управления Администратор. Администраторы могут использовать Microsoft Purview для просмотра хранимых данных и управления ими, настройки политик хранения и выполнения поиска электронных данных. Параметры удаления, инициированные администратором и пользователем, доступны через Purview.

Вопросы и ответы

Являются ли результаты Microsoft 365 Copilot надежными?

Хотя меры безопасности Майкрософт обеспечивают надежную защиту от угроз от дезинформации и компрометации, как и в случае с любым приложением ИИ, ответы Microsoft 365 Copilot не всегда могут быть точными. Вы по-прежнему должны применять человеческое суждение, чтобы проверка эти ответы.

Как корпорация Майкрософт обрабатывает мои запросы и ответы?

Корпорация Майкрософт обрабатывает запросы и ответы так же, как и другие более традиционные формы содержимого, такие как сообщения электронной почты, документы и чаты, и наши договорные обязательства совпадают.

Использует ли Microsoft 365 Copilot мои данные для обучения моделей ИИ?

Запросы, ответы и данные клиентов, доступ к которым осуществляется через Microsoft Graph, не используются для обучения базовых LLM, в том числе используемых Microsoft 365 Copilot. Улучшения продукта определяются такими методами, как инциденты, сообщаемые клиентом, и искусственное создание запросов.

Что делать, если отображается непредвиденное или оскорбительное содержимое?

Немедленно сообщите о любом тревожном или подозрительном содержимом, нажав кнопку downvote (вниз) рядом с ответом на запрос.

Как получить доступ к отчету об оценке уязвимостей Microsoft 365 Copilot?

Стороннюю оценку уязвимостей Microsoft 365 Copilot можно скачать на портале Service Trust Portal.

Может ли корпорация Майкрософт помочь мне найти риски в приложениях ИИ?

Корпорация Майкрософт выпустила Python Risk Identification Toolkit for generative AI (PyRIT) — платформу автоматизации с открытым доступом, которая призвана предоставить специалистам по безопасности и инженерам машинного обучения возможность упреждающего поиска рисков в собственных системах искусственного интеллекта.

Есть ли у Microsoft 365 Copilot доступ к данным, которых у меня нет при создании содержимого заземления?

Microsoft 365 Copilot обращается к ресурсам от имени пользователя, поэтому он может получить доступ только к ресурсам, на доступ к которых у вас уже есть разрешение.

Заземление происходит в контексте удостоверений, а запросы семантического индекса и графа "обрезаются" на основе разрешений для базового содержимого. Этот процесс гарантирует, что в процесс заземления будет включено только авторизованное содержимое.

Как ограничить данные, которые Microsoft 365 Copilot могут использовать?

Следующие действия помогут администраторам управлять доступом пользователей и, следовательно, ограничить доступ к данным, которые Microsoft 365 Copilot могут использовать:

Как использовать решения майкрософт по обеспечению безопасности для защиты данных и взаимодействия с приложениями ИИ?

Корпорация Майкрософт всегда рекомендует создать надежную основу безопасности для предприятия. Стратегия безопасности "Никому не доверяй" предоставляет рекомендации для такой основы, так как она обрабатывает каждый запрос на подключение и ресурсы так, как если бы он был получен из неконтролируемой сети и субъекта угроз. Независимо от того, откуда исходит запрос или к какому ресурсу он обращается, используйте принципы "Никому не доверяй".

Наши комплексные решения по обеспечению безопасности, включая Microsoft Defender, Entra, Purview и Intune, работают вместе, чтобы защитить ваши данные и взаимодействия в Microsoft 365 Copilot и других приложениях ИИ. Эти продукты обладают возможностями, позволяющими вам и вашим командам:

  • Выявление потенциальных рисков, связанных с использованием ИИ, таких как утечка конфиденциальных данных и несанкционированный доступ к приложениям с высоким риском

  • Защита приложений ИИ и конфиденциальных данных, которые они обрабатывают или создают, включая запросы и ответы

  • Ответственное управление использованием ИИ путем сохранения и ведения журнала взаимодействий, обнаружения нарушений политики и расследования инцидентов

Например, недавно мы представили новые возможности Microsoft Defender и Purview, которые предоставляют специально созданные средства для надежной безопасности и управления генерируемыми приложениями ИИ и их данными. Кроме того, простая интеграция Microsoft Security Copilot между нашими продуктами упрощает общий процесс и опыт для аналитиков безопасности. Приоритезируя безопасность и предлагая эти расширенные функции, Корпорация Майкрософт позволяет организациям уверенно применять преимущества и возможности приложений ИИ.

Где следует сообщать об уязвимостях в Microsoft 365 Copilot и других приложениях ИИ?

Если вы обнаружите новые уязвимости на любой платформе ИИ, мы рекомендуем следовать рекомендациям ответственного раскрытия информации для владельца платформы. Собственная процедура Майкрософт (для Copilot) описана на этой странице: Microsoft AI Bounty Program.