Segurança de IA para Microsoft 365 Copilot
A IA revolucionou muitos setores, proporcionando capacidades e eficiências sem precedentes. Por exemplo, Microsoft 365 Copilot, a nossa ferramenta de produtividade com tecnologia de IA, coordena modelos de linguagem grandes (LLMs), conteúdos no Microsoft Graphs e aplicações de produtividade do Microsoft 365, como Word, Excel, PowerPoint, Outlook, Teams, SharePoint, entre outros. Essa integração fornece assistência inteligente em tempo real, permitindo que os usuários aprimorem sua criatividade, produtividade e habilidades.
Os clientes estão interessados em explorar estas oportunidades e estão a considerar cuidadosamente os aspetos importantes da segurança que as acompanham. Com base nas nossas interações com clientes que estão no seu percurso de transformação de IA, compreendemos que tópicos como segurança de dados, privacidade, robustez do modelo e ciberataques estão no topo da mente.
A Microsoft compreende a importância destas considerações, razão pela qual utilizamos uma estratégia robusta de defesa em profundidade para ajudar a proteger ferramentas de produtividade, como Microsoft 365 Copilot contra riscos de segurança. Esta abordagem de várias camadas envolve uma combinação de informações avançadas sobre ameaças, práticas de segurança rigorosas e salvaguardas proativas. Por exemplo, para além dos nossos próprios exercícios de agrupamento vermelho para testar Microsoft 365 Copilot, contactámos a Casaba Security para testar nove implementações copilot no conjunto de produtos do Microsoft 365. Abordámos e resolvemos prontamente as conclusões dos seus testes, que se concentraram na identificação dos 10 principais 10 do Open Worldwide Application Security Project (OWASP) para LLM, bem como as vulnerabilidades de segurança tradicionais no suporte da infraestrutura de aplicações.
A Microsoft toma medidas abrangentes para garantir que o Microsoft 365 Copilot está em conformidade com os nossos compromissos de privacidade, segurança e conformidade existentes com os nossos clientes. E à medida que as tecnologias de IA e os casos de utilização continuam a evoluir, o nosso trabalho nunca é feito: a Microsoft está empenhada em avançar continuamente com as proteções para a Copilot, aprender com a nossa própria monitorização e teste dos nossos sistemas, bem como trabalhar com clientes, parceiros e a indústria de segurança mais ampla.
Este artigo fornece uma descrição geral da postura de segurança geral da Microsoft para IA e como diferentes soluções de segurança da Microsoft funcionam em conjunto para ajudar a proteger os seus dados e interações em Microsoft 365 Copilot e outras aplicações de IA. Iremos atualizar este artigo com novas informações sobre riscos emergentes e inovações em soluções à medida que ficam disponíveis.
Proteger Microsoft 365 Copilot
Na Microsoft, a segurança não é apenas uma prioridade; é a base para tudo o que fazemos. Este compromisso estende-se à IA: não só o Microsoft Office of Responsible AI orienta a segurança e a segurança no nosso percurso de IA, como a nossa Iniciativa Secure Future recentemente expandida reflete ainda mais a nossa dedicação em criar um panorama digital mais seguro para todos.
A nossa postura de segurança abrangente para a IA tem os seguintes pilares:
- Desenvolvimento responsável de IA: os campeões da Microsoft têm princípios de IA responsáveis. Estes princípios enfatizam a equidade, fiabilidade e segurança, privacidade e segurança, inclusão, transparência e responsabilidade ao longo do ciclo de vida de IA.
- Melhores práticas de segurança: fornecemos recursos personalizados e melhores práticas para programadores, engenheiros e profissionais de segurança que trabalham com produtos de IA da Microsoft. Estes recursos ajudam as organizações a compreender e implementar medidas de segurança durante a implementação.
- Ciclo de vida de desenvolvimento de segurança (SDL): o nosso SDL rigoroso integra considerações de segurança ao longo de todo o processo de desenvolvimento de IA. Esta abordagem proativa garante que as vulnerabilidades são identificadas e mitigadas desde o início.
- Investigação, deteção e mitigação de ameaças: investimos ativamente em estratégias para detetar e mitigar ameaças aos nossos modelos de IA. Isto inclui a monitorização de vulnerabilidades em curso e o desenvolvimento de contramedidas contra potenciais ataques. O Microsoft Threat Intelligence, a nossa rede global de investigadores, também monitoriza o panorama das ameaças para atores de ameaças e ciberataques que podem tirar partido das aplicações de IA.
A Microsoft salvaguarda a privacidade, a segurança e a fiabilidade das funcionalidades de IA do Microsoft 365 Copilot, desde a fase de entrada do utilizador até à fase de saída do sistema. Microsoft 365 Copilot está em conformidade com os compromissos de privacidade, segurança e conformidade existentes, incluindo o Regulamento Geral sobre a Proteção de Dados (RGPD) e a Fronteira dos Dados da União Europeia (UE). De acordo com estes compromissos, a Microsoft processa as informações em quaisquer pedidos introduzidos com a Copilot e os dados obtidos e as respostas geradas permanecem protegidos como Dados do Cliente e sujeitos aos nossos requisitos contratuais de processamento de dados.
As secções seguintes abrangem a forma como a Microsoft aborda vários aspetos da privacidade, segurança e conformidade que são considerações importantes do cliente para adotar Microsoft 365 Copilot.
Controlo de acesso e gestão de permissões
Microsoft 365 Copilot acede a recursos em nome do utilizador, pelo que só pode aceder aos recursos aos quais o utilizador já tem permissão para aceder. Por exemplo, se o utilizador não tiver acesso a um documento, Microsoft 365 Copilot trabalhar em nome do utilizador também não terá acesso.
Os dados que utiliza para gerar respostas são processados pela Microsoft de acordo com os requisitos de processamento de dados contratuais, incluindo a encriptação em trânsito, ajudando a salvaguardar a privacidade e a impedir a fuga de dados. Além disso, os dados do Microsoft 365, incluindo dados do Microsoft Graph e do SharePoint, cumprem os mecanismos de controlo de acesso e auditoria.
Microsoft 365 Copilot respeita as políticas do Microsoft 365, Microsoft Entra e Microsoft Purview que limitam ainda mais o acesso e a permissão dos utilizadores, tais como barreiras de informações, Acesso Condicional e etiquetas de confidencialidade.
Microsoft 365 Copilot herda políticas de prevenção de perda de dados (DLP) para impedir a transferência de dados de respostas geradas por Copilot. Além disso, melhora a segurança dos dados ao aplicar etiquetas de confidencialidade a estas respostas.
Proteger dados durante a preparação de modelos
Microsoft 365 Copilot utiliza modelos LLM pré-preparados alojados pela Microsoft; não utiliza os Dados do Cliente para preparar estes modelos. Além disso, os dados de linha de comandos e de base não são utilizados para preparar modelos de IA e nunca são partilhados com a OpenAI ou outros terceiros.
Respeitar os requisitos de residência dos dados
A Microsoft honra os compromissos de residência dos dados, conforme descrito nos Termos de Produto da Microsoft e na Adenda à Proteção de Dados. As ofertas do Microsoft Advanced Data Residency (ADR) e Microsoft 365 Multi-Geo incluem compromissos de residência de dados para os clientes do Copilot para Microsoft 365 a partir de 1º de março de 2024. Para os utilizadores da União Europeia (UE), a Microsoft tem salvaguardas adicionais para cumprir a Fronteira dos Dados da UE. O tráfego da UE permanece dentro da Fronteira de Dados da UE, enquanto o tráfego mundial pode ser enviado para a Europa e outros países ou regiões para processamento de LLM.
Todos os dados enviados para o processamento de IA são encriptados em trânsito e inativos. Para garantir que os dados permanecem seguros durante todo o ciclo de vida de processamento, o Microsoft 365 utiliza tecnologias do lado do serviço compatíveis com FIPS 140-2 que encriptam o conteúdo do cliente inativo e em trânsito, incluindo o BitLocker, encriptação por ficheiro, Transport Layer Security (TLS) 1.2 e Internet Protocol Security (IPsec).
Proteção contra injeções de pedidos
A Microsoft utiliza uma combinação de machine learning avançado para filtragem de conteúdos em várias camadas, protocolos de segurança rigorosos e monitorização contínua. Os classificadores de injeção indiretos ou de pedidos cruzados detetam e bloqueiam a injeção de pedidos em várias camadas. Entretanto, as defesas, como as seguintes, também ajudam a minimizar o impacto de segurança de ataques de injeção de linhas cruzadas (XPIA):
Os classificadores XPIA são utilizados para detetar e reduzir instâncias de XPIA
Requisito para o human-in-the-loop (ações iniciadas pelo utilizador ou aprovadas) para ações e ações privilegiadas que possam alterar ou enviar conteúdo de saída, como enviar uma mensagem de e-mail
Os mecanismos de saída de dados desnecessários são removidos para impedir a transferência de dados não autorizada
Além disso, no contexto de um ataque de injeção rápida, o atacante só pode aceder aos dados na medida em que o utilizador tem acesso. Isto significa que o atacante está limitado às permissões e aos dados que o utilizador tem no sistema. Esta limitação ajuda a conter os potenciais danos de um ataque de injeção rápida no âmbito das permissões do utilizador.
Aderir aos princípios de IA Responsável
Os princípios de IA Responsável da Microsoft orientam o desenvolvimento e a utilização de Microsoft 365 Copilot. Por exemplo, Microsoft 365 Copilot implementa classificadores, como os disponíveis no Segurança de Conteúdo de IA do Azure, e a metaprompagem para ajudar a reduzir o risco de conteúdo prejudicial, ofensivo ou violento. Microsoft 365 Copilot utiliza classificadores baseados em IA e filtros de conteúdo para sinalizar diferentes tipos de conteúdo potencialmente prejudicial em pedidos de utilizador ou respostas geradas. Entretanto, a metaprompulação orienta o comportamento do modelo, incluindo garantir que o sistema se comporta de acordo com os princípios de IA da Microsoft e as expectativas dos utilizadores.
A Microsoft também aplica filtros de conteúdo e tecnologia de inspeção rápida para impedir a utilização de Microsoft 365 Copilot para ransomware e outros ataques baseados em malware. Além disso, o Ciclo de Vida de Desenvolvimento de Segurança (SDL) ajuda a proteger Microsoft 365 Copilot contra a execução remota de código. Uma forma de o fazer envolve impedir que o Copilot execute código sem restrições e sem esandbox.
Para ajudar a impedir conteúdos não encalhados, Microsoft 365 Copilot implementa a geração aumentada de obtenção (RAG) através de uma base de dados semântica dedicada que pode fornecer informações sobre o conteúdo dos clientes inquilinos do Microsoft 365. A Microsoft revê continuamente e cuidadosamente as alterações no nível de base da resposta. Para quaisquer alterações efetuadas ao Microsoft 365 Copilot (incluindo pedido, modelo ou orquestração), detetamos regressões que podem afetar negativamente o utilizador.
Existem novas ferramentas na IA do Azure que ajudam a melhorar ainda mais estas salvaguardas ao ajudar os programadores de aplicações de IA a criar aplicações de IA mais seguras.
Proteger direitos de autor e propriedade intelectual
A Microsoft tem proteções incorporadas contra a geração de conteúdo protegido, que inclui o primeiro programa de Alocação de Direitos de Autor do Cliente do setor para defender os clientes e compensar quaisquer decisões adversas, em caso de um processo por violação de direitos de autor.
Cumprir os requisitos regulamentares
Microsoft 365 Copilot cumpre os requisitos regulamentares para Deteção de Dados Eletrónicos, registo de auditoria e retenção através de vários mecanismos:
Políticas de retenção: as mensagens de Microsoft 365 Copilot são incluídas automaticamente na localização da política de retenção denominada Conversas do Teams e interações copilot. Isto significa que os pedidos de utilizador e as respostas copilot podem ser retidos e eliminados por motivos de conformidade. Os dados das mensagens copilot são armazenados numa pasta oculta na caixa de correio do utilizador que executa o Copilot, que os administradores de conformidade podem procurar com ferramentas de Deteção de Dados Eletrónicos.
Registo de auditoria: os registos de auditoria gerados por Microsoft 365 Copilot podem ser retidos até 180 dias para clientes de Auditoria (Standard) e até um ano para os titulares de licenças de Auditoria (Premium), com a opção de prolongar até 10 anos.
Conformidade com o Microsoft Purview: o Microsoft Purview fornece proteções de conformidade e segurança de dados para aplicações de IA geradoras, como o Copilot. A Gestão da Postura de Segurança de Dados do Microsoft Purview para IA, atualmente em pré-visualização, fornece ferramentas gráficas e relatórios fáceis de utilizar para obter rapidamente informações sobre a utilização de IA na organização. As políticas com um clique ajudam a proteger os dados e a cumprir os requisitos regulamentares.
Administração controlos: os administradores podem utilizar o Microsoft Purview para ver e gerir dados armazenados, definir políticas de retenção e realizar pesquisas de Deteção de Dados Eletrónicos. As opções de eliminação iniciada pelo administrador e pelo utilizador estão disponíveis através do Purview.
Perguntas frequentes
Os resultados do Microsoft 365 Copilot são fiáveis?
Embora as salvaguardas da Microsoft forneçam uma forte mitigação de ameaças contra a desinformação e o compromisso, como acontece com qualquer aplicação de IA, as respostas de Microsoft 365 Copilot podem nem sempre ser precisas. Ainda deve aplicar o julgamento humano para marcar estas respostas.
Como é que a Microsoft trata os meus pedidos e respostas?
A Microsoft trata os pedidos e as respostas à medida que tratamos outras formas de conteúdo mais tradicionais, como e-mails, documentos e conversas, e os nossos compromissos contratuais são os mesmos.
O Microsoft 365 Copilot utiliza os meus dados para preparar modelos de IA?
Solicitações, respostas e Dados de Cliente acedidos através do Microsoft Graph não são utilizados para preparar LLMs de base, incluindo os utilizados por Microsoft 365 Copilot. As melhorias dos produtos são impulsionadas através de técnicas como incidentes reportados pelo cliente e geração de pedidos sintéticos.
O que devo fazer se vir conteúdo inesperado ou ofensivo?
Comunique imediatamente qualquer conteúdo perturbador ou suspeito ao selecionar o botão de voto a favor (polegar para baixo) ao lado da resposta de pedido.
Como posso aceder ao Microsoft 365 Copilot relatório de avaliação de vulnerabilidades?
A avaliação de vulnerabilidades de terceiros do Microsoft 365 Copilot pode ser transferida a partir do Portal de Confiança do Serviço.
A Microsoft pode ajudar-me a encontrar riscos nas minhas aplicações de IA?
A Microsoft lançou o Python Risk Identification Toolkit for generative AI (PyRIT), uma arquitetura de automatização de acesso aberto que visa capacitar profissionais de segurança e engenheiros de machine learning a encontrarem proativamente riscos nos seus próprios sistemas de IA geradores.
O Microsoft 365 Copilot tem acesso aos dados que não tenho ao criar base de conteúdos?
Microsoft 365 Copilot acede a recursos em nome do utilizador, pelo que só pode aceder aos recursos aos quais já tem permissão para aceder.
A base ocorre no contexto da sua identidade e o índice semântico e as consultas de grafos são "segurança cortada" com base nas suas permissões para o conteúdo subjacente. Este processo garante que apenas os conteúdos autorizados são incluídos no processo de base.
Como posso limitar os dados que Microsoft 365 Copilot podem utilizar?
Os passos seguintes podem ajudar os administradores a controlar o acesso dos utilizadores e, por conseguinte, limitar que dados Microsoft 365 Copilot podem utilizar:
- Restringir o acesso a sites do SharePoint e o acesso a conteúdos do OneDrive a grupos específicos, mesmo depois de o conteúdo ter sido partilhado em excesso.
- Utilize a Pesquisa Restrita do SharePoint para limitar os sites a partir dos quais Microsoft 365 Copilot está autorizado a referenciar conteúdo.
- Utilize o Microsoft SharePoint Premium – Gestão Avançada do SharePoint, que oferece relatórios e ferramentas para analisar e gerir listas de controlo de acesso excessivamente permissivas e partilhar ligações em todo o ambiente.
- Reveja as considerações de proteção de informações do Copilot. Microsoft 365 Copilot honra as permissões EXTRACT e herda automaticamente etiquetas de confidencialidade de conteúdo referenciado para respostas e ficheiros gerados por Copilot.
- Aplique etiquetas de confidencialidade aos seus ficheiros e e-mails do Microsoft 365. Para os clientes do Microsoft Purview, os administradores podem criar e configurar etiquetas de confidencialidade que pretendem disponibilizar para aplicações e outros serviços.
- Utilize a Gestão da Postura de Segurança de Dados do Microsoft Purview para IA (atualmente em pré-visualização) para detetar dados confidenciais partilhados com o Copilot, ver ficheiros referenciados em respostas copilot e descobrir ficheiros não etiquetados referenciados pela Copilot e sites do SharePoint associados, permitindo assim identificar e proteger ficheiros em risco de exposição excessiva.
- Configure políticas que removam dados antigos e não utilizados e limitam a expansão de dados devido à partilha excessiva de dados com Gerenciamento do Ciclo de Vida dos Dados do Microsoft Purview.
Como posso utilizar soluções de segurança da Microsoft para proteger interações de dados e aplicações de IA?
A Microsoft recomenda sempre que crie uma base de segurança forte para a sua empresa. A estratégia de segurança Confiança Zero fornece orientações para tal base, uma vez que trata cada ligação e pedido de recurso como se fosse proveniente de uma rede descontrolada e de um ator de ameaças. Independentemente da origem do pedido ou do recurso a que acede, utilize Confiança Zero princípios.
As nossas soluções de segurança abrangentes, incluindo Microsoft Defender, Entra, Purview e Intune, trabalham em conjunto para ajudar a proteger os seus dados e interações no Microsoft 365 Copilot e noutras aplicações de IA. Estes produtos têm capacidades que permitem a si e às suas equipas:
Identificar potenciais riscos relacionados com a utilização de IA, como fugas de dados confidenciais e acesso não autorizado a aplicações de alto risco
Proteger as aplicações de IA e os dados confidenciais que processam ou geram, incluindo pedidos e respostas
Governar a utilização de IA de forma responsável ao reter e registar interações, detetar violações de políticas e investigar incidentes
Por exemplo, introduzimos recentemente novas capacidades de Microsoft Defender e Purview que fornecem ferramentas concebidas para fins de segurança e governação robustas de aplicações de IA geradoras e respetivos dados. Além disso, a integração totalmente integrada de Microsoft Security Copilot em todos os nossos produtos simplifica o processo e a experiência gerais dos analistas de segurança. Ao atribuir prioridades à segurança e ao oferecer estas funcionalidades avançadas, a Microsoft capacita as organizações para aplicarem com confiança os benefícios e oportunidades que as aplicações de IA proporcionam.
Onde devo comunicar vulnerabilidades no Microsoft 365 Copilot e noutras aplicações de IA?
Se detetar novas vulnerabilidades em qualquer plataforma de IA, recomendamos que siga as práticas de divulgação responsáveis do proprietário da plataforma. O próprio procedimento da Microsoft (para Copilot) é explicado nesta página: Programa Microsoft AI Bounty.