Condividi tramite

Sicurezza dell'intelligenza artificiale per Microsoft 365 Copilot

  • Articolo
  • Si applica a:
    ✅ Microsoft 365 Copilot

L'IA ha rivoluzionato molti settori, offrendo funzionalità ed efficienza senza precedenti. Ad esempio, Microsoft 365 Copilot, lo strumento di produttività basato sull'intelligenza artificiale, coordina i modelli linguistici di grandi dimensioni, il contenuto in Microsoft Graphs e le app per la produttività di Microsoft 365, ad esempio Word, Excel, PowerPoint, Outlook, Teams, SharePoint e altri. Questa integrazione fornisce assistenza intelligente in tempo reale, consentendo agli utenti di potenziare la loro creatività, produttività e competenze.

I clienti sono desiderosi di esplorare queste opportunità e stanno valutando attentamente gli aspetti importanti della sicurezza che ne derivano. In base alle interazioni con i clienti che si trovano nel percorso di trasformazione dell'intelligenza artificiale, sappiamo che argomenti come la sicurezza dei dati, la privacy, la robustezza dei modelli e gli attacchi informatici sono fondamentali.

Microsoft è consapevole della criticità di queste considerazioni, motivo per cui viene adottata una solida strategia di difesa avanzata per proteggere gli strumenti di produttività come Microsoft 365 Copilot dai rischi per la sicurezza. Questo approccio multilivello prevede una combinazione di intelligence avanzata sulle minacce, procedure di sicurezza rigorose e misure di sicurezza proattive. Ad esempio, oltre ai nostri esercizi di red teaming per testare Microsoft 365 Copilot, Abbiamo coinvolto Casaba Security per testare nove implementazioni copilot nella suite di prodotti Microsoft 365. Sono stati tempestivamente risolti i risultati dei test, incentrati sull'identificazione della top 10 di Open Worldwide Application Security Project (OWASP) per LLM e delle vulnerabilità di sicurezza tradizionali nel supporto dell'infrastruttura delle applicazioni.

Microsoft adotta misure approfondite per garantire che Microsoft 365 Copilot sia conforme agli impegni esistenti in materia di privacy, sicurezza e conformità nei confronti dei clienti. E man mano che le tecnologie di IA e i casi d'uso continuano a evolversi, il nostro lavoro non viene mai svolto: Microsoft si impegna a promuovere continuamente le protezioni per Copilot, imparando dal monitoraggio e dai test dei nostri sistemi, oltre a collaborare con clienti, partner e il settore della sicurezza in generale.

Questo articolo offre una panoramica del comportamento complessivo di sicurezza di Microsoft per l'intelligenza artificiale e del modo in cui le diverse soluzioni di sicurezza Microsoft interagiscono per proteggere i dati e le interazioni in Microsoft 365 Copilot e in altre applicazioni di intelligenza artificiale. Questo articolo verrà aggiornato con nuove informazioni sui rischi emergenti e sulle innovazioni nelle soluzioni man mano che diventano disponibili.

Protezione di Microsoft 365 Copilot

In Microsoft, la sicurezza non è solo una priorità; è la base per tutto quello che facciamo. Questo impegno si estende all'IA: non solo Microsoft Office of Responsible AI guida la sicurezza nel nostro percorso di intelligenza artificiale, ma la nostra iniziativa Secure Future , recentemente espansa, riflette ulteriormente la nostra dedizione a creare un panorama digitale più sicuro per tutti.

Il nostro approccio di sicurezza completo per l'IA ha i seguenti pilastri:

  • Sviluppo responsabile dell'IA: Microsoft sostiene i principi di intelligenza artificiale responsabile. Questi principi evidenziano l'equità, l'affidabilità e la sicurezza, la privacy e la sicurezza, l'inclusività, la trasparenza e la responsabilità durante tutto il ciclo di vita dell'IA.
  • Procedure consigliate per la sicurezza: vengono fornite risorse personalizzate e procedure consigliate per sviluppatori, ingegneri e professionisti della sicurezza che lavorano con i prodotti Microsoft per intelligenza artificiale. Queste risorse consentono alle organizzazioni di comprendere e implementare misure di sicurezza durante la distribuzione.
  • Ciclo di vita dello sviluppo della sicurezza (SDL): SDL integra considerazioni di sicurezza nell'intero processo di sviluppo dell'intelligenza artificiale. Questo approccio proattivo garantisce che le vulnerabilità vengano identificate e attenuate fin dall'inizio.
  • Ricerca, rilevamento e mitigazione delle minacce: investiamo attivamente in strategie per rilevare e attenuare le minacce ai modelli di intelligenza artificiale. Ciò include il monitoraggio delle vulnerabilità in corso e lo sviluppo di contromisure contro potenziali attacchi. Microsoft Threat Intelligence, la nostra rete globale di ricercatori, monitora anche il panorama delle minacce per gli attori delle minacce e gli attacchi informatici che potrebbero sfruttare le applicazioni di intelligenza artificiale.

Microsoft protegge la privacy, la sicurezza e l'affidabilità per le funzionalità di IA di Microsoft 365 Copilot, dalla fase di input utente fino alla fase di output del sistema. Microsoft 365 Copilot è conforme agli impegni esistenti in materia di privacy, sicurezza e conformità, tra cui il regolamento generale sulla protezione dei dati (GDPR) e il limite dei dati dell'Unione europea (UE). In linea con questi impegni, Microsoft gestisce le informazioni in tutte le richieste immesse tramite Copilot e i dati recuperati e le risposte generate rimangono protetti come dati del cliente e soggetti ai requisiti di gestione dei dati contrattuali.

Le sezioni seguenti illustrano in che modo Microsoft affronta vari aspetti della privacy, della sicurezza e della conformità che sono importanti considerazioni per i clienti per l'adozione di Microsoft 365 Copilot.

Controllo di accesso e gestione delle autorizzazioni

Microsoft 365 Copilot accede alle risorse per conto dell'utente, in modo che possa accedere solo alle risorse a cui l'utente ha già l'autorizzazione per accedere. Se ad esempio l'utente non ha accesso a un documento, anche Microsoft 365 Copilot lavorare per conto dell'utente non avrà accesso.

I dati usati per generare risposte vengono elaborati da Microsoft in base ai requisiti contrattuali di gestione dei dati, tra cui la crittografia in transito, la protezione della privacy e la prevenzione della perdita di dati. Inoltre, i dati di Microsoft 365, inclusi i dati di Microsoft Graph e SharePoint, rispettano i meccanismi di controllo di accesso e controllo.

Microsoft 365 Copilot rispetta i criteri di Microsoft 365, Microsoft Entra e Microsoft Purview che limitano ulteriormente l'accesso e l'autorizzazione degli utenti, ad esempio barriere informative, accesso condizionale ed etichette di riservatezza.

Microsoft 365 Copilot eredita i criteri di prevenzione della perdita dei dati (DLP) per impedire l'esfiltrazione dei dati delle risposte generate da Copilot. Inoltre, migliora la sicurezza dei dati applicando etichette di riservatezza a queste risposte.

Protezione dei dati durante il training del modello

Microsoft 365 Copilot usa modelli LLM con training preliminare ospitati da Microsoft; non usa i dati dei clienti per eseguire il training di questi modelli. Inoltre, i dati di richiesta e messa a terra non vengono usati per eseguire il training dei modelli di intelligenza artificiale e non vengono mai condivisi con OpenAI o altre terze parti.

Rispetto dei requisiti di residenza dei dati

Microsoft rispetta gli impegni relativi alla residenza dei dati, come descritto nell'addendum microsoft relativo alle condizioni per il prodotto e alla protezione dei dati. Le offerte Advanced Data Residency (ADR) e Multi-Geo Capabilities di Microsoft includono impegni di residenza dei dati per i clienti di Microsoft 365 Copilot a partire dal 1° marzo 2024. Per gli utenti dell'Unione europea (UE), Microsoft dispone di ulteriori misure di sicurezza per rispettare il limite dei dati dell'UE. Il traffico dell'Europa rimane all'interno del Confine dei dati dell'Europa, mentre il traffico mondiale può essere inviato all'Europa e ad altri paesi o aree geografiche per l'elaborazione di LLM.

Tutti i dati inviati per l'elaborazione dell'intelligenza artificiale vengono crittografati sia in transito che inattivi. Per garantire che i dati rimangano sicuri per tutto il ciclo di vita dell'elaborazione, Microsoft 365 usa tecnologie sul lato servizio conformi a FIPS 140-2 che crittografa il contenuto dei clienti inattivi e in transito, tra cui BitLocker, crittografia per file, Transport Layer Security (TLS) 1.2 e Internet Protocol Security (IPsec).

Protezione avanzata contro le iniezioni di prompt

Microsoft usa una combinazione di Machine Learning avanzato per il filtro dei contenuti a più livelli, protocolli di sicurezza rigorosi e monitoraggio continuo. I classificatori di inserimento indiretto o cross-prompt rilevano e bloccano l'inserimento dei prompt su più livelli. Nel frattempo, le difese, come le seguenti, consentono anche di ridurre al minimo l'impatto sulla sicurezza degli attacchi cross-prompt injection (XPIA):

  • I classificatori XPIA vengono usati per rilevare e ridurre le istanze di XPIA

  • Requisito per le azioni con privilegi e le azioni che potrebbero modificare o uscire dal contenuto, ad esempio l'invio di un messaggio di posta elettronica

  • I meccanismi di uscita dei dati non necessari vengono rimossi per impedire l'esfiltrazione dei dati

Inoltre, nel contesto di un attacco prompt injection, l'utente malintenzionato può accedere ai dati solo nella misura in cui l'utente ha accesso. Ciò significa che l'utente malintenzionato è limitato alle autorizzazioni e ai dati dell'utente all'interno del sistema. Questa limitazione consente di contenere il potenziale danno di un attacco prompt injection all'ambito delle autorizzazioni dell'utente.

Aderendo ai principi di intelligenza artificiale responsabile

I principi di intelligenza artificiale responsabile di Microsoft guidano lo sviluppo e l'uso di Microsoft 365 Copilot. Ad esempio, Microsoft 365 Copilot implementa classificatori, ad esempio quelli disponibili in Sicurezza dei contenuti di Azure AI, e il metaprompting per ridurre il rischio di contenuti dannosi, offensivi o violenti. Microsoft 365 Copilot usa classificatori basati su intelligenza artificiale e filtri del contenuto per contrassegnare diversi tipi di contenuto potenzialmente dannoso nelle richieste degli utenti o nelle risposte generate. Nel frattempo, il metaprompting guida il comportamento del modello, assicurandosi che il sistema si comporti in conformità con i principi di intelligenza artificiale e le aspettative degli utenti di Microsoft.

Microsoft applica anche la tecnologia di ispezione rapida e i filtri dei contenuti per impedire l'uso di Microsoft 365 Copilot per ransomware e altri attacchi basati su malware. Inoltre, il ciclo di vita dello sviluppo della sicurezza (SDL) consente di proteggere Microsoft 365 Copilot dall'esecuzione remota del codice. Un modo per eseguire questa operazione consiste nel impedire a Copilot di eseguire codice non vincolato e unsandboxed.

Per evitare contenuti non inattuati, Microsoft 365 Copilot implementa la generazione aumentata di recupero (RAG) usando un database semantico dedicato in grado di fornire informazioni sul contenuto dei clienti tenant di Microsoft 365. Microsoft esamina continuamente e attentamente le modifiche apportate al livello di messa a terra della risposta. Per tutte le modifiche apportate a Microsoft 365 Copilot (inclusi prompt, modello o orchestrazione), vengono rilevate regressioni che potrebbero influire negativamente sull'utente.

Sono disponibili nuovi strumenti nell'intelligenza artificiale di Azure che consentono di migliorare ulteriormente queste misure di sicurezza consentendo agli sviluppatori di app per intelligenza artificiale di creare applicazioni di intelligenza artificiale più sicure.

Microsoft offre protezioni predefinite contro la generazione di contenuti protetti, che include il primo programma Customer Copyright Commitment del settore per difendere i clienti e compensare eventuali giudizi negativi, in caso di una causa per violazione del copyright.

Soddisfare i requisiti normativi

Microsoft 365 Copilot soddisfa i requisiti normativi per eDiscovery, la registrazione di controllo e la conservazione tramite diversi meccanismi:

  • Criteri di conservazione: i messaggi provenienti da Microsoft 365 Copilot vengono inclusi automaticamente nel percorso dei criteri di conservazione denominato Chat di Teams e Interazioni copilot. Ciò significa che le richieste degli utenti e le risposte copilot possono essere mantenute ed eliminate per motivi di conformità. I dati dei messaggi Copilot vengono archiviati in una cartella nascosta nella cassetta postale dell'utente che esegue Copilot, in cui gli amministratori della conformità possono eseguire ricerche con gli strumenti eDiscovery.

  • Registrazione di controllo: i log di controllo generati da Microsoft 365 Copilot possono essere conservati per un massimo di 180 giorni per i clienti di controllo (Standard) e fino a un anno per i titolari di licenze Di controllo (Premium), con la possibilità di estendere fino a 10 anni.

  • Conformità a Microsoft Purview: Microsoft Purview offre protezioni per la sicurezza dei dati e la conformità per le app generative di intelligenza artificiale come Copilot. Microsoft Purview Data Security Posture Management per l'intelligenza artificiale, attualmente in anteprima, offre strumenti grafici e report facili da usare per ottenere rapidamente informazioni dettagliate sull'uso dell'intelligenza artificiale all'interno dell'organizzazione. I criteri con un solo clic consentono di proteggere i dati e di rispettare i requisiti normativi.

  • Amministrazione controlli: gli amministratori possono usare Microsoft Purview per visualizzare e gestire i dati archiviati, impostare criteri di conservazione ed eseguire ricerche di eDiscovery. Entrambe le opzioni di eliminazione avviate dall'amministratore e dall'utente sono disponibili tramite Purview.

Domande frequenti

I risultati di Microsoft 365 Copilot sono affidabili?

Sebbene le misure di sicurezza Microsoft forniscano una forte mitigazione delle minacce contro la disinformazione e la compromissione, come per qualsiasi applicazione di intelligenza artificiale, le risposte di Microsoft 365 Copilot potrebbero non essere sempre accurate. È comunque consigliabile applicare un giudizio umano per controllare queste risposte.

In che modo Microsoft gestisce le richieste e le risposte?

Microsoft considera le richieste e le risposte come altre forme più tradizionali di contenuto, ad esempio e-mail, documenti e chat, e gli impegni contrattuali sono gli stessi.

Microsoft 365 Copilot usare i dati per eseguire il training dei modelli di intelligenza artificiale?

Richieste, le risposte e i dati dei clienti a cui si accede tramite Microsoft Graph non vengono usati per eseguire il training delle VM di base, incluse quelle usate da Microsoft 365 Copilot. I miglioramenti dei prodotti sono basati su tecniche come gli eventi imprevisti segnalati dai clienti e la generazione di prompt sintetici.

Cosa devo fare se vedo contenuti imprevisti o offensivi?

Segnalare immediatamente eventuali contenuti fastidiosi o sospetti selezionando il pulsante giù (pollice verso il basso) accanto alla risposta della richiesta.

Come è possibile accedere al report di valutazione della vulnerabilità Microsoft 365 Copilot?

La valutazione della vulnerabilità di terze parti di Microsoft 365 Copilot può essere scaricata da Service Trust Portal.

Microsoft può aiutare a trovare i rischi nelle applicazioni di intelligenza artificiale?

Microsoft ha rilasciato Python Risk Identification Toolkit per l'intelligenza artificiale generativa (PyRIT), un framework di automazione ad accesso aperto che mira a consentire ai professionisti della sicurezza e ai tecnici di Machine Learning di individuare in modo proattivo i rischi nei propri sistemi di intelligenza artificiale generativa.

I Microsoft 365 Copilot hanno accesso ai dati che non si hanno quando si esegue la messa a terra del contenuto?

Microsoft 365 Copilot accede alle risorse per conto dell'utente, in modo che possa accedere solo alle risorse a cui si è già autorizzati ad accedere.

La messa a terra si verifica nel contesto dell'identità e le query sull'indice semantico e sul grafo vengono "eliminate dalla sicurezza" in base alle autorizzazioni per il contenuto sottostante. Questo processo garantisce che solo il contenuto autorizzato sia incluso nel processo di messa a terra.

Come è possibile limitare i dati che Microsoft 365 Copilot possono usare?

La procedura seguente consente agli amministratori di controllare l'accesso degli utenti e quindi limitare i dati che Microsoft 365 Copilot possono usare:

Come è possibile usare le soluzioni di sicurezza Microsoft per proteggere i dati e le interazioni con le applicazioni di intelligenza artificiale?

Microsoft consiglia sempre di creare una solida base di sicurezza per l'azienda. La strategia di sicurezza Zero Trust fornisce indicazioni per tale base perché considera ogni connessione e richiesta di risorse come se provenisse da una rete non controllata e da un attore di minacce. Indipendentemente dalla posizione di origine della richiesta o dalla risorsa a cui accede, usare Zero Trust principi.

Le nostre soluzioni di sicurezza complete, tra cui Microsoft Defender, Entra, Purview e Intune, interagiscono per proteggere i dati e le interazioni in Microsoft 365 Copilot e in altre applicazioni di intelligenza artificiale. Questi prodotti hanno funzionalità che consentono a te e ai tuoi team di:

  • Identificare i potenziali rischi correlati all'uso dell'IA, ad esempio perdite di dati sensibili e accesso non autorizzato ad applicazioni ad alto rischio

  • Proteggere le applicazioni di intelligenza artificiale e i dati sensibili che elaborano o generano, incluse richieste e risposte

  • Gestire l'uso responsabile dell'IA mantenendo e registrando le interazioni, rilevando le violazioni dei criteri e analizzando gli eventi imprevisti

Di recente, ad esempio, sono state introdotte nuove funzionalità di Microsoft Defender e Purview che forniscono strumenti appositamente creati per una sicurezza e una governance affidabili delle applicazioni generative di intelligenza artificiale e dei relativi dati. Inoltre, la perfetta integrazione di Microsoft Security Copilot tra i nostri prodotti semplifica il processo complessivo e l'esperienza per gli analisti della sicurezza. Assegnando priorità alla sicurezza e offrendo queste funzionalità avanzate, Microsoft consente alle organizzazioni di applicare in modo sicuro i vantaggi e le opportunità offerte dalle applicazioni di intelligenza artificiale.

Dove è consigliabile segnalare le vulnerabilità in Microsoft 365 Copilot e in altre applicazioni di intelligenza artificiale?

Se si individuano nuove vulnerabilità in qualsiasi piattaforma di intelligenza artificiale, è consigliabile seguire le procedure di divulgazione responsabile per il proprietario della piattaforma. La procedura di Microsoft (per Copilot) è illustrata in questa pagina: Programma Microsoft AI Bounty.