Condividi tramite

Usare i rischi e il monitoraggio della sicurezza in Azure AI Foundry (anteprima)

  • Articolo

Quando si usa una distribuzione di modelli OpenAI di Azure con un filtro contenuto, è possibile controllare i risultati dell'attività di filtro. È possibile usare queste informazioni per modificare ulteriormente la configurazione del filtro in modo da soddisfare le esigenze aziendali specifiche e i principi di IA responsabile.

Azure AI Foundry fornisce un dashboard di monitoraggio dei rischi e della sicurezza per ognuna delle distribuzioni che usa una configurazione di filtro del contenuto.

Usare Monitoraggio rischi e sicurezza

Per accedere a Monitoraggio rischi e sicurezza, è necessaria una risorsa OpenAI di Azure in una delle aree di Azure supportate: Stati Uniti orientali, Svizzera settentrionale, Francia centrale, Svezia centrale, Canada orientale. È necessaria anche una distribuzione del modello che usa una configurazione del filtro contenuto.

Passare ad Azure AI Foundry e accedere con le credenziali associate alla risorsa OpenAI di Azure. Seleziona un progetto. Selezionare quindi la scheda Modelli e endpoint a sinistra e quindi selezionare la distribuzione del modello dall'elenco. Nella pagina della distribuzione selezionare la scheda Metriche nella parte superiore. Selezionare quindi Apri in Monitoraggio di Azure per visualizzare il report completo nel portale di Azure.

Configurare le metriche

Descrizione report

I dati di filtro del contenuto vengono visualizzati nei modi seguenti:

  • Numero totale di richieste bloccate e frequenza di blocco: questa visualizzazione mostra una visualizzazione globale della quantità e della frequenza del contenuto filtrata nel tempo. Ciò consente di comprendere le tendenze delle richieste dannose degli utenti e di visualizzare eventuali attività impreviste.
  • Richieste bloccate per categoria: questa visualizzazione mostra la quantità di contenuto bloccato per ogni categoria. Si tratta di una statistica completa delle richieste dannose nell'intervallo di tempo selezionato. Attualmente supporta le categorie dannose come odio, sesso, autolesionismo e violenza.
  • Frequenza di blocco nel tempo per categoria: questa visualizzazione mostra la frequenza dei blocchi per ogni categoria nel tempo. Attualmente supporta le categorie dannose come odio, sesso, autolesionismo e violenza.
  • Distribuzione della gravità per categoria: questa visualizzazione mostra i livelli di gravità rilevati per ogni categoria di danni nell'intero intervallo di tempo selezionato. Questo non è limitato al contenuto bloccato, ma include piuttosto tutto il contenuto contrassegnato dai filtri di contenuto.
  • Distribuzione della frequenza di gravità nel tempo per categoria: questa visualizzazione mostra la frequenza dei livelli di gravità rilevati nel tempo, per ogni categoria di danni. Selezionare le schede per passare da una categoria supportata all'altra.

Modificare la configurazione del filtro del contenuto per allinearsi ulteriormente alle esigenze aziendali e ai principi di IA responsabile.

Rilevamento utenti potenzialmente offensivi

Il riquadro Rilevamento utenti potenzialmente offensivi sfrutta la segnalazione di abusi a livello di utente per visualizzare informazioni sugli utenti il cui comportamento ha causato il blocco del contenuto. L'obiettivo è quello di ottenere una panoramica delle cause che creano contenuto dannoso, in modo da poter eseguire azioni reattive per garantire che il modello venga usato in modo responsabile.

Per usare Rilevamento utenti potenzialmente offensivi è necessario:

  • Configurare il filtro di contenuto applicato alla distribuzione.
  • È necessario inviare informazioni sull'ID utente nelle richieste di completamento della chat ( ad esempio, vedere il parametro utente dell'API Completamento).

    Attenzione

    Usare stringhe GUID per identificare singoli utenti. Non includere informazioni personali riservate nel campo "utente".

  • Un database di Esplora dati di Azure configurato per archiviare i risultati dell'analisi utente (istruzioni seguenti).

Configurare il database di Esplora dati di Azure

Per proteggere la privacy dei dati delle informazioni utente e gestire l'autorizzazione dei dati, è supportata la possibilità per i nostri clienti di usare la propria risorsa di archiviazione per ottenere informazioni dettagliate sugli utenti potenzialmente offensivi (inclusi GUID utente e statistiche sulla richiesta dannosa per categoria) archiviate in modo conforme e con controllo completo. Seguire questa procedura per abilitarlo:

  1. In Azure AI Foundry passare alla distribuzione del modello con cui si vuole configurare l'analisi degli abusi utente e selezionare Aggiungi un archivio dati.
  2. Immettere le informazioni necessarie e selezionare Salva. È consigliabile creare un nuovo database per archiviare i risultati dell'analisi.
  3. Dopo aver connesso l'archivio dati, seguire questa procedura per concedere l'autorizzazione e scrivere i risultati dell'analisi nel database connesso:
    1. Passare alla pagina della risorsa OpenAI di Azure nel portale di Azure e scegliere la scheda Identità.
    2. Attivare lo stato per l'identità assegnata dal sistema e copiare l'ID generato.
    3. Passare alla risorsa Esplora dati di Azure nel portale di Azure, scegliere database e quindi scegliere il database specifico creato per archiviare i risultati dell'analisi degli utenti.
    4. Selezionare autorizzazioni e aggiungere un ruolo di amministratore al database.
    5. Incollare l'identità OpenAI di Azure generata nel passaggio precedente e selezionare quella cercata. Ora l'identità della risorsa OpenAI di Azure è autorizzata a leggere/scrivere nell'account di archiviazione.
  4. Concedere l'accesso al database di Esplora dati di Azure connesso agli utenti che devono visualizzare i risultati dell'analisi:
    1. Passare alla risorsa Esplora dati di Azure connessa, scegliere controllo di accesso e aggiungere un ruolo lettore del cluster di Esplora dati di Azure per gli utenti che devono accedere ai risultati.
    2. Scegliere database e scegliere il database specifico connesso per archiviare i risultati dell'analisi degli abusi a livello di utente. Scegliere autorizzazioni e aggiungere il ruolo lettore del database per gli utenti che devono accedere ai risultati.

Descrizione report

Il rilevamento degli utenti potenzialmente offensivi si basa sulle informazioni utente inviate dai clienti con le chiamate API OpenAI di Azure, insieme al contenuto della richiesta. Vengono visualizzate le informazioni dettagliate seguenti:

  • Numero totale di utenti potenzialmente offensivi: questa visualizzazione mostra il numero di utenti potenzialmente offensivi rilevati nel tempo. Si tratta di utenti per i quali è stato rilevato uno schema di comportamenti offensivi e che potrebbero introdurre rischi elevati.
  • Elenco utenti potenzialmente offensivi: questa visualizzazione è un elenco dettagliato di utenti potenzialmente offensivi rilevati. Fornisce le seguenti informazioni per ogni utente:
    • UserGUID: questo viene inviato dal cliente tramite il campo "utente" nelle API OpenAI di Azure.
    • Punteggio comportamento offensivo: si tratta di una cifra generata dal modello che analizza le richieste e il comportamento di ogni utente. Il punteggio viene normalizzato in 0-1. Un punteggio più alto indica un rischio di comportamenti offensivi più elevato.
    • Tendenza del punteggio comportamento offensivo: come cambia il punteggio comportamento offensivo durante l'intervallo di tempo selezionato.
    • Data di valutazione: data in cui sono stati analizzati i risultati.
    • Numero totale/frequenza di richieste offensive
    • Numero totale/frequenza per categoria

Combinare questi dati con segnali arricchiti per verificare se gli utenti rilevati sono veramente offensivi o meno. In caso affermativo, eseguire azioni reattive, ad esempio la limitazione o la sospensione dell'utente per garantire l'uso responsabile dell'applicazione.

Passaggi successivi

Successivamente, creare o modificare una configurazione del filtro del contenuto in Azure AI Foundry.