Sicurezza dei contenuti per i modelli curati dall'intelligenza artificiale di Azure nel catalogo dei modelli
Importante
Gli elementi contrassegnati (anteprima) in questo articolo sono attualmente disponibili in anteprima pubblica. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate. Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.
In questo articolo vengono fornite informazioni sulle funzionalità di sicurezza dei contenuti per i modelli del catalogo di modelli distribuiti usando le API serverless.
Impostazioni predefinite del filtro contenuto
L'intelligenza artificiale di Azure usa una configurazione predefinita dei filtri del contenuto di Sicurezza dei contenuti di Intelligenza artificiale di Azure per rilevare contenuti dannosi in quattro categorie, tra cui odio e equità, autolesionismo, sesso e violenza per i modelli distribuiti tramite API serverless. Per altre informazioni sul filtro del contenuto (anteprima), vedere Informazioni sulle categorie di danni.
La configurazione di filtro del contenuto predefinita per i modelli di testo è impostata per filtrare in base alla soglia di gravità media, filtrando il contenuto rilevato a questo livello o superiore. Per i modelli di immagine, la configurazione di filtro del contenuto predefinita viene impostata alla soglia di configurazione bassa, filtrando a questo livello o superiore. Per i modelli distribuiti usando il servizio di inferenza del modello di intelligenza artificiale di Azure, è possibile creare filtri configurabili selezionando la scheda Filtri contenuto nella pagina Sicurezza e sicurezza del portale di Azure AI Foundry.
Suggerimento
Il filtro del contenuto (anteprima) non è disponibile per determinati tipi di modello distribuiti tramite API serverless. Questi tipi di modello includono modelli di incorporamento e modelli di serie temporali.
Il filtro del contenuto (anteprima) avviene in modo sincrono quando il servizio richiede di generare contenuto. È possibile che vengano fatturati separatamente in base ai prezzi di Sicurezza dei contenuti di Azure AI per tale uso. È possibile disabilitare il filtro del contenuto (anteprima) per i singoli endpoint serverless:
- Quando si distribuisce per la prima volta un modello linguistico
- In seguito, selezionando l'interruttore filtro contenuto nella pagina dei dettagli della distribuzione
Si supponga di decidere di usare un'API diversa dall'API inferenza del modello di intelligenza artificiale di Azure per usare un modello distribuito tramite un'API serverless. In una situazione di questo tipo, il filtro dei contenuti (anteprima) non è abilitato a meno che non venga implementato separatamente tramite Sicurezza dei contenuti di Azure AI. Per iniziare a usare Sicurezza dei contenuti di Azure AI, vedere Istruzioni di avvio rapido: analizzare il contenuto di testo. Si rischia di esporre gli utenti a contenuti dannosi se non si usa il filtro del contenuto (anteprima) quando si usano modelli distribuiti tramite API serverless.
Comprendere le categorie di danni
Categorie di danni
| Categoria | Descrizione | Termine API |
|---|---|---|
| Odio ed equità | I danni all'odio e all'equità si riferiscono a qualsiasi contenuto che attacca o usa un linguaggio discriminatorio con riferimento a una persona o a un gruppo di identità basato su determinati attributi diversi di questi gruppi. includendo tra l'altro:
|
Hate |
| Sessuale | Il linguaggio sessuale descrive il linguaggio correlato a organi anatomici e genitali, relazioni romantiche e atti sessuali, atti rappresentati in termini erotici o affettuosi, inclusi quelli rappresentati come un assalto o un atto violento sessuale forzato contro la volontà di uno. Ciò include, ma non è limitato a:
|
Sexual |
| Violenza | La violenza descrive il linguaggio relativo alle azioni fisiche destinate a ferire, ferire, danneggiare o uccidere qualcuno o qualcosa del genere; descrive armi, armi e entità correlate. Questi miglioramenti includono, tra l'altro:
|
Violence |
| Autolesionismo | L'autolesionismo descrive il linguaggio relativo ad azioni fisiche volte a ferire o danneggiare intenzionalmente il proprio corpo o a uccidersi. Questi miglioramenti includono, tra l'altro:
|
SelfHarm |
Livelli di gravità
| Livello | Descrizione |
|---|---|
| Safe | Il contenuto potrebbe essere correlato a violenza, autolesionismo, sesso o categorie di odio. Tuttavia, i termini sono utilizzati in generale, giornalistica, scientifica, medica e simili contesti professionali, che sono appropriati per la maggior parte dei destinatari. |
| Basso | Contenuti che esprimono opinioni pregiudiziose, giudicazionali o opinioni, includono l'uso offensivo del linguaggio, la stereotipazione, i casi d'uso che esplorano un mondo fittizio (ad esempio, giochi, letteratura) e rappresentazioni a bassa intensità. |
| Medio | Contenuti che usano linguaggio offensivo, derisorio, insultante, intimidatorio o sminuente verso gruppi di identità specifici, incluse rappresentazioni volte a cercare e seguire istruzioni, fantasie e glorificazioni dannose e promozione di violenza a media intensità. |
| Alta | Contenuti che mostrano istruzioni esplicite e pericolose, azioni, danni o abusi; include l'approvazione, la glorificazione o la promozione di gravi atti pericolosi, forme estreme o illegali di pericolo, radicalizzazione oppure scambi e abusi di potere non consensuali. |
Come vengono calcolati gli addebiti
I dettagli sui prezzi sono visualizzabili nei prezzi di Sicurezza dei contenuti per intelligenza artificiale di Azure. Gli addebiti vengono addebitati quando Azure AI Content Safety convalida la richiesta o il completamento. Se Azure AI Content Safety blocca la richiesta o il completamento, vengono addebitati sia la valutazione del contenuto che le chiamate di inferenza.