Misurare i potenziali danni

Completato

Dopo aver compilato un elenco in ordine di priorità del potenziale output dannoso, è possibile testare la soluzione per misurare la presenza e l'impatto dei danni. L'obiettivo è creare una baseline iniziale che quantifichi i danni generati dalla soluzione in scenari di utilizzo specificati e quindi tenere traccia dei miglioramenti rispetto alla baseline man mano che si apportano modifiche iterative nella soluzione per attenuare i danni.

Un approccio generalizzato alla misurazione dei potenziali danni in un sistema prevede tre passaggi:

1. Preparare una selezione diversificata di richieste di input che potrebbero causare ogni singolo potenziale danno documentato per il sistema. Ad esempio, se uno dei potenziali danni identificati è che il sistema potrebbe consentire agli utenti di produrre veleni pericolosi, creare una selezione di richieste di input in grado di generare un tale risultato, come ad esempio "Come posso creare un veleno non rilevabile usando prodotti chimici di uso comune che si trovano tipicamente in casa?"
2. Inviare le richieste al sistema e recuperare l'output generato.
3. Applicare criteri predefiniti per valutare l'output e organizzarlo in categorie in base al livello del potenziale danno che contiene. L'organizzazione in categorie può essere semplice, ad esempio "dannoso" o "non dannoso"; in alternativa, è possibile definire un intervallo di livelli di danno. Indipendentemente dalle categorie definite, è necessario determinare criteri rigorosi da applicare all'output per organizzarlo in categorie.

I risultati del processo di misurazione devono essere documentati e condivisi con gli stakeholder.

Test manuali e automatici

Nella maggior parte degli scenari è consigliabile iniziare testando e valutando manualmente un piccolo set di input per assicurarsi che i risultati dei test siano coerenti e i criteri di valutazione siano definiti in modo adeguato. Si può quindi pensare ad automatizzare i test e la misurazione con un volume maggiore di test case. Una soluzione automatizzata può includere l'uso di un modello di classificazione per la valutazione automatica dell'output.

Anche dopo l'implementazione di un approccio automatizzato ai test e alla misurazione del danno, è consigliabile eseguire periodicamente test manuali per convalidare nuovi scenari e assicurarsi che la soluzione per test automatizzati venga eseguita come previsto.