Uso de la supervisión de riesgos y seguridad en Azure OpenAI Studio (versión preliminar)

Al usar una implementación de modelos de Azure OpenAI con un filtro de contenido, es posible que desee comprobar los resultados de la actividad de filtrado. Puede usar esa información para ajustar aún más la configuración del filtro para satisfacer sus necesidades empresariales específicas y los principios de inteligencia artificial responsable.

Azure OpenAI Studio proporciona un panel de supervisión de riesgos y seguridad para cada una de las implementaciones que usa una configuración de filtro de contenido.

Supervisión de los riesgos de acceso y seguridad

Para acceder a la supervisión de riesgos y seguridad, necesita un recurso de Azure OpenAI en una de las regiones de Azure admitidas: Este de EE. UU., Norte de Suiza, Centro de Francia, Centro de Suecia, Este de Canadá. También necesita una implementación de modelo que use una configuración de filtro de contenido.

Vaya a Azure OpenAI Studio e inicie sesión con las credenciales asociadas al recurso de Azure OpenAI. Seleccione la pestaña Implementaciones de la izquierda y, a continuación, seleccione la implementación del modelo en la lista. En la página de la implementación, seleccione la pestaña Riesgos y seguridad de la parte superior.

Detección de contenido

El panel Detección de contenido muestra información sobre la actividad de filtro de contenido. La configuración del filtro de contenido se aplica tal como se describe en la Documentación de filtrado de contenido .

Descripción del informe

Los datos de filtrado de contenido se muestran de las maneras siguientes:

• Número total de solicitudes bloqueadas y velocidad de bloqueo: esta vista muestra una vista global de la cantidad y la tasa de contenido que se filtra con el tiempo. Esto le ayuda a comprender las tendencias de las solicitudes perjudiciales de los usuarios y a ver cualquier actividad inesperada.
• Solicitudes bloqueadas por categoría: esta vista muestra la cantidad de contenido bloqueado para cada categoría. Se trata de una estadística general de solicitudes perjudiciales en el intervalo de tiempo seleccionado. Actualmente admite las categorías de daños por odio, sexuales, autolesiones y violencia.
• Tasa de bloqueo a lo largo del tiempo por categoría: esta vista muestra la tasa de bloqueo para cada categoría a lo largo del tiempo. Actualmente admite las categorías de daños por odio, sexuales, autolesiones y violencia.
• Distribución de gravedad por categoría: esta vista muestra los niveles de gravedad detectados para cada categoría de daño, en todo el intervalo de tiempo seleccionado. Esto no se limita al contenido bloqueado, sino que incluye todo el contenido marcado por los filtros de contenido.
• Distribución de la tasa de gravedad a lo largo del tiempo por categoría: esta vista muestra las tasas de los niveles de gravedad detectados a lo largo del tiempo, para cada categoría de daño. Seleccione las pestañas para cambiar entre las categorías admitidas.

Acciones recomendadas

Ajuste la configuración del filtro de contenido para alinearse aún más con las necesidades empresariales y los principios de inteligencia artificial responsable.

Detección de usuarios potencialmente abusivos

El panel de Detección de usuarios potencialmente abusivos aprovecha los informes de abuso de nivel de usuario para mostrar información sobre los usuarios cuyo comportamiento ha dado lugar a contenido bloqueado. El objetivo es ayudarle a obtener una vista de los orígenes de contenido dañino para que pueda realizar acciones con capacidad de respuesta para asegurarse de que el modelo se usa de forma responsable.

Para usar la Detección de usuarios potencialmente abusivos, necesita:

• Una configuración de filtro de contenido aplicada a la implementación.
• Debe enviar información de identificador de usuario en las solicitudes de finalización de chat (consulte el parámetro usuario de la API de finalizaciones, por ejemplo).

  Precaución

  Use cadenas GUID para identificar usuarios individuales. No incluya información personal confidencial en el campo "usuario".

• Una base de datos de Azure Data Explorer configurada para almacenar los resultados del análisis de usuarios (instrucciones a continuación).

Configuración de la base de datos de Azure Data Explorer

Con el fin de proteger la privacidad de los datos de la información del usuario y administrar el permiso de los datos, se admite la opción de que nuestros clientes traigan su propio almacenamiento para obtener información detallada sobre la detección de usuarios potencialmente abusivo (incluido el GUID de usuario y las estadísticas sobre solicitudes perjudiciales por categoría) almacenadas de forma compatible y con control total. Siga estos pasos para habilitarlo:

1. En Azure OpenAI Studio, vaya a la implementación de modelo con la que desea configurar el análisis de abuso de usuarios y seleccione Agregar un almacén de datos.
2. Rellene la información necesaria y seleccione Guardar. Se recomienda crear una nueva base de datos para almacenar los resultados del análisis.
3. Después de conectar el almacén de datos, siga estos pasos para conceder permiso para escribir resultados de análisis en la base de datos conectada:
   1. Vaya a la página del recurso de Azure OpenAI en Azure Portal y elija la pestaña Identidad.
   2. Active el estado en Activado para la identidad asignada por el sistema y copie el identificador generado.
   3. Vaya al recurso de Azure Data Explorer en Azure Portal, elija bases de datos y, a continuación, elija la base de datos específica que creó para almacenar los resultados del análisis de usuarios.
   4. Seleccione permisosy agregue un rol de administrador a la base de datos.
   5. Pegue la identidad de Azure OpenAI generada en el paso anterior y seleccione la que se ha buscado. Ahora la identidad del recurso de Azure OpenAI está autorizada para leer y escribir en la cuenta de almacenamiento.
4. Conceda acceso a la base de datos conectada de Azure Data Explorer a los usuarios que necesitan ver los resultados del análisis:
   1. Vaya al recurso de Azure Data Explorer que ha conectado, elija control de acceso y agregue un rol de lector del clúster de Azure Data Explorer para los usuarios que necesitan acceder a los resultados.
   2. Elija bases de datos y elija la base de datos específica conectada para almacenar los resultados del análisis de abuso de nivel de usuario. Elija permisos y agregue el rol de lector de la base de datos para los usuarios que necesitan acceder a los resultados.

Descripción del informe

La detección de usuarios potencialmente abusivo se basa en la información de usuario que los clientes envían con sus llamadas API de Azure OpenAI, junto con el contenido de la solicitud. Se muestran las siguientes conclusiones:

• Recuento total de usuarios potencialmente abusivos: esta vista muestra el número de usuarios potencialmente abusivos detectados con el tiempo. Estos son usuarios para los que se detectó un patrón de abuso y que podrían presentar un alto riesgo.
• Lista de usuarios potencialmente abusivos: esta vista es una lista detallada de usuarios potencialmente abusivos detectados. Brinda la siguiente información para cada usuario:
  • UserGUID: el cliente lo envía a través del campo "usuario" en las API de Azure OpenAI.
  • Puntuación de abuso: se trata de una figura generada por el modelo que analiza las solicitudes y el comportamiento de cada usuario. La puntuación se normaliza a 0-1. Una puntuación más alta indica un mayor riesgo de abuso.
  • Tendencia de puntuación de abuso: el cambio en puntuación de abuso durante el intervalo de tiempo seleccionado.
  • Evaluar fecha: fecha en que se analizaron los resultados.
  • Proporción/recuento total de solicitudes de abuso
  • Proporción/recuento de abusos por categoría

Acciones recomendadas

Combine estos datos con señales enriquecidas para validar si los usuarios detectados son realmente abusivos o no. Si lo son, realice una acción de respuesta, como la limitación o la suspensión del usuario para garantizar el uso responsable de la aplicación.

Pasos siguientes

A continuación, cree o edite una configuración de filtro de contenido en Azure OpenAI Studio.

• Configuración de filtros de contenido con Azure OpenAI Service