Compartir a través de

Supervisión de abusos

  • Artículo

Azure OpenAI Service detecta y mitiga las instancias de contenido recurrente o comportamientos que sugieren el uso del servicio de una manera que puede infringir el Código de conducta u otros términos de producto aplicables. Puede encontrar detalles sobre cómo se administran los datos en la página Datos, privacidad y seguridad.

Componentes de la supervisión de abusos

Hay varios componentes en la supervisión de abusos:

  • Clasificación de contenido: los modelos de clasificación detectan texto o imágenes dañinos en las indicaciones de los usuarios (entradas) y en las finalizaciones (salidas). El sistema busca categorías de daños según se define en los Requisitos de contenido y asigna niveles de gravedad, tal y como se describe con más detalle en la página Filtrado de contenido. Las señales de clasificación de contenido contribuyen a la detección de patrones, como se describe a continuación.
  • Captura de patrones de abuso: el sistema de supervisión del abuso de Azure OpenAI Service examina los patrones de uso de los clientes y emplea algoritmos y heurística para detectar y puntuar indicadores del posible abuso. Los patrones detectados consideran, por ejemplo, la frecuencia con la que se detecta contenido dañino y su gravedad (como se indica en las señales del clasificador de contenido) en las indicaciones de un cliente y las finalizaciones, así como la intencionalidad del comportamiento. Las tendencias y la urgencia del patrón detectado también afectarán a la puntuación de la gravedad del posible abuso. Por ejemplo, un mayor volumen de contenido dañino clasificado como de gravedad más alta o una conducta recurrente que indica intencionalidad (como los intentos recurrentes de liberación) es más probable que reciban una puntuación alta que indique el posible abuso.
  • Revisión y decisión: las indicaciones y finalizaciones marcadas a través de la clasificación de contenido o identificadas como parte de un patrón de uso potencialmente abusivo están sujetos a otro proceso de revisión para ayudar a confirmar el análisis del sistema e informar de las decisiones de acción. Esta revisión se lleva a cabo mediante dos métodos: revisión humana y revisión de IA.
    • De forma predeterminada, si las indicaciones y finalizaciones se marcan a través de la clasificación de contenido como dañinas o se identifican como que forman parte de un patrón de uso potencialmente abusivo, se pueden muestrear para la revisión automatizada sin supervisión directa usando un LLM en lugar de un revisor humano. El LLM utilizado con este propósito procesa las indicaciones y finalizaciones solo para confirmar el análisis del sistema e informar de las decisiones de acción; las indicaciones y finalizaciones que se someten a dicha revisión por un LLM no se almacenan en el sistema ni se usan para entrenar el LLM u otros sistemas.
    • En algunos casos, cuando la revisión automatizada no cumple los umbrales de confianza aplicables en contextos complejos o si los sistemas de revisión de LLM no están disponibles, es posible que se introduzca una revisión humana para contar con otra opinión. Esto puede ayudar a mejorar la precisión general del análisis del abuso. Los empleados autorizados de Microsoft pueden evaluar el contenido marcado y confirmar o corregir la clasificación o determinación en función de las directrices y directivas predefinidas. Solo los empleados autorizados de Microsoft pueden acceder a las indicaciones y finalizaciones para revisión humana a través de estaciones de trabajo de acceso seguro (SAW) con la aprobación de solicitudes Just-In-Time (JIT) concedida por los administradores del equipo. En el caso de los recursos de Azure OpenAI Service implementados en el Espacio Económico Europeo, los empleados autorizados de Microsoft se encuentran en el Espacio Económico Europeo. Este proceso de revisión humana no tendrá lugar si el cliente ha recibido aprobación para la supervisión de abuso modificada.
  • Notificación y acción: cuando se ha confirmado un umbral de comportamiento abusivo basado en los tres pasos anteriores, se le informa al cliente de la determinación por correo electrónico. Excepto en casos de abuso grave o recurrente, los clientes suelen tener la oportunidad de explicar o corregir el comportamiento abusivo (e implementar mecanismos para evitar la periodicidad). Si no se soluciona el comportamiento(o se trata de un abuso recurrente o grave), se puede suspender o finalizar el acceso del cliente a los recursos o funcionalidades de Azure OpenAI.

Supervisión de abuso modificada

Es posible que algunos clientes quieran usar Azure OpenAI Service en casos de uso que implique el procesamiento de datos muy sensibles o extremadamente confidenciales o que, por el contrario, determinen que no desean o no tienen derecho a permitir que Microsoft almacene y realice una revisión humana de sus indicaciones y finalizaciones para la detección de abuso. Para abordar estos problemas, Microsoft permite que los clientes que cumplan los criterios de idoneidad de acceso limitado adicionales soliciten la modificación de la supervisión de abuso completando este formulario. Aprenda más sobre cómo solicitar la supervisión de abuso modificada en Acceso limitado a Azure OpenAI Service y sobre el impacto de la supervisión de abuso modificada en el procesamiento de datos en Datos, privacidad y seguridad en Azure OpenAI Service.

Nota:

Cuando se modifica la supervisión de abuso y no se realiza la revisión humana, la detección del posible abuso puede ser menos precisa. Los clientes recibirán una notificación sobre la detección del posible abuso como se ha descrito anteriormente y deben estar preparados para responder a dicha notificación para evitar interrupciones del servicio si es posible.

Pasos siguientes