¿Qué es Azure AI Content Safety?

Artículo
10/31/2024

Seguridad del contenido de Azure AI es un servicio de IA que detecta contenido perjudicial generado por usuario y generado por inteligencia artificial en aplicaciones y servicios. Seguridad del contenido de Azure AI incluye varias API de texto e imagen que permiten detectar todo aquel material que sea perjudicial. Content Safety Studio es interactivo y le permite ver, explorar y probar código de ejemplo para detectar contenido perjudicial en diferentes modalidades.

El software de filtrado de contenido pueden ayudar a que cualquier aplicación cumpla las regulaciones o mantenga el entorno previsto para los usuarios.

Esta documentación contiene los siguientes tipos de artículos:

Los conceptos proporcionan explicaciones detalladas sobre la funcionalidad y las características del servicio.
Los inicios rápidos son instrucciones de inicio que le guiarán a la hora de hacer solicitudes al servicio.
Las guías de procedimientos contienen instrucciones para usar el servicio de una manera más específica o personalizada.

Dónde se usa

Los siguientes son algunos escenarios en los que un desarrollador o un equipo de desarrolladores de software usaría un servicio de moderación de contenido:

El usuario solicita que se envíe a un servicio de IA generativa.
Contenido generado por modelos de IA generativa.
Mercados en línea que moderan catálogos de productos y otro contenido generado por el usuario.
Empresas de juegos que moderan los artefactos de juego generados por el usuario y las salas de chat.
Plataformas de mensajería de las redes sociales que moderan las imágenes y el texto que agregan los usuarios.
Empresas multimedia que implementan la moderación de centralizada de su contenido.
Proveedores de soluciones educativas de tipo K-12 que filtran contenido que no es apropiado para alumnos y educadores.

Importante

Seguridad del contenido de Azure AI no se puede usar para detectar imágenes ilegales de explotación infantil.

Características del producto

Este servicio pone a su disposición varios tipos diferentes de análisis. En la tabla siguiente se describen las API que están disponibles en la actualidad.

Característica	Funcionalidad	Guía de conceptos	Introducción
Escudos de avisos	Examina el texto del riesgo de un ataque de entrada de usuario en un modelo de lenguaje grande.	Conceptos de Escudos de avisos	Guía de inicio rápido
Detección de la base (versión preliminar)	Detecta si las respuestas de texto de los modelos de lenguaje grande (LLM) se basan en los materiales de origen proporcionados por los usuarios.	Conceptos de detección de la base de datos	Guía de inicio rápido
Detección de texto de material protegido	Examina el texto generado por IA para obtener contenido de texto conocido (por ejemplo, letras de canciones, artículos, recetas, contenido web seleccionado).	Conceptos de materiales protegidos	Guía de inicio rápido
API de categorías personalizadas (estándar) (versión preliminar)	Permite crear y entrenar sus propias categorías de contenido personalizadas y examinar texto para buscar coincidencias.	Conceptos de categorías personalizadas	Guía de inicio rápido
API de categorías personalizadas (rápidas) (versión preliminar)	Esta le permite definir rápidamente patrones de contenido dañinos emergentes y examinar texto e imágenes para buscar coincidencias.	Conceptos de categorías personalizadas	Guía paso a paso
API de análisis de texto	Examina si en el texto hay contenido sexual, violencia, odio y autolesiones con niveles de gravedad múltiple.	Categorías de daños	Guía de inicio rápido
API de análisis de imagen	Examina si en las imágenes hay contenido sexual, violencia, odio y autolesiones con niveles de gravedad múltiple.	Categorías de daños	Guía de inicio rápido

Content Safety Studio

Azure AI Content Safety Studio es una herramienta en línea diseñada para controlar todo aquel contenido que sea potencialmente ofensivo, arriesgado o no deseable mediante vanguardistas modelos de ML de moderación de contenido. Proporciona plantillas y flujos de trabajo personalizados, lo que permite a los usuarios elegir y crear su propio sistema de moderación de contenido. Los usuarios pueden cargar su propio contenido, o bien probarlo con el contenido de ejemplo que se proporciona.

Content Safety Studio no solo contiene modelos de inteligencia artificial integrados, sino que también incluye listas de bloqueados integradas de Microsoft para marcar palabras soeces y mantenerse al día de las nuevas tendencias de contenido. También puede cargar sus propias listas de bloqueados para mejorar la cobertura del contenido perjudicial específico de su caso de uso.

Studio también permite configurar un flujo de trabajo de moderación, donde se puede supervisar y mejorar continuamente el rendimiento de la moderación de contenido. Puede ayudarle a cumplir los requisitos de contenido de todo tipo de sectores, como juegos, multimedia, educación, comercio electrónico, etc. Las empresas pueden conectar fácilmente sus servicios a Studio, lo que permite que su contenido se modere en tiempo real, tanto el que generan los usuarios como el que genera la inteligencia artificial.

Todas estas funcionalidades las controlan Studio y su backend; los clientes no necesitan preocuparse por el desarrollo de modelos. Puede incorporar los datos para una validación rápida y supervisar los KPI en consecuencia, como métricas técnicas (latencia, precisión, recuperación) o métricas empresariales (tasa de bloques, volumen de bloques, proporciones de categoría, proporciones de idioma, etc.). Con configuraciones y operaciones sencillas, los clientes pueden probar diferentes soluciones rápidamente y encontrar la mejor opción, en lugar de dedicar tiempo a experimentar con modelos personalizados o realizar la moderación de forma manual.

Probar Content Safety Studio

Características de Content Safety Studio

En Content Safety Studio, están disponibles las siguientes características de seguridad del contenido de Azure AI:

Contenido de texto moderado: con la herramienta de moderación de texto, se pueden ejecutar fácilmente pruebas en el contenido de texto. Independientemente de que desee probar una sola oración o todo un conjunto de datos completo, nuestra herramienta ofrece una interfaz fácil de usar que le permite evaluar los resultados de las pruebas directamente en el portal. Puede experimentar con diferentes niveles de confidencialidad para configurar los filtros de contenido y la administración de listas de bloqueos, lo que garantiza que el contenido siempre se modera en función de las especificaciones exactas. Además, con la capacidad de exportar el código, puede implementar la herramienta directamente en la aplicación, lo que simplifica el flujo de trabajo y ahorra tiempo.
Contenido de imágenes moderado: con la herramienta de moderación de imágenes, puede ejecutar fácilmente pruebas en imágenes para asegurarse de que cumplen los estándares de contenido. Nuestra interfaz fácil de usar le permite evaluar los resultados de la prueba directamente en el portal y, además, puede experimentar con diferentes niveles de confidencialidad para configurar los filtros de contenido. Una vez que haya personalizado la configuración, puede exportar fácilmente el código para implementar la herramienta en la aplicación.
Supervisión de la actividad en línea: la eficaz página de supervisión le permite realizar fácilmente un seguimiento del uso y las tendencias de la API de moderación en distintas modalidades. Con esta característica, puede acceder a información de respuesta detallada, incluidas la distribución de categorías y gravedad, la latencia, el error y la detección de listas de bloqueados. Esta información le proporciona una visión general completa del rendimiento de la moderación de contenido, lo que le permite optimizar el flujo de trabajo y asegurarse de que el contenido siempre se modera en función de sus especificaciones exactas. Con nuestra interfaz fácil de usar, puede desplazarse de forma rápida y sencilla por la página de supervisión para acceder a la información que necesita para tomar decisiones informadas sobre su estrategia de moderación de contenido. Tiene las herramientas necesarias para mantenerse al día del rendimiento de la moderación de contenido y lograr sus objetivos, en lo relativo al contenido.

Seguridad

Uso de Microsoft Entra ID o identidad administrada para administrar el acceso

Para mejorar la seguridad, puede usar Microsoft Entra ID o Identidad administrada (MI) para administrar el acceso a los recursos.

La identidad administrada se habilita automáticamente al crear un recurso de Content Safety.
Microsoft Entra ID se admite en escenarios de API y SDK. Consulte la guía general de servicios de inteligencia artificial de Autenticación con Microsoft Entra ID. Para conceder acceso a otros usuarios de su organización, asígneles los roles de Lector y Usuario de Cognitive Services. Para más información sobre cómo conceder acceso de usuario a los recursos de Azure desde Azure Portal, consulte la Guía de control de acceso basado en roles.

Cifrado de datos en reposo

Obtenga información sobre la forma en que seguridad del contenido de Azure AI controla el cifrado y descifrado de los datos. Las claves administradas por el cliente (CMK), que también se conocen como Bring Your Own Key (BYOK), ofrecen más flexibilidad para crear, girar, deshabilitar y revocar controles de acceso. También permite auditar las claves de cifrado que se usan para proteger los datos.

Precios

Actualmente, seguridad del contenido de Azure AI tiene un plan de tarifa F0 y S0. Consulte la página de precios para más información.

Límites de servicio

Precaución

Aviso sobre elementos en desuso

Como parte del control de versiones de seguridad de contenido y la administración del ciclo de vida, anunciamos el desuso de determinadas versiones de versión preliminar pública y de disponibilidad general de nuestras API de servicio. Siguiendo nuestra directiva de desuso:

Versiones preliminares públicas: cada nueva versión preliminar pública desencadenará el desuso de la versión preliminar anterior después de un período de 90 días, siempre que no se introduzcan cambios importantes.
Versiones de disponibilidad general: cuando se publica una nueva versión de disponibilidad general, la versión de disponibilidad general anterior quedará en desuso después de un período de 90 días si se mantiene la compatibilidad.

Consulte la página Novedades para ver las próximas obsolescencias.

Requisitos de entrada

Vea la siguiente lista para obtener los requisitos de entrada de cada característica.

API de análisis de texto:
- Longitud máxima predeterminada: 10 000 caracteres (los textos más largos se dividen según sea necesario).
API de análisis de imagen:
- Tamaño máximo de archivo de imagen: 4 MB
- Dimensiones entre 50 x 50 y 7200 x 7200 píxeles.
- Las imágenes pueden estar en formato JPEG, PNG, GIF, BMP, TIFF o WEBP.
API de análisis multimodal (versión preliminar):
- Longitud máxima predeterminada del texto: 1000 caracteres.
- Tamaño máximo de archivo de imagen: 4 MB
- Dimensiones entre 50 x 50 y 7200 x 7200 píxeles.
- Las imágenes pueden estar en formato JPEG, PNG, GIF, BMP, TIFF o WEBP.
API de escudos de avisos:
- Longitud máxima del mensaje: 10 000 caracteres.
- Hasta cinco documentos con un total de 10 000 caracteres.
API de detección de la base (versión preliminar):
- Longitud máxima para orígenes de base: 55 000 caracteres (por llamada API).
- Longitud máxima de texto y consulta: 7500 caracteres.
API de detección de material protegido:
- Longitud máxima predeterminada: 1000 caracteres.
- Longitud mínima predeterminada: 110 caracteres (para examinar finalizaciones de LLM, no solicitudes de usuario).
API de categorías personalizadas (estándar):
- Longitud máxima de entrada de inferencia: mil caracteres.

Compatibilidad con idiomas

Los modelos de Seguridad del contenido de Azure AI para el material protegido, la detección de la falta de fundamento y las categorías personalizadas (estándar) funcionan solo en inglés.

Otros modelos de seguridad de contenido de Azure AI se han entrenado y probado específicamente en los siguientes idiomas: chino, inglés, francés, alemán, español, italiano, japonés, portugués. Sin embargo, estas características pueden funcionar en muchos otros idiomas, pero la calidad puede variar. En todos los casos, debe realizar sus propias pruebas para asegurarse de que funciona para la aplicación.

Para obtener más información, consulte Compatibilidad de idioma.

Disponibilidad regional

Para usar las API de Seguridad del contenido, debe crear el recurso seguridad del contenido de Azure AI en una región admitida. Actualmente, las características de seguridad de contenido están disponibles en las siguientes regiones de Azure con diferentes versiones de API:

Region	Categoría personalizada	Base	Imagen	Multimodal (imagen con texto)	Respuesta a los incidentes	Escudo de solicitud	Material protegido (texto)	Material protegido (código)	Texto	Unified API
Este de Australia	✅		✅		✅	✅	✅	✅	✅	✅
Este de Canadá			✅		✅	✅	✅	✅	✅	✅
Centro de EE. UU.			✅		✅		✅	✅	✅	✅
Este de EE. UU.	✅		✅	✅	✅	✅	✅	✅	✅	✅
Este de EE. UU. 2		✅	✅		✅	✅	✅	✅	✅	✅
Centro de Francia		✅	✅		✅	✅	✅	✅	✅	✅
Japón Oriental			✅		✅	✅	✅	✅	✅	✅
Centro-Norte de EE. UU			✅		✅	✅	✅	✅	✅	✅
Centro de Polonia			✅			✅	✅	✅	✅	✅
Centro-sur de EE. UU.			✅		✅	✅	✅	✅	✅	✅
Sur de la India			✅		✅		✅	✅	✅	✅
Centro de Suecia		✅	✅		✅	✅	✅	✅	✅	✅
Norte de Suiza	✅		✅		✅	✅	✅	✅	✅	✅
Oeste de Suiza			✅		✅	✅	✅	✅	✅
Norte de Emiratos Árabes Unidos			✅		✅	✅	✅	✅	✅
Sur de Reino Unido		✅	✅		✅	✅	✅	✅	✅	✅
Oeste de Europa			✅	✅	✅	✅	✅	✅	✅	✅
Oeste de EE. UU.		✅	✅		✅	✅	✅	✅	✅	✅
Oeste de EE. UU. 2			✅		✅	✅	✅	✅	✅	✅
Oeste de EE. UU. 3			✅		✅	✅	✅	✅	✅	✅
FairFax: USGovArizona			✅			✅	✅		✅	✅
FairFax: USGovVirginia			✅			✅	✅		✅	✅

No dude en ponerse en contacto con nosotros si su empresa necesita que otras regiones estén disponibles.

Tasas de consulta

Las características de seguridad de contenido tienen límites de frecuencia de consulta en solicitudes por segundo (RPS) o solicitudes por 10 segundos (RP10S). Vea la tabla siguiente para obtener los límites de frecuencia de cada característica.

Plan de tarifa	API de moderación (texto e imagen)	Escudos de avisos	Material protegido de caras	Base detección (versión preliminar)	Categorías personalizadas (rápido) (versión preliminar)	Categorías personalizadas (estándar) (versión preliminar)	Multimodal
F0	5 RPS	5 RPS	5 RPS	N/D	5 RPS	5 RPS	5 RPS
S0	1000 RP10S	1000 RP10S	1000 RP10S	50 RPS	1000 RP10S	5 RPS	10 RPS

Si necesita una tarifa más rápida, póngase en contacto con nosotros para solicitarla.

Ponerse en contacto con nosotros

Si no sabe cómo proceder, envíenos un correo electrónico o use el widget de comentarios en la parte inferior de cualquier página de Microsoft Learn.

Pasos siguientes

Siga un inicio rápido para empezar a usar seguridad del contenido de Azure AI en la aplicación.

Inicio rápido sobre Content Safety

Compartir vía