Cómo realizar bancos de pruebas de modelos en Estudio de IA de Azure
Importante
Los elementos marcados (versión preliminar) en este artículo se encuentran actualmente en versión preliminar pública. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.
En este artículo, aprenderá a comparar bancos de pruebas en modelos y conjuntos de datos mediante la herramienta Bancos de pruebas de modelos en Estudio de IA de Azure. También aprenderá a analizar los resultados del banco de pruebas y a realizar bancos de pruebas con los datos. Los bancos de pruebas pueden ayudarle a tomar decisiones fundamentadas sobre qué modelos cumplen los requisitos de su caso de uso o aplicación específicos.
Requisitos previos
Una suscripción de Azure con un método de pago válido. Las suscripciones gratuitas o de evaluación de Azure no funcionarán. Si no tiene una suscripción de Azure, cree una cuenta de Azure de pago para comenzar.
Acceso a bancos de pruebas de modelos mediante el catálogo de modelos
Azure AI admite bancos de pruebas de modelos para los modelos seleccionados que se usan con más frecuencia y populares. Siga estos pasos para usar resultados de bancos de pruebas detallados para comparar y seleccionar modelos directamente desde el catálogo de modelos de Estudio de IA:
- Inicie sesión en Azure AI Studio.
- Si aún no está en el proyecto, selecciónelo.
- Seleccione Catálogo de modelos en el panel de navegación izquierdo.
Seleccione el modelo que le interesa. Por ejemplo, seleccione gpt-4o. Esta acción abre la página de información general del modelo.
Sugerencia
En el catálogo de modelos, puede mostrar los modelos que tienen bancos de pruebas disponibles mediante el filtro Colecciones y seleccionando Resultados del banco de pruebas. Estos modelos tienen un icono de bancos de pruebas similar a un histograma.
Vaya a la pestaña Bancos de pruebas para comprobar los resultados del banco de pruebas de modelo.
Vuelva a la página principal del catálogo de modelos.
Seleccione Comparar modelos en la página principal del catálogo de modelos para explorar modelos con compatibilidad con bancos de pruebas, ver sus métricas y analizar las ventajas entre los diferentes modelos. Este análisis puede informar sobre la selección del modelo que mejor se adapte a sus requisitos.
Seleccione las tareas deseadas y especifique las dimensiones de interés, como Calidad de IA frente a Costo, para evaluar las ventajas entre los diferentes modelos.
Puede cambiar a la vista de lista para obtener acceso a resultados más detallados de cada modelo.
Análisis de los resultados del banco de pruebas
Cuando se encuentra en la pestaña "Bancos de pruebas" de un modelo específico, puede recopilar información amplia para comprender e interpretar mejor los resultados del banco de pruebas, entre los que se incluyen:
Puntuaciones agregadas generales: estas puntuaciones de la calidad de la inteligencia artificial, el costo, la latencia y el rendimiento proporcionan una visión general rápida del rendimiento del modelo.
Gráficos comparativos: estos gráficos muestran la posición relativa del modelo en comparación con los modelos relacionados.
Tabla de comparación de métricas: esta tabla presenta resultados detallados de cada métrica.
De manera predeterminada, Estudio de IA muestra un índice promedio en varias métricas y conjuntos de datos para proporcionar información general de alto nivel sobre el rendimiento del modelo.
Para acceder a los resultados del banco de pruebas para una métrica y un conjunto de datos específicos:
Seleccione el botón Expandir del gráfico. El gráfico de comparación emergente revela información detallada y ofrece mayor flexibilidad para la comparación.
Seleccione la métrica de su interés y elija diferentes conjuntos de datos, en función de su escenario específico. Para obtener definiciones más detalladas de las métricas y descripciones de los conjuntos de datos públicos usados para calcular los resultados, seleccione Leer más.
Evaluación de los resultados del banco de pruebas con sus datos
En las secciones anteriores, se muestran los resultados del banco de pruebas calculados por Microsoft mediante el uso de conjuntos de datos públicos. Sin embargo, puede probar a volver a generar el mismo conjunto de métricas con sus datos.
Vuelva a la pestaña Bancos de pruebas en la tarjeta del modelo.
Seleccione Probar con sus propios datos para evaluar el modelo con sus datos. La evaluación con sus datos le ayuda a ver cómo funciona el modelo en sus escenarios específicos.
