Crear análisis e informe de los resultados de pruebas usando la perspectiva de prueba de la base de datos de Analysis Services para Visual Studio ALM

Al usar la perspectiva de pruebas en el cubo de Servicios de análisis de SQL Server para Visual Studio Team Foundation Server, puede ver exactamente las medidas, las dimensiones y los atributos con los que se informan los resultados de las pruebas y sus ejecuciones.Por ejemplo, puede utilizar estas medidas para determinar la calidad global de cada compilación, las pruebas que fueron afectadas por una compilación determinada y el número de casos de prueba que se ejecutaron.También puede responder preguntas sobre los cambios a la salida del resultado.

El grupo de medida de pruebas se basa en la tabla relacional de resultados de pruebas, que permite crear informes en los resultados de pruebas ya sea como una propiedad de las pruebas o como resultado independiente.Para obtener más información, vea Tablas de resultados de las pruebas.

Usando la perspectiva de Prueba, puede crear informes que responden las siguientes preguntas: Informes de estado: ¿Cuál es el estado de las pruebas de áreas del producto o de casos de usuario específicos? ¿Cuál es la calidad de las compilaciones según el número de las pruebas no superadas y pasadas? ¿Cuántos casos de prueba no se han ejecutado? ¿Qué casos de prueba no se han ejecutado? Informes de tendencia: ¿Cuántas pruebas están bloqueadas, sin errores o fallando repetidamente? ¿Cuántas pruebas están dando regresiones? ¿Qué tan coherentes son las pruebas manuales con respecto al tiempo? Nota Si el almacén de datos de Visual Studio Application Lifecycle Management (ALM) utiliza SQL Server Enterprise Edition, la lista de cubos incluirá Team System y un conjunto de perspectivas.Las perspectivas proporcionan una vista detallada de los datos para que no tenga que desplazarse a través de todas las dimensiones y grupos de medida de todo el cubo de Team System.

Para utilizar varias mediciones de pruebas y atributos de dimensión, el equipo de pruebas debe publicar los resultados de pruebas en el almacén de datos de Team Foundation Server.Para obtener más información, vea Actividades necesarias para administrar pruebas y compilaciones más adelante en este tema.

En este tema

• Ejemplo: Informe de progreso de las pruebas de casos de usuario

• Acciones de prueba

• Dimensiones y atributos en la perspectiva de pruebas que son compatibles con filtrado y categorización

  • Compilación, tipo de compilación, y dimensiones de la plataforma de compilación

  • Caso de prueba, configuración de pruebas, plan de pruebas y dimensiones del conjunto de pruebas

  • Dimensión de los resultados de las pruebas

  • Dimensión de la ejecución de pruebas

  • Elemento de trabajo y dimensiones vinculadas al elemento de trabajo

• Actividades necesarias para administrar pruebas y compilaciones

Ejemplo: Informe de progreso de las pruebas de casos de usuario

Con informes de tabla dinámica y gráfico dinámico en Excel, puede crear un informe de estado que muestre el progreso de las pruebas en los casos de usuario, similares al informe en la siguiente ilustración.

Las plantillas de proceso para Microsoft Solutions Framework (MSF) v5.0 incluyen el informe del estado de la prueba de caso de usuario y el informe estado de la prueba de requisitos en Excel.Para obtener más información, vea Informe de Excel Estado de la prueba de caso de usuario (Agile) y Informe de Excel Estado de la prueba de requisitos (CMMI).

Volver al principio

Especificación y filtrado de campos dinámicos

Siguiendo estos pasos, puede crear un informe de progreso para los casos de prueba de usuario:

1. En Excel, conéctese al cubo de Servicios de análisis de Team Foundation Server e inserte un informe de gráfico dinámico.

   Para obtener más información, vea Crear un informe en Microsoft Excel para Visual Studio ALM.

2. Haga clic con el botón secundario en el gráfico, haga clic en Cambiar tipo de gráfico, luego en Área y luego, en Barra apilada.

3. Para cada filtro de informe, haga clic con el botón secundario en cada uno de los siguientes campos, especifique las jerarquías o elementos de interés y arrastre el campo al área de Filtro de informe.

   • Jerarquía del proyecto de equipo de la dimensión de Proyecto de equipo.

   • Ruta de acceso del área de la dimension de Proyecto de equipo.

   • Ruta de acceso de la iteración de la dimensón Caso de prueba.

   • Tipo de elemento de trabajo de la dimensión Elemento de trabajo vinculado.

     Especifique el tipo como caso de usuario, requisito u otro tipo de elemento de trabajo que tenga casos de prueba vinculados al que desee informar.

4. Arrastre el campo Tendencia de recuento de puntos, que se encuentra bajo del grupo de medida de Prueba, al área de Valores.

5. Arrastre el campo Resultado ubicado bajo la dimensión de Resultado de pruebas, al área de Etiquetas de columna.

Volver al principio

Acciones de prueba

La siguiente tabla describe las medidas que incluye el grupo de medida de pruebas.Puede analizar los resultados de las pruebas por el agregado de resultados de pruebas y su resultado para una compilación determinada o por la salida cambiado de un resultado de prueba.

Medida	Descripción
Tendencia del recuento de resultados de la compilación	Cuenta la versión más reciente de cada resultado en una compilación determinada. Para obtener un ejemplo de un informe en el que se utiliza esta medida, vea Informe de Excel Calidad de la compilación.
Tendencia del recuento de puntos	Recuento de la versión más reciente de cada resultado de prueba en una compilación determinada.Si se ejecuta una prueba varias veces en una compilación, la tendencia de recuento de puntos cuenta el resultado más reciente de la prueba usando esa compilación.Si un caso de prueba no está incluido en la compilación, el caso de prueba se cuenta como "No ejecutado nunca". Utilice esta medida para determinar qué pruebas o cuántas pruebas fallan en la compilación actual.
Recuento de resultados	Cuenta la versión más reciente de cada resultado de prueba.Utilice esta medida cuando desee determinar el volumen total de pruebas. Para obtener un ejemplo de un informe en el que se utiliza esta medida, vea Informe Indicadores de calidad de la compilación.
Recuento de transición de resultados	Cuenta todos los resultados cuyo resultado cambió en una compilación determinada.Utilice esta medida cuando se desea determinar qué pruebas resultaron afectadas por una compilación determinada.
Recuento de casos de prueba	Número de casos de prueba.Utilice esta medida si desea determinar cuántos casos de prueba que se ejecutaron para una ejecución de pruebas o una compilación determinada.

Dimensiones y atributos en la perspectiva de pruebas que son compatibles con filtrado y categorización

Usando los atributos que se describen en esta sección puede agregar una medida, filtrar un informe o especificar un eje de informe.Estos atributos son, junto con Proyecto de equipo y Fecha dimensiones compartidas que describe Trabajar con dimensiones compartidas.

En esta sección

• Compilación, tipo de compilación y dimensiones de la plataforma de compilación

• Caso de prueba, configuración de pruebas, plan de pruebas y dimensiones del conjunto de pruebas

• Dimensión de los resultados de las pruebas

• Dimensión de la ejecución de pruebas

• Elemento de trabajo y dimensiones vinculadas al elemento de trabajo

Volver al principio

Compilación, tipo de compilación y dimensiones de la plataforma de compilación

Puede filtrar los informes de prueba basados en la definición de compilación, el tipo de compilación o la plataforma de compilación utilizando los atributos descritos en la siguiente tabla.

Dimensión	Atributo	Descripción
Compilar	Nombre de la definición de la compilación	El nombre asignado a la definición de compilación para la que se ejecutó una compilación. Para obtener un ejemplo de un informe en el que se utilice este atributo de medida, vea Informe de Excel Calidad de la compilación.
	Identificador de compilación	El número asignado a la compilación.Cada vez que se ejecuta una definición de compilación, ID de compilación se incrementa en 1.
	Nombre de la compilación	El nombre o expresión que identifican de forma única una compilación.Para obtener más información, vea Trabajar con números de compilación.
	Hora de inicio de la compilación	La fecha y hora en que se comenzó la compilación.
	Tipo de compilación	La razón por la que se ejecutó la compilación.Los tipos de compilación se asocian al desencadenador definido para la compilación.Team Foundation Server es compatible con cinco tipos de compilación: manual, continua (que se desencadena con cada protección), gradual (acumula recepciones hasta que la compilación anterior finaliza), de recepción controlada, y programada.Para obtener más información, vea Especificar desencadenadores y razones de compilación.
	Ubicación de la entrega	La carpeta de entrega que se define para la compilación y se especifica como Localizador uniforme de recursos (URL).Una dirección URL especifica el protocolo con el que los exploradores web localizan recursos de Internet.La dirección URL también incluye el nombre del servidor en el que reside el recurso.También puede incluir la ruta de acceso a un recurso. Para obtener más información, vea Seleccionar una ubicación de ensayo y configurar una carpeta de entrega.
Tipo de compilación	Tipo de compilación	(Solo resultados de pruebas publicados) Un nombre que designa la catergoría asignada a un conjunto de compilaciones terminadas que se publicaron como parte de una ejecución de prueba.Por ejemplo, un tipo de compilación se puede utilizar para designar una versión beta o una versión final.Para obtener más información, vea Opciones de la línea de comandos para publicar resultados de pruebas.
Plataforma de compilación	Plataforma de compilación	El nombre de la plataforma del equipo para el cua se creó una compilacion extremo a extremo (no de escritorio) (por ejemplo, x86 o cualquier CPU).Para obtener más información, vea Definir un proceso de compilación basado en la plantilla predeterminada.

Volver al principio

Caso de prueba, configuración de pruebas, plan de pruebas y dimensiones del conjunto de pruebas

El caso de prueba, la configuración de pruebas, el plan de pruebas y las dimensiones del conjunto de pruebas corresponden a cómo puede organizar, configurar, automatizar y ejecutar pruebas mediante el Administrador de pruebas de Microsoft, de Visual Studio 2010 Ultimate o Visual Studio Test Professional.

El caso de prueba corresponde a un tipo de elemento de trabajo que el equipo de prueba usa para definir pruebas manuales y automatizadas que su equipo pueda ejecutar y administrar mediante el Administrador de pruebas de Microsoft.Un plan de pruebas consta de configuraciones y conjuntos de pruebas.Una configuración de pruebas define el software o hardware donde desea ejecutar las pruebas.Un conjunto de pruebas define una jerarquía dentro del plan para poder agrupar los casos de prueba.

Para obtener más información, vea los temas siguientes:

• Administrar nuevo trabajo de pruebas

• Cómo: Crear un caso de prueba manual

• Configuraciones de prueba: especificar las plataformas de prueba

• Crear pruebas para elementos de trabajo pendiente de productos, casos de usuario o requisitos

Dimensión	Atributo	Descripción
Caso de prueba	Jerarquía de área y más	Las dimensiones de caso de prueba y de elemento de trabajo contienen todos los atributos relacionados con los elementos de trabajo, como Estado, Tipo de elemento de trabajo y el identificador de elemento de trabajoPara obtener información sobre la estructura de la dimensión Caso de prueba, vea Crear análisis e informe de datos de elementos de trabajo y casos de prueba usando la perspectiva de elementos de trabajo. Para obtener una descripción de cada atributo, vea Referencia de campos de elementos de trabajo para Visual Studio ALM. Para obtener información sobre cómo trabajar con la fecha, área, y las jerarquías de iteración, vea Trabajar con dimensiones compartidas en el cubo de Analysis Services. Este grupo de medida contiene atributos adicionales cuando los campos personalizados en la definición de un tipo de elemento de trabajo especifican Dimension como el atributo reportable.Para obtener más información sobre cómo utilizar el atributo opcional reportable y sus valores, vea Agregar y modificar campos de elementos de trabajo para admitir la creación de informes.
Configuración de pruebas	Id. de configuración y nombre de la configuración	El número que el sistema asigna y el nombre de una configuración de pruebas.
Plan de pruebas	Jerarquía de áreas, ruta de acceso de área, jerarquía de iteración y ruta de acceso de iteración	El área y el hito de producto que se asignan al plan de pruebas. Para obtener más información, vea Crear análisis e informe de datos de elementos de trabajo y casos de prueba usando la perspectiva de elementos de trabajo.
	Jerarquía de la fecha de finalización por mes o por semana Jerarquía de fecha inicial por mes o por semana	Valores opcionales que un propietario del plan de pruebas puede asignar al plan de pruebas.Representan la fecha en la que el plan de pruebas debe iniciar y la fecha en la que debe finalizar. Para obtener más información acerca de cómo trabajar con jerarquías de fecha, vea Trabajar con dimensiones compartidas en el cubo de Analysis Services.
	Nombre e id. de pruebas del plan de pruebas	El número que el sistema asigna y el nombre asignado por el propietario del plan de pruebas.
	Propietario del plan de pruebas	El nombre de usuario del miembro del equipo de pruebas que creó el plan de pruebas o que actualmente está asignado como su propietario.
	Id. y estado del plan de pruebas	El número y el nombre del estado del plan de pruebas asignados por el sistema.Por ejemplo, Inactivo indica que se está definiendo el plan de pruebas y Activo, indica que el plan de pruebas está listo para revisarse y ejecutarse.
Conjunto de pruebas	Jerarquía del conjunto de pruebas	Proporciona un mecanismo para especificar varios filtros basados en la colección de proyectos, proyecto de equipo y el conjunto de pruebas.
	Ruta del conjunto	Corresponde a la jerarquía de conjuntos de pruebas que se configuran para todos los proyectos de equipo en todas sus colecciones.

Volver al principio

Dimensión de los resultados de las pruebas

La siguiente tabla muestra todas las dimensiones y atributos específicos de las medidas de la prueba en el cubo.Antes de poder informar un Tipo de error o Resolución, el equipo de pruebas debe rellenar esta información como parte de las actividades de prueba.

Atributo	Descripción
Tipo de error y su id.	Corresponde a una de las siguientes razones por las que una prueba no ha sido superada: Ninguno, Problema conocido, Problema nuevo, o Regresión. El Administrador de pruebas de Microsoft asigna automáticamente un número o un id. a cada motivo.El equipo de pruebas puede pero no está obligado a asignar un tipo de error a cada prueba no superada. Nota No puede agregar o cambiar el conjunto de tipos de error. Para obtener un ejemplo de un informe de tendencia que muestra el resultado de los resultados de pruebas basándose en el tipo de error, vea Informe de Excel Análisis de errores.
Resultado e id. del resultado	El resultado de la prueba (por ejemplo, Superada, No superada, o No concluyente). Para obtener un ejemplo de un informe de tendencia que muestra el resultado de los planes y configuraciones de las pruebas, vea Informe de progreso del plan de pruebas.
Estado de disponibilidad y su id.	El estado de determinada prueba de una ejecución de pruebas.Los valores válidos son Completado, EnProgreso, Ninguno, NoListo y Listo.
Estado de resolución	(Opcional) El nombre de la Resolución con la que un evaluador identificó la causa de una prueba no superada.De forma predeterminada, todas las plantillas de proceso de MSF tienen los siguientes estados de resolución: Precisa investigación, Problema asociado a la prueba, Problema del producto y Problema de configuración.El equipo de pruebas puede pero está obligado a asignar un estado de resolución a cada prueba no superada. Nota Una vez creado el proyecto de equipo, no se pueden cambiar estos estado ni agregar estados.Para obtener más información, vea Definir los estados de resolución de las pruebas.
Resultado de la prueba ejecutado por	El nombre de usuario o de otra cuenta bajo la que se ejecutó la prueba. Para obtener un ejemplo de un informe en el que se utilice este atributo de medida, vea Informe de Excel Productividad del equipo de pruebas.
Propietario del resultado de pruebas	El nombre del usuario u otra cuenta asignada como propietario del resultado de la prueba.Asignación corresponde al valor que se establece utilizando el interruptor tcm /resultowner.
Prioridad de los resultados de pruebas	La prioridad de una prueba determinada de una ejecución de pruebas.

Volver al principio

Dimensión de la ejecución de pruebas

La tabla siguiente se describe los atributos definidos para la dimensión ejecución de pruebas.Muchos de estos atributos corresponden a los parámetros que el equipo de pruebas especifica cuando ejecuta y publica pruebas.Para obtener más información, vea tcm: Ejecutar pruebas partiendo de un plan de pruebas usando la utilidad de línea de comandos.

Atributo	Descripción
Fecha de finalización, fecha de creación, jerarquía de fecha inicial por mes o por semana	Las fechas en las cuales se creó, completó o inició la ejecución de pruebas.Puede utilizar estos atributos para filtrar o estructurar un informe.Para obtener más información, vea Trabajar con dimensiones compartidas en el cubo de Analysis Services.
Se automatiza	Marcador que indica que la ejecución de prueba contiene una o más pruebas automatizadas. Para obtener un ejemplo de un informe en el que se utilice este atributo de medida, vea Informe de Excel Calidad de la compilación.
Es la ejecución del compilado de verificación	Marcador que indica si la ejecución de pruebas contiene pruebas de comprobación de la compilación que comprueban la funcionalidad básica de la compilación.Este marcador corresponde al interruptor tcm /buildverification. Para obtener un ejemplo de un informe en el que se utilice este atributo de medida, vea Informe de Excel Calidad de la compilación.
Id. de la ejecución de pruebas	El número que el sistema asignó a la ejecución de pruebas.
Propietario de la ejecución de pruebas	Corresponde al propietario asignado a la ejecución de pruebas que el equipo de pruebas creó o publicó.Corresponde al interruptor tcm /owner.
Estado y id. de la ejecución de pruebas	Nombre o número asignado al estado de una ejecución de pruebas (por ejemplo, Anulado, Completado, En curso, Sin iniciar, o Desconocido).
Título de la ejecución de pruebas	Corresponde al título asignado a la ejecución de pruebas que el equipo de pruebas creó o publicó.Corresponde al interruptor tcm /title.

Volver al principio

Elemento de trabajo y dimensiones vinculadas al elemento de trabajo

Puede vincular los casos de prueba a otros elementos de trabajo como artículos, requisitos y errores de usuario.Utilizando la dimensión Elemento de trabajo vinculado, puede crear un informe que proporcione los resultados de pruebas referentes a los elementos de trabajo vinculados.El informe progreso de los casos de prueba del usuario, descrito anteriormente en este tema, proporciona un ejemplo de uso del elemento de trabajo vinculado.

Para obtener una descripción de cada atributo, vea Referencia de campos de elementos de trabajo para Visual Studio ALM.

Actividades necesarias para administrar compilaciones y pruebas

Para crear informes de pruebas que contengan datos útiles, los miembros del equipo deben realizar las siguientes actividades para administrar las compilaciones y pruebas:

• Actividades de compilación

  • Configurar un sistema de compilación.Para utilizar Team Foundation Build, el equipo debe configurar un sistema de compilación.

    Para obtener más información, vea Configure Your Build System.

  • Crear definiciones de compilación.El equipo debe crear al menos una definición de compilación.El equipo puede crear varias definiciones de compilación que se pueden ejecutar para producir código para una plataforma diferente.Además, el equipo puede ejecutar cada compilación para una configuración diferente.

    Para obtener más información, vea Crear una definición de compilación.

  • (Recomendado) Ejecute compilaciones regularmente.El equipo puede ejecutar compilaciones automáticamente en intervalos que especifiquen o después de cada guardado.Al usar el desencadenador programado, el equipo puede ejecutar compilaciones automáticamente en el mismo momento o momentos del mismo día o días que se especifiquen.

    Para obtener más información, vea Especificar desencadenadores y razones de compilación y Ejecutar, supervisar y administrar compilaciones.

  Para obtener más información, vea Actividades de Team Foundation Build.

• Actividades de administración de pruebas

  • Defina los casos de prueba, los planes de pruebas y las configuraciones de prueba.Para informar sobre los casos y planes de prueba, el equipo de pruebas debe definir estos elementos.El equipo de pruebas puede definir conjuntos de pruebas y asignar los casos a planes de pruebas.

  • (Opcional) Asigne áreas e hitos del producto a las pruebas, y realícele seguimiento al estado.El equipo de pruebas puede especificar las rutas de Área y de Iteración para cada caso y plan de pruebas.Especifique el Estado de cada caso de prueba y el Estado del plan de pruebas de cada plan.

  • (Opcional) Vincular casos de prueba a los elementos de trabajo.Por ejemplo, el equipo de pruebas puede supervisar el progreso de la prueba en cada caso, utilizando el tipo de vínculo de Prueba realizada por para vincular casos de prueba a casos de usuario.

  • (Opcional) Marque los resultados de pruebas.Para pruebas manuales, el equipo de pruebas puede marcar los resultados de cada paso de validación del caso de prueba como superado o no superado.

    Importante
    Los evaluadores deben marcar cada paso de prueba de validación con un estado.El resultado total para una prueba refleja el estado de todos los pasos de pruebas que se marcaron.Por consiguiente, la prueba tendrá estado no superado si el evaluador marcó algún paso de prueba como no superado o no marcó todos los pasos.

    Cada prueba automatizada se marca automáticamente como superada o no superada.

  • (Opcional) Configure pruebas para recopilar datos de cobertura de código.Para que los datos de cobertura de código aparezcan en el informe, los miembros del equipo deben instrumentar las pruebas para recopilar esos datos.

    Importante
    Para recopilar datos de cobertura de código, debe instalar Visual Studio Premium o Visual Studio Ultimate en el equipo del agente de compilación.Para obtener más información, vea Implementar y configurar agentes de compilación.

    Para obtener más información, vea La configuración de la cobertura de código mediante la configuración de prueba está desusada y How to: Gather Code-Coverage Data with Generic Tests.

  • Definir las pruebas que se ejecutarán automáticamente como parte de la compilación.Como parte de la definición de compilación, puede definir que las pruebas automatizadas se ejecuten como parte de la compilación y analizar el impacto de los cambios de código en las pruebas.

    Para obtener más información, vea Definir un proceso de compilación basado en la plantilla predeterminada.

  • Publique las pruebas.Como parte de las actividades de compilación y prueba, el equipo de pruebas debe publicar los resultados de las pruebas en el almacén de datos de Team Foundation Server.

    Para obtener más información, vea Opciones de la línea de comandos para publicar resultados de pruebas.

Volver al principio

Vea también

Conceptos

Crear análisis e informe de los detalles de compilación y la cobertura de compilación usando la perspectiva de compilación

Perspectivas y grupos de medidas proporcionadas en el cubo de Analysis Services para Team System

Otros recursos

Ejecutar pruebas en el proceso de compilación