Analizzare e generare rapporti sui risultati dei test tramite la prospettiva Test nel database di Analysis Services per Visual Studio ALM

Mediante la prospettiva Test nel cubo di SQL Server Analysis Services per Visual Studio Team Foundation Server è possibile visualizzare le misure, le dimensioni e gli attributi relativi alla creazione di report sui risultati e sulle esecuzioni di test. Queste misure possono essere usate, ad esempio, per determinare la qualità complessiva di ogni build, i test interessati da una determinata build e il numero di test case eseguiti. Consentono inoltre di rispondere a domande relative a modifiche che interessano gli esiti dei risultati.

Il gruppo di misure di test è basato sulla tabella relazionale dei risultati dei test, in base alla quale è possibile segnalare i risultati dei test come una proprietà dei test o come un risultato indipendente. Per altre informazioni, vedere tabelle Risultati test.

Mediante la prospettiva Test è possibile creare report che rispondono alle seguenti domande: Report sullo stato: Qual è lo stato dell'esecuzione dei test per storie utente o aree del prodotto specifiche? Qual è la qualità delle build in base al numero di test non superati e superati? Quanti test case non sono mai stati eseguiti? Quali test case non sono mai stati eseguiti? Report tendenza: Quanti test sono stati bloccati, superati o non superati nel corso del tempo? Quanti test contengono delle regressioni? Quanto è coerente l'attività di test manuale nel corso del tempo? Nota Se il data warehouse per Visual Studio Application Lifecycle Management (ALM) usa SQL Server Enterprise Edition, l'elenco di cubi includerà Team System e un set di prospettive.Le prospettive forniscono una visione dettagliata dei dati, pertanto non è necessario scorrere tutte le dimensioni e tutti i gruppi di misura nell'intero cubo di Team System.

Per usare molti attributi di dimensione e misure di test, il team che si occupa dei test deve pubblicare i risultati nell'archivio dati per Team Foundation Server. Per altre informazioni, vedere Attività obbligatorie per la gestione dei test e delle build più avanti in questo argomento.

Contenuto dell'argomento

• Esempio: report Avanzamento per i test delle storie utente

• Misure di test

• Dimensioni e attributi nella prospettiva Test che supportano l'applicazione di filtri e la categorizzazione

  • Build, versione build e dimensioni della piattaforma della build

  • Dimensioni Test case, Configurazione di test, Piano di test e Gruppo di test

  • Dimensione Risultati test

  • Dimensione Esecuzione dei test

  • Dimensioni Elemento di lavoro ed Elemento di lavoro collegato

• Attività necessarie

Esempio: report Avanzamento per i test delle storie utente

Attraverso i report di tabella pivot e di grafico pivot in Excel è possibile creare un report sullo stato, simile a quello nell'illustrazione seguente, in cui sia illustrato lo stato di avanzamento dei test delle storie utente.

I modelli di processo Agile e CMMI per Microsoft Solutions Framework (MSF) includono, rispettivamente, il Rapporto Stato test storia utente di Excel (Agile) e il Rapporto di Excel Stato test requisito (CMMI) in Excel.

Specifica dei campi pivot e applicazione di filtri

Mediante i passaggi seguenti è possibile creare un report sullo stato per i test delle storie utente:

1. In Excel connettersi al cubo di Analysis Services per Team Foundation Server e inserire un report di grafico pivot.

   Per altre informazioni, vedere Creare rapporti di Excel da una query elemento di lavoro.

2. Fare clic con il pulsante destro del mouse sul grafico, quindi scegliere Modifica tipo di grafico, Area, quindi Barre in pila.

3. Per ogni filtro di report, fare clic con il pulsante destro del mouse su ognuno dei seguenti campi, specificare le gerarchie o gli elementi di interesse, quindi trascinare il campo nell'area Filtro report.

   • Gerarchia progetto team dalla dimensione Progetto Team

   • Percorso area dalla dimensione Progetto Team

   • Percorso iterazione dalla dimensione Test case

   • Tipo di elemento di lavoro dalla dimensione Elemento di lavoro collegato

     Specificare il tipo come storia utente, requisito o un altro tipo di elemento di lavoro a cui sono collegati i test case di cui si desidera creare il report.

4. Trascinare il campo Tendenza conteggio punti dal gruppo di misure Test nell'area Valori.

5. Trascinare il campo Risultato dalla dimensione Risultato test nell'area Etichette di colonna.

Misure di test

Nella tabella seguente vengono descritte le misure incluse nel gruppo di misure di test. È possibile analizzare i risultati dei test in base all'aggregazione dei risultati e del rispettivo esito per una build specifica o in base all'esito modificato di un risultato.

Misura	Descrizione
Tendenza conteggio risultati compilazione	Conta la versione più recente di ogni risultato in una determinata compilazione. Per un esempio di report che usa questa misura, vedere Rapporto Excel Qualità di compilazione.
Tendenza conteggio punti	Conteggio della versione più recente di ogni risultato di test in una determinata compilazione. Se un test viene eseguito più volte in una compilazione, tramite Tendenza conteggio punti viene conteggiato il risultato più recente per il test usando tale compilazione. Se un test case non è incluso nella compilazione, viene conteggiato come "Mai eseguito". Usare questa misura per determinare quanti o quali test hanno avuto esito negativo nella compilazione corrente.
Conteggio risultati	Conta la versione più recente di ogni risultato dei test. Usare questa misura quando si desidera determinare il numero complessivo dei test. Per un esempio di report che usa questa misura, vedere Rapporto Indicatori di qualità di compilazione.
Conteggio transizioni risultati	Conta tutti i risultati il cui esito è cambiato in una determinata build. Usare questa misura quando è necessario determinare i test interessati da una particolare build.
Conteggio test case	Numero di test case. Usare questa misura quando si desidera determinare il numero di test case eseguiti per una particolare esecuzione di test o per una particolare build.

Dimensioni e attributi nella prospettiva Test che supportano l'applicazione di filtri e la categorizzazione

Tramite gli attributi descritti in questa sezione è possibile aggregare una misura, applicare filtri a un report o specificare un asse del report. Questi attributi sono aggiuntivi rispetto alle dimensioni condivise Progetto team e Data descritte in Utilizzo delle dimensioni condivise.

Build, versione build e dimensioni della piattaforma della build

È possibile applicare filtri ai report dei test sulla base della definizione di compilazione, della versione o della piattaforma della build usando gli attributi descritti nella tabella che segue.

Dimensione	Attributo	Descrizione
Compilazione	Nome definizione di compilazione	Nome assegnato alla definizione di compilazione per la quale è stata eseguita una compilazione. Per un esempio di report che usa questo attributo, vedere Rapporto Excel Qualità di compilazione.
	ID compilazione	Numero assegnato alla compilazione. Ogni volta che una particolare definizione di compilazione viene eseguita, l'ID compilazione viene incrementato di 1.
	Nome compilazione	Nome o espressione con cui viene identificata in modo univoco una compilazione. Per altre informazioni, vedere Utilizzare i numeri di build per assegnare nomi significativi alle compilazioni completate.
	Ora di inizio compilazione	Data e ora di inizio della compilazione.
	Tipo di compilazione	Motivo dell'esecuzione della compilazione. I tipi di compilazione vengono associati al trigger definito per la compilazione. Team Foundation Server supporta i seguenti tipi di compilazione: manuale, continua (attivata da ogni archiviazione), sequenziale (vengono accumulate archiviazioni fino al termine della compilazione precedente), archiviazione gestita e pianificata. Per altre informazioni, vedere Specificare trigger e motivi di compilazione.
	Destinazione finale	Cartella di destinazione definita per la compilazione e specificata come URL (Uniform Resource Locator). Un URL specifica il protocollo con cui i Web browser individuano le risorse di Internet. L'URL include anche il nome del server nel quale risiede la risorsa. È inoltre possibile includere il percorso di una risorsa. Per altre informazioni, vedere Impostare cartelle a sola scrittura.
Versione build	Versione build	(Solo per la pubblicazione dei risultati dei test) Nome che definisce la categoria di compilazioni assegnate a un set di compilazioni completate che sono state pubblicate come parte di un'esecuzione di test. Ad esempio, una versione di build può essere usata per indicare una versione beta o una versione finale.
Piattaforma di compilazione	Piattaforma di compilazione	Nome della piattaforma del computer per la quale è stata creata una build end-to-end (non desktop), ad esempio x86 o Qualsiasi CPU. Per altre informazioni, vedere Utilizzare il modello predefinito per il processo di compilazione.

Dimensioni Test case, Configurazione di test, Piano di test e Gruppo di test

Le dimensioni Test Case, Configurazione di test, Piano di test e Gruppo di test indicano come organizzare, configurare, automatizzare ed eseguire i test usando Microsoft Test Manager da Visual Studio Ultimate o Visual Studio Test Professional.

Il test case corrisponde a un tipo di elemento di lavoro che il team di testing usa per definire i test manuali e automatizzati che può eseguire e gestire da Microsoft Test Manager. Un piano di test è costituito dalle configurazioni di test e dai gruppi di test. Nella configurazione di test viene definito il software o l'hardware sul quale si desiderano eseguire i test. Il gruppo di test definisce una gerarchia nel piano in base alla quale è possibile raggruppare i test case.

Per altre informazioni, vedere Test dell'applicazione.

Dimensione	Attributo	Descrizione
Test case	Gerarchia area e altro	Le dimensioni Elemento di lavoro e Test case contengono tutti gli attributi relativi agli elementi di lavoro, ad esempio lo stato, il tipo dell'elemento di lavoro e l'ID dell'elemento di lavoro. Per informazioni sulla struttura della dimensione Test Case, vedere Analizzare e generare rapporti su dati relativi agli elementi di lavoro e ai test case tramite la prospettiva Elemento di lavoro. Per una descrizione di ogni attributo, vedere Riferimenti ai campi elemento di lavoro per Visual Studio ALM. Per informazioni su come usare le gerarchie data, area e iterazione, vedere Dimensioni condivise nel cubo di Analysis Services. Questo gruppo di misure contiene attributi aggiuntivi quando nei campi personalizzati della definizione per un tipo di elemento di lavoro è specificato Dimension come attributo segnalabile. Per altre informazioni su come usare l'attributo facoltativo reportable e i relativi valori, vedere Aggiungere o modificare campi di elementi di lavoro per supportare la creazione di rapporti.
Configurazione di test	ID configurazione e Nome configurazione	Numero assegnato dal sistema e nome di una configurazione di test.
Piano di test	Gerarchia area, Percorso area, Gerarchia iterazione e Percorso iterazione	Area del prodotto e attività cardine assegnate al piano di test. Per altre informazioni, vedere Analizzare e generare rapporti su dati relativi agli elementi di lavoro e ai test case tramite la prospettiva Elemento di lavoro.
	Gerarchia data di fine per mese o per settimana Gerarchia data di inizio per mese o per settimana	Valori facoltativi che il proprietario del piano di test può assegnare al piano di test. Rappresentano la data in cui dovrebbe iniziare il piano di test e la data in cui il piano di test sarà completato. Per altre informazioni su come usare le gerarchie data, vedere Dimensioni condivise nel cubo di Analysis Services.
	ID piano di test e Nome piano di test	Numero assegnato dal sistema e nome assegnato dal proprietario del piano di test.
	Proprietario piano di test	Nome utente del membro del team di testing che ha creato o a cui è attualmente assegnata la proprietà del piano di test.
	ID piano di test e Stato piano di test	Numero e nome dello stato del piano di test assegnati dal sistema. Ad esempio, Inattivo indica che il piano di test è in fase di definizione e Attivo indica che il piano di test è pronto per essere rivisto ed eseguito.
Gruppo di test	Gerarchia dei gruppi di test	Fornisce un meccanismo per specificare più filtri sulla base della raccolta di progetti, del progetto team e del gruppo di test.
	Percorso gruppo	Corrisponde alla gerarchia dei gruppi di test che sono configurati per tutti i progetti team in tutte le raccolte di progetti team.

Dimensione Risultati test

Nella seguente tabella sono elencati tutti gli attributi e le dimensioni specifici delle misure di test nel cubo. Prima di poter creare un report sul Tipo di errore o sulla Risoluzione, il team di testing deve inserire queste informazioni come parte delle attività di testing.

Attributo	Descrizione
Tipo di errore e ID tipo errore	Corrisponde a uno dei seguenti motivi per cui un test non è riuscito: Nessuno, Problema noto, Nuovo problema o Regressione. In Microsoft Test Manager viene assegnato automaticamente un numero o un ID a ogni motivo. Facoltativamente il team di testing può assegnare un tipo di errore a ogni test non superato. Nota Non è possibile aggiungere o modificare il set dei tipi di errore. Per un esempio di report tendenza che mostra i risultati del test in base al tipo di errore, vedere Rapporto Analisi degli errori di Excel.
Risultato e ID risultato	Risultato del test, ad esempio Superato, Non superato o Senza risultati. Per un esempio di un report tendenza che mostra il risultato dei piani e delle configurazioni di test, vedere Rapporto Stato di avanzamento piano test.
Stato conformità e ID stato conformità	Stato di un particolare test in un'esecuzione di test. I valori validi sono Completato, InEsecuzione, Nessuno, NonPronto e Pronto.
Stato risoluzione	(Facoltativo) Nome della Risoluzione con cui un tester ha identificato la causa di un test non riuscito. Per impostazione predefinita, tutti i modelli di processo MSF includono i seguenti stati di risoluzione: Analisi necessaria, Problema test, Problema prodotto e Problema configurazione. Facoltativamente il team di testing può assegnare uno stato di risoluzione a ogni test non superato. Nota È possibile modificare questi stati o aggiungerne altri usando lo strumento da riga di comando tcm.Vedere Personalizzare e gestire l'esperienza di test [tcm e Microsoft Test Manager].
Risultato test eseguito da	Nome dell'utente o di un altro account con il quale è stato eseguito il test. Per un esempio di report che usa questo attributo, vedere Rapporto Excel sulla produttività del team di test.
Proprietario risultato test	Nome dell'utente o di un altro account assegnato come proprietario del risultato del test. L'assegnazione corrisponde al valore impostato usando l'opzione tcm /resultowner.
Priorità risultato test	Priorità di un determinato test in un'esecuzione di test.

Dimensione Esecuzione dei test

Nella tabella seguente vengono descritti gli attributi definiti per la dimensione Esecuzione test. Molti di questi attributi corrispondono ai parametri che il team di testing specifica quando esegue e pubblica i test.

Attributo	Descrizione
Data completamento, Data creazione, Gerarchia data di inizio per mese o Gerarchia data di inizio per settimana	Date in cui il test è stato creato, completato o avviato. È possibile usare questi attributi per applicare filtri o strutturare un report. Per altre informazioni, vedere Dimensioni condivise nel cubo di Analysis Services.
Automatizzato	Flag che indica se l'esecuzione dei test contiene uno o più test automatizzati. Per un esempio di report che usa questo attributo, vedere Rapporto Excel Qualità di compilazione.
Esecuzione verifica compilazione	Flag che indica se l'esecuzione dei test contiene i test di verifica della compilazione che controllano le funzionalità di base della compilazione. Questo flag corrisponde all'opzione tcm /buildverification. Per un esempio di report che usa questo attributo, vedere Rapporto Excel Qualità di compilazione.
ID esecuzione dei test	Numero assegnato dal sistema all'esecuzione del test.
Proprietario dell'esecuzione test	Corrisponde al proprietario assegnato all'esecuzione dei test che il team di testing ha creato o pubblicato. Corrisponde all'opzione tcm /owner.
Stato dell'esecuzione dei test e ID dell'esecuzione dei test	Nome o numero assegnato allo stato dell'esecuzione di un test, ad esempio Interrotto, Completato, In corso, Non iniziato o Sconosciuto.
Titolo esecuzione dei test	Corrisponde al titolo assegnato all'esecuzione dei test che il team di testing ha creato o pubblicato. Corrisponde all'opzione tcm /title.

Dimensioni Elemento di lavoro ed Elemento di lavoro collegato

È possibile collegare i test case ad altri elementi di lavoro come le storie utente, i requisiti e i bug. Con l'utilizzo della dimensione Elemento di lavoro collegato è possibile creare un report che fornisca i risultati dei test correlati agli elementi di lavoro collegati. Il report sullo stato di avanzamento del test delle storie utente, descritto in precedenza in questo argomento, fornisce un esempio di utilizzo dell'elemento di lavoro collegato.

Per una descrizione di ogni attributo, vedere Riferimenti ai campi elemento di lavoro per Visual Studio ALM.

Attività necessarie

Per creare report che contengano dati utili sul lavoro richiesto e sui risultati dei test, si consiglia ai membri del team di rivedere le informazioni nei seguenti argomenti:

• Eseguire test nel processo di compilazione

• Utilizzo di code coverage per determinare la quantità di codice testato

Vedere anche

Concetti

Rapporto Stato di avanzamento piano test

Prospettive e gruppi di misure forniti nel cubo di Analysis Services per Visual Studio

Altre risorse

Rapporti sulla gestione dei test