Text Analysis Authoring - Get Model Evaluation Summary

Servizio:

Azure AI Services

Versione API:

2022-05-01

Ottiene il riepilogo della valutazione di un modello sottoposto a training. Il riepilogo include misurazioni di prestazioni elevate del modello, ad esempio F1, Precisione, Richiamo e così via.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

Parametri dell'URI

Nome	In	Necessario	Tipo	Descrizione
Endpoint	path	True	string	Endpoint di Servizi cognitivi supportato (ad esempio, https://.api.cognitiveservices.azure.com).
projectName	path	True	string maxLength: 100	Nome del progetto da utilizzare.
trainedModelLabel	path	True	string	Etichetta del modello con training.
api-version	query	True	string	Versione dell'API client.

Intestazione della richiesta

Nome	Necessario	Tipo	Descrizione
Ocp-Apim-Subscription-Key	True	string	Chiave di sottoscrizione per una risorsa del servizio di linguaggio.

Risposte

Nome	Tipo	Descrizione
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Elenco di tutti i risultati della valutazione.
Other Status Codes	ErrorResponse	Risposta di errore.

Sicurezza

Ocp-Apim-Subscription-Key

Chiave di sottoscrizione per una risorsa del servizio di linguaggio.

Tipo: apiKey
In: header

Esempio

Successful Get Model Evaluation Summary

Esempio di richiesta

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2022-05-01

Risposta di esempio

Codice di stato:

200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definizioni

Nome	Descrizione
Error	Oggetto error.
ErrorCode	Codice di errore leggibile.
ErrorResponse	Risposta di errore.
EvaluationKind	Rappresenta il tipo di valutazione. Per impostazione predefinita, il tipo di valutazione è impostato su percentuale.
InnerErrorCode	Codice di errore leggibile.
InnerErrorModel	Oggetto contenente informazioni più specifiche sull'errore. In base alle linee guida dell'API Microsoft One , https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind	Tipo di progetto.
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette personalizzato.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Rappresenta il riepilogo della valutazione per un progetto di classificazione a etichetta singola personalizzato.
TextAnalysisAuthoringEntityEvaluationSummary	Rappresenta il riepilogo della valutazione per un'entità.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato.
TextAnalysisAuthoringEvaluationOptions	Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Rappresenta il riepilogo della valutazione di una classe in un progetto di classificazione con più etichette.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Rappresenta il riepilogo della valutazione per una classe in un progetto di classificazione a etichetta singola.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Rappresenta il riepilogo della valutazione per un progetto di classificazione a etichetta singola personalizzato.

Error

Object

Oggetto error.

Nome	Tipo	Descrizione
code	ErrorCode	Uno di un set definito dal server di codici di errore.
details	Error[]	Matrice di dettagli sugli errori specifici che hanno causato l'errore segnalato.
innererror	InnerErrorModel	Oggetto contenente informazioni più specifiche dell'oggetto corrente sull'errore.
message	string	Rappresentazione leggibile dell'errore.
target	string	Destinazione dell'errore.

ErrorCode

Enumerazione

Codice di errore leggibile.

Valore	Descrizione
AzureCognitiveSearchIndexLimitReached
AzureCognitiveSearchIndexNotFound
AzureCognitiveSearchNotFound
AzureCognitiveSearchThrottling
Conflict
Forbidden
InternalServerError
InvalidArgument
InvalidRequest
NotFound
OperationNotFound
ProjectNotFound
QuotaExceeded
ServiceUnavailable
Timeout
TooManyRequests
Unauthorized
Warning

ErrorResponse

Object

Risposta di errore.

Nome	Tipo	Descrizione
error	Error	Oggetto error.

EvaluationKind

Enumerazione

Rappresenta il tipo di valutazione. Per impostazione predefinita, il tipo di valutazione è impostato su percentuale.

Valore	Descrizione
manual	Suddividere i dati in base al set di dati scelto per ogni esempio nei dati.
percentage	Suddividere i dati in set di training e test in base alle percentuali definite dall'utente.

InnerErrorCode

Enumerazione

Codice di errore leggibile.

Valore	Descrizione
AzureCognitiveSearchNotFound
AzureCognitiveSearchThrottling
EmptyRequest
ExtractionFailure
InvalidCountryHint
InvalidDocument
InvalidDocumentBatch
InvalidParameterValue
InvalidRequest
InvalidRequestBodyFormat
KnowledgeBaseNotFound
MissingInputDocuments
ModelVersionIncorrect
UnsupportedLanguageCode

InnerErrorModel

Object

Oggetto contenente informazioni più specifiche sull'errore. In base alle linee guida dell'API Microsoft One , https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Nome	Tipo	Descrizione
code	InnerErrorCode	Uno di un set definito dal server di codici di errore.
details	object	Dettagli errore.
innererror	InnerErrorModel	Oggetto contenente informazioni più specifiche dell'oggetto corrente sull'errore.
message	string	Messaggio di errore.
target	string	Destinazione errore.

ProjectKind

Enumerazione

Tipo di progetto.

Valore	Descrizione
CustomEntityRecognition	Per creare un modello di estrazione per identificare le categorie di dominio usando i propri dati.
CustomMultiLabelClassification	Per creare un modello di classificazione per classificare il testo usando i propri dati. Ogni file può avere una o più etichette. Ad esempio, il file 1 viene classificato come A, B e C e il file 2 viene classificato come B e C.
CustomSingleLabelClassification	Per creare un modello di classificazione per classificare il testo usando i propri dati. Ogni file avrà una sola etichetta. Ad esempio, il file 1 viene classificato come A e il file 2 viene classificato come B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Object

Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato.

Nome	Tipo	Descrizione
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Contiene i dati correlati alla valutazione dell'estrazione.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.
projectKind	string: CustomEntityRecognition	Rappresenta il tipo di progetto su cui è stata eseguita la valutazione.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Object

Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette personalizzato.

Nome	Tipo	Descrizione
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Contiene i dati correlati alla valutazione della classificazione a più etichette.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.
projectKind	string: CustomMultiLabelClassification	Rappresenta il tipo di progetto su cui è stata eseguita la valutazione.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Object

Rappresenta il riepilogo della valutazione per un progetto di classificazione a etichetta singola personalizzato.

Nome	Tipo	Descrizione
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Contiene i dati correlati alla valutazione della classificazione a etichetta singola.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.
projectKind	string: CustomSingleLabelClassification	Rappresenta il tipo di progetto su cui è stata eseguita la valutazione.

TextAnalysisAuthoringEntityEvaluationSummary

Object

Rappresenta il riepilogo della valutazione per un'entità.

Nome	Tipo	Descrizione
f1	number (double)	Rappresenta la precisione del modello
falseNegativeCount	integer (int32)	Rappresenta il conteggio di falsi negativi
falsePositiveCount	integer (int32)	Rappresenta il conteggio dei falsi positivi
precision	number (double)	Rappresenta il richiamo del modello
recall	number (double)	Rappresenta il punteggio F1 del modello
trueNegativeCount	integer (int32)	Rappresenta il conteggio di veri negativi
truePositiveCount	integer (int32)	Rappresenta il conteggio dei veri positivi

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Object

Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato.

Nome	Tipo	Descrizione
confusionMatrix	object	Rappresenta la matrice di confusione tra due entità (le due entità possono essere uguali). La matrice è tra l'entità etichettata e l'entità stimata.
entities	<string,  TextAnalysisAuthoringEntityEvaluationSummary>	Rappresenta la valutazione delle entità
macroF1	number (float)	Rappresenta la macro F1
macroPrecision	number (float)	Rappresenta la precisione della macro
macroRecall	number (float)	Rappresenta il richiamo della macro
microF1	number (float)	Rappresenta il micro F1
microPrecision	number (float)	Rappresenta la micro precisione
microRecall	number (float)	Rappresenta il micro richiamo

TextAnalysisAuthoringEvaluationOptions

Object

Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.

Nome	Tipo	Descrizione
kind	EvaluationKind	Rappresenta il tipo di valutazione. Per impostazione predefinita, il tipo di valutazione è impostato su percentuale.
testingSplitPercentage	integer (int32)	Rappresenta la percentuale di divisione del set di dati di test. È necessario solo nel caso in cui il tipo di valutazione sia percentuale.
trainingSplitPercentage	integer (int32)	Rappresenta la percentuale di divisione del set di dati di training. È necessario solo nel caso in cui il tipo di valutazione sia percentuale.

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

Object

Rappresenta il riepilogo della valutazione di una classe in un progetto di classificazione con più etichette.

Nome	Tipo	Descrizione
f1	number (double)	Rappresenta la precisione del modello
falseNegativeCount	integer (int32)	Rappresenta il conteggio di falsi negativi
falsePositiveCount	integer (int32)	Rappresenta il conteggio dei falsi positivi
precision	number (double)	Rappresenta il richiamo del modello
recall	number (double)	Rappresenta il punteggio F1 del modello
trueNegativeCount	integer (int32)	Rappresenta il conteggio di veri negativi
truePositiveCount	integer (int32)	Rappresenta il conteggio dei veri positivi

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Object

Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette.

Nome	Tipo	Descrizione
classes	<string,  TextAnalysisAuthoringMultiLabelClassEvaluationSummary>	Rappresenta la valutazione delle classi
macroF1	number (float)	Rappresenta la macro F1
macroPrecision	number (float)	Rappresenta la precisione della macro
macroRecall	number (float)	Rappresenta il richiamo della macro
microF1	number (float)	Rappresenta il micro F1
microPrecision	number (float)	Rappresenta la micro precisione
microRecall	number (float)	Rappresenta il micro richiamo

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

Object

Rappresenta il riepilogo della valutazione per una classe in un progetto di classificazione a etichetta singola.

Nome	Tipo	Descrizione
f1	number (double)	Rappresenta la precisione del modello
falseNegativeCount	integer (int32)	Rappresenta il conteggio di falsi negativi
falsePositiveCount	integer (int32)	Rappresenta il conteggio dei falsi positivi
precision	number (double)	Rappresenta il richiamo del modello
recall	number (double)	Rappresenta il punteggio F1 del modello
trueNegativeCount	integer (int32)	Rappresenta il conteggio di veri negativi
truePositiveCount	integer (int32)	Rappresenta il conteggio dei veri positivi

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Object

Rappresenta il riepilogo della valutazione per un progetto di classificazione a etichetta singola personalizzato.

Nome	Tipo	Descrizione
classes	<string,  TextAnalysisAuthoringSingleLabelClassEvaluationSummary>	Rappresenta la valutazione delle classi
confusionMatrix	object	Rappresenta la matrice di confusione tra due classi (le due classi possono essere uguali). La matrice è tra la classe etichettata e la classe stimata.
macroF1	number (float)	Rappresenta la macro F1
macroPrecision	number (float)	Rappresenta la precisione della macro
macroRecall	number (float)	Rappresenta il richiamo della macro
microF1	number (float)	Rappresenta il micro F1
microPrecision	number (float)	Rappresenta la micro precisione
microRecall	number (float)	Rappresenta il micro richiamo