Text Analysis Authoring - Get Model Evaluation Summary

Odwołanie

Usługa:: Azure AI Services

Wersja interfejsu API:: 2023-04-01

Pobiera podsumowanie oceny wytrenowanego modelu. Podsumowanie zawiera pomiary wydajności wysokiego poziomu modelu, np. F1, Precyzja, Kompletność itp.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

Parametry identyfikatora URI

Nazwa	W	Wymagane	Typ	Opis
Endpoint	path	True	string url	Obsługiwany punkt końcowy usług Cognitive Services, np. https://.api.cognitiveservices.azure.com.
projectName	path	True	string	Nazwa projektu do użycia.
trainedModelLabel	path	True	string	Wytrenowana etykieta modelu.
api-version	query	True	string	Wersja interfejsu API do użycia dla tej operacji.

Odpowiedzi

Nazwa	Typ	Opis
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Żądanie zakończyło się pomyślnie.
Other Status Codes	ErrorResponse	Nieoczekiwana odpowiedź na błąd.

Zabezpieczenia

Ocp-Apim-Subscription-Key

Typ: apiKey
W: header

OAuth2Auth

Typ: oauth2
Flow: accessCode
Adres URL autoryzacji: https://login.microsoftonline.com/common/oauth2/authorize
Adres URL tokenu: https://login.microsoftonline.com/common/oauth2/token

Zakresy

Nazwa	Opis
https://cognitiveservices.azure.com/.default

Przykłady

SuccessfulGetModelEvaluationSummary

Przykładowe żądanie

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Przykładowa odpowiedź

Kod stanu:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definicje

Nazwa	Opis
Error	Obiekt błędu.
ErrorCode	Kod błędu czytelny dla człowieka.
ErrorResponse	Odpowiedź na błąd.
EvaluationKind
InnerErrorCode	Kod błędu czytelny dla człowieka.
InnerErrorModel	Obiekt zawierający bardziej szczegółowe informacje o błędzie. Zgodnie z wytycznymi dotyczącymi interfejsu MICROSOFT One API — https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Reprezentuje podsumowanie oceny dla niestandardowego projektu rozpoznawania jednostek.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Reprezentuje podsumowanie oceny dla niestandardowego projektu klasyfikacji z wieloma etykietami.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Reprezentuje podsumowanie oceny dla niestandardowego projektu klasyfikacji z pojedynczą etykietą.
TextAnalysisAuthoringEntityEvaluationSummary	Reprezentuje podsumowanie oceny dla jednostki.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Reprezentuje podsumowanie oceny dla niestandardowego projektu rozpoznawania jednostek.
TextAnalysisAuthoringEvaluationOptions	Reprezentuje opcje używane do uruchamiania oceny.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Reprezentuje podsumowanie oceny klasy w projekcie klasyfikacji z wieloma etykietami.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Reprezentuje podsumowanie oceny dla projektu klasyfikacji z wieloma etykietami.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Reprezentuje podsumowanie oceny dla klasy w projekcie klasyfikacji pojedynczej etykiety.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Reprezentuje podsumowanie oceny dla niestandardowego projektu klasyfikacji z pojedynczą etykietą.

Error

Obiekt błędu.

Nazwa	Typ	Opis
code	ErrorCode	Jeden z zdefiniowanych przez serwer zestaw kodów błędów.
details	Error[]	Tablica szczegółów dotyczących określonych błędów, które doprowadziły do tego zgłoszonego błędu.
innererror	InnerErrorModel	Obiekt zawierający bardziej szczegółowe informacje niż bieżący obiekt o błędzie.
message	string	Czytelna dla człowieka reprezentacja błędu.
target	string	Element docelowy błędu.

ErrorCode

Kod błędu czytelny dla człowieka.

Nazwa	Typ	Opis
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Odpowiedź na błąd.

Nazwa	Typ	Opis
error	Error	Obiekt błędu.

EvaluationKind

Nazwa	Typ	Opis
manual	string	Podziel dane zgodnie z wybranym zestawem danych dla każdego przykładu danych.
percentage	string	Podziel dane na zestawy treningowe i testowe zgodnie z wartościami procentowymi zdefiniowanymi przez użytkownika.

InnerErrorCode

Kod błędu czytelny dla człowieka.

Nazwa	Typ	Opis
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

Obiekt zawierający bardziej szczegółowe informacje o błędzie. Zgodnie z wytycznymi dotyczącymi interfejsu MICROSOFT One API — https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Nazwa	Typ	Opis
code	InnerErrorCode	Jeden z zdefiniowanych przez serwer zestaw kodów błędów.
details	object	Szczegóły błędu.
innererror	InnerErrorModel	Obiekt zawierający bardziej szczegółowe informacje niż bieżący obiekt o błędzie.
message	string	Komunikat o błędzie.
target	string	Element docelowy błędu.

ProjectKind

Nazwa	Typ	Opis
CustomEntityRecognition	string	Aby sbudować model wyodrębniania w celu zidentyfikowania kategorii domen przy użyciu własnych danych.
CustomMultiLabelClassification	string	Tworzenie modelu klasyfikacji w celu klasyfikowania tekstu przy użyciu własnych danych. Każdy plik może mieć jedną lub wiele etykiet. Na przykład plik 1 jest klasyfikowany jako A, B i C, a plik 2 jest klasyfikowany jako B i C.
CustomSingleLabelClassification	string	Tworzenie modelu klasyfikacji w celu klasyfikowania tekstu przy użyciu własnych danych. Każdy plik będzie miał tylko jedną etykietę. Na przykład plik 1 jest klasyfikowany jako A, a plik 2 jest klasyfikowany jako B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Reprezentuje podsumowanie oceny dla niestandardowego projektu rozpoznawania jednostek.

Nazwa	Typ	Opis
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Zawiera dane związane z oceną wyodrębniania.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Reprezentuje opcje używane do uruchamiania oceny.
projectKind	string: CustomEntityRecognition	Reprezentuje typ projektu, na który uruchomiono ocenę.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Reprezentuje podsumowanie oceny dla niestandardowego projektu klasyfikacji z wieloma etykietami.

Nazwa	Typ	Opis
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Zawiera dane związane z oceną klasyfikacji z wieloma etykietami.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Reprezentuje opcje używane do uruchamiania oceny.
projectKind	string: CustomMultiLabelClassification	Reprezentuje typ projektu, na który uruchomiono ocenę.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Reprezentuje podsumowanie oceny dla niestandardowego projektu klasyfikacji z pojedynczą etykietą.

Nazwa	Typ	Opis
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Zawiera dane związane z oceną klasyfikacji pojedynczej etykiety.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Reprezentuje opcje używane do uruchamiania oceny.
projectKind	string: CustomSingleLabelClassification	Reprezentuje typ projektu, na który uruchomiono ocenę.

TextAnalysisAuthoringEntityEvaluationSummary

Reprezentuje podsumowanie oceny dla jednostki.

Nazwa	Typ	Opis
f1	number	Reprezentuje precyzję modelu
falseNegativeCount	integer	Reprezentuje liczbę wyników fałszywie ujemnych
falsePositiveCount	integer	Reprezentuje liczbę wyników fałszywie dodatnich
precision	number	Reprezentuje kompletność modelu
recall	number	Reprezentuje wynik modelu F1
trueNegativeCount	integer	Reprezentuje liczbę wartości prawdziwie ujemnych
truePositiveCount	integer	Reprezentuje liczbę wyników prawdziwie dodatnich

TextAnalysisAuthoringEntityRecognitionEvaluationSummary