Conversational Analysis Authoring - Get Model Evaluation Summary

Ссылка

Служба:: Azure AI Services

Версия API:: 2022-05-01

Возвращает сводку оценки обученной модели. Сводка включает высокоуровневые показатели производительности модели, например F1, Точность, Отзыв и т. д.

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

Параметры URI

Имя	В	Обязательно	Тип	Описание
Endpoint	path	True	string	Поддерживаемая конечная точка Cognitive Services (например, https://.api.cognitiveservices.azure.com).
projectName	path	True	string	Имя используемого проекта.
trainedModelLabel	path	True	string	Метка обученной модели.
api-version	query	True	string	Версия API клиента.

Заголовок запроса

Имя	Обязательно	Тип	Описание
Ocp-Apim-Subscription-Key	True	string	Ключ подписки для ресурса языковой службы.

Ответы

Имя	Тип	Описание
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	Список всех результатов оценки.
Other Status Codes	ErrorResponse	Ответ об ошибке.

Безопасность

Ocp-Apim-Subscription-Key

Ключ подписки для ресурса языковой службы.

Тип: apiKey
В: header

Примеры

Successful Get Model Evaluation Summary

Образец запроса

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2022-05-01

Пример ответа

Код состояния:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Определения

Имя	Описание
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Представляет сводку результатов оценки для сущностей проекта.
ConversationalAnalysisAuthoringEntityEvaluationSummary	Представляет результат оценки для сущности.
ConversationalAnalysisAuthoringEvaluationOptions	Представляет параметры, используемые при выполнении оценки.
ConversationalAnalysisAuthoringEvaluationSummary	Представляет сводку результатов оценки.
ConversationalAnalysisAuthoringIntentEvaluationSummary	Сводка оценки для намерения.
ConversationalAnalysisAuthoringIntentsEvaluationSummary	Представляет сводку оценки для намерений проекта.
Error	Объект ошибки.
ErrorCode	Код ошибки, доступный для чтения человеком.
ErrorResponse	Ответ об ошибке.
EvaluationKind	Представляет тип оценки. По умолчанию для типа оценки задано значение в процентах.
InnerErrorCode	Код ошибки, доступный для чтения человеком.
InnerErrorModel	Объект , содержащий более конкретные сведения об ошибке. В соответствии с рекомендациями по API Microsoft One — https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

Представляет сводку результатов оценки для сущностей проекта.

Имя	Тип	Описание
confusionMatrix	object	Представляет матрицу путаницы между двумя сущностями (две сущности могут быть одинаковыми). Матрица находится между сущностью, которая была помечена, и сущностью, которая была предсказана.
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	Представляет сводку по оценке сущностей.
macroF1	number	Представляет макрос F1
macroPrecision	number	Представляет точность макросов.
macroRecall	number	Представляет отзыв макроса
microF1	number	Представляет микро F1
microPrecision	number	Представляет микроточную
microRecall	number	Представляет микровызов.

ConversationalAnalysisAuthoringEntityEvaluationSummary

Представляет результат оценки для сущности.

Имя	Тип	Описание
f1	number	Представляет точность модели.
falseNegativeCount	integer	Представляет число ложноотрицательных значений
falsePositiveCount	integer	Представляет количество ложноположительных результатов
precision	number	Представляет отзыв модели
recall	number	Представляет оценку модели F1
trueNegativeCount	integer	Представляет число истинных отрицательных значений
truePositiveCount	integer	Представляет число истинно положительных результатов.

ConversationalAnalysisAuthoringEvaluationOptions

Представляет параметры, используемые при выполнении оценки.

Имя	Тип	Описание
kind	EvaluationKind	Представляет тип оценки. По умолчанию для типа оценки задано значение в процентах.
testingSplitPercentage	integer	Представляет процент разделения тестового набора данных. Требуется только в том случае, если тип оценки равен проценту.
trainingSplitPercentage	integer	Представляет процент разделения набора данных для обучения. Требуется только в том случае, если тип оценки равен проценту.

ConversationalAnalysisAuthoringEvaluationSummary

Представляет сводку результатов оценки.

Имя	Тип	Описание
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Содержит данные, связанные с оценкой сущностей.
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	Параметры, которые использовались при выполнении оценки.
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	Содержит данные, связанные с оценкой намерений.

ConversationalAnalysisAuthoringIntentEvaluationSummary

Сводка оценки для намерения.

Имя	Тип	Описание
f1	number	Представляет точность модели.
falseNegativeCount	integer	Представляет число ложноотрицательных значений
falsePositiveCount	integer	Представляет количество ложноположительных результатов
precision	number	Представляет отзыв модели
recall	number	Представляет оценку модели F1
trueNegativeCount	integer	Представляет число истинных отрицательных значений
truePositiveCount	integer	Представляет число истинно положительных результатов.

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Представляет сводку оценки для намерений проекта.

Имя	Тип	Описание
confusionMatrix	object	Представляет матрицу путаницы между двумя намерениями (эти два намерения могут быть одинаковыми). Матрица находится между намерением, которое было помечено, и намерением, которое было предсказано.
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	Представляет сводку по оценке намерений.
macroF1	number	Представляет макрос F1
macroPrecision	number	Представляет точность макросов.
macroRecall	number	Представляет отзыв макроса
microF1	number	Представляет микро F1
microPrecision	number	Представляет микроточную
microRecall	number	Представляет микровызов.

Error

Объект ошибки.

Имя	Тип	Описание
code	ErrorCode	Один из серверных наборов кодов ошибок.
details	Error[]	Массив сведений о конкретных ошибках, которые привели к этой сообщаемой ошибке.
innererror	InnerErrorModel	Объект , содержащий более конкретные сведения об ошибке, чем текущий объект.
message	string	Понятное представление ошибки.
target	string	Целевой объект ошибки.

ErrorCode

Код ошибки, доступный для чтения человеком.

Имя	Тип	Описание
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Ответ об ошибке.

Имя	Тип	Описание
error	Error	Объект ошибки.

EvaluationKind

Представляет тип оценки. По умолчанию для типа оценки задано значение в процентах.

Имя	Тип	Описание
manual	string	Разделите данные в соответствии с выбранным набором данных для каждого примера данных.
percentage	string	Разделите данные на обучающие и тестовые наборы в соответствии с определяемыми пользователем процентными значениями.

InnerErrorCode