Details van model voor gesprekstaal begrijpen weergeven

Nadat de modeltraining is voltooid, kunt u de details van uw model bekijken en zien hoe goed het presteert ten opzichte van de testset.

Notitie

Als u de testset automatisch splitst op basis van de optie trainingsgegevens , kan dit resulteren in een ander resultaat wanneer u een nieuw model traint, omdat de testset willekeurig uit uw uitingen wordt geselecteerd. Als u ervoor wilt zorgen dat de verdamping wordt berekend op dezelfde testset wanneer u een model traint, moet u ervoor zorgen dat u de optie Een handmatige splitsing van trainings- en testgegevens gebruikt bij het starten van een trainingstaak en het definiëren van uw testset wanneer u uw uitingen toevoegt.

Vereisten

Voordat u de evaluatie van een model bekijkt, hebt u het volgende nodig:

• Een project is gemaakt.
• Een getraind model.

Zie de levenscyclus van projectontwikkeling voor meer informatie.

Modelgegevens

Taalstudio

1. Ga naar uw projectpagina in Language Studio.

2. Selecteer Modelprestaties in het menu aan de linkerkant van het scherm.

3. Op deze pagina kunt u alleen de met succes getrainde modellen bekijken, de F1-score van elk model en de vervaldatum van het model. U kunt de modelnaam selecteren voor meer informatie over de prestaties. Modellen bevatten alleen evaluatiedetails als er testgegevens zijn geselecteerd tijdens het trainen van het model.

Overzicht

• Op dit tabblad kunt u de details van het model bekijken, zoals: F1-score, precisie, relevante overeenkomsten, datum en tijd voor de trainingstaak, totale trainingstijd en het aantal trainings- en testuitingen die zijn opgenomen in deze trainingstaak. U kunt details tussen intenties of entiteiten weergeven door bovenaan modeltype te selecteren.

  

• U ziet ook richtlijnen voor het verbeteren van het model. Wanneer u op details van de weergave klikt, wordt een zijpaneel geopend om meer richtlijnen te geven over het verbeteren van het model.

  

Prestaties van modeltype

• Dit is een momentopname van de uitvoering van uw model tijdens het testen. De metrische gegevens hier zijn statisch en gekoppeld aan uw model, zodat ze pas worden bijgewerkt als u opnieuw traint.

• U kunt voor elke intentie of entiteit de precisie, relevante overeenkomsten, F1-score, het aantal trainings- en testlabels zien. Entiteiten die geen geleerd onderdeel bevatten, bevatten geen trainingslabels. Een geleerd onderdeel wordt alleen toegevoegd door labels toe te voegen aan uw trainingsset.

  

Details van testset

• Hier ziet u de uitingen die zijn opgenomen in de testset en hun intentie of entiteitsvoorspellingen. U kunt de wisselknop Fouten weergeven alleen gebruiken om alleen de uitingen weer te geven waarbij er verschillende voorspellingen van hun labels zijn, of schakel de wisselknop uit om alle uitingen in de testset weer te geven. U kunt de weergave ook in-/uitschakelen tussen Entiteitslabels weergeven als de weergave voor elke uiting of Het weergeven van entiteitsvoorspellingen. Entiteitsvoorspellingen worden weergegeven als stippellijnen en labels worden weergegeven als ononderbroken lijnen.

• U kunt elke rij uitvouwen om de intentie of entiteitsvoorspellingen weer te geven, die zijn opgegeven door de kolom Modeltype . In de kolom Tekst ziet u de tekst van de entiteit die is voorspeld of gelabeld. Elke rij heeft een gelabelde kolom om het label in de testset aan te geven en voorspeld als kolom om de werkelijke voorspelling aan te geven. U ziet ook of het een terecht-positief, fout-positief of fout-negatief is in de kolom Resultaattype.

  

Distributie van gegevenssets

Deze momentopname laat zien hoe intenties of entiteiten worden verdeeld over uw trainings- en testsets. Deze gegevens zijn statisch en gekoppeld aan uw model, dus deze worden pas bijgewerkt als u opnieuw traint. Entiteiten die geen geleerd onderdeel bevatten, bevatten geen trainingslabels. Een geleerd onderdeel wordt alleen toegevoegd door labels toe te voegen aan uw trainingsset.

Verwarringsmatrix

Een verwarringsmatrix is een N x N-matrix die wordt gebruikt voor het evalueren van de prestaties van uw model, waarbij N het aantal doelintenties of entiteiten is. De matrix vergelijkt de verwachte labels met de labels die door het model worden voorspeld om te bepalen welke intenties of entiteiten verkeerd worden geclassificeerd als andere intenties en entiteiten. U kunt in een willekeurige cel van de verwarringsmatrix klikken om precies te bepalen welke uitingen hebben bijgedragen aan de waarden in die cel.

U kunt de verwarringsmatrix voor intenties weergeven in onbewerkte telling of genormaliseerde weergave. Onbewerkte telling is het werkelijke aantal uitingen dat is voorspeld en gelabeld voor een set intenties. Genormaliseerde waarde is de verhouding tussen 0 en 1 van de voorspelde en gelabelde uitingen voor een set intenties.

U kunt de entiteitsverwaringsmatrix weergeven in het aantal tekens overlap of de genormaliseerde overlappingsweergave van tekens . Het aantal overlappingen van tekens is het werkelijke aantal spanten dat is voorspeld en gelabeld voor een set entiteiten. Genormaliseerde tekens overlappen is de verhouding tussen 0 en 1 van de voorspelde en gelabelde spanen voor een set entiteiten. Soms kunnen entiteiten gedeeltelijk worden voorspeld of gelabeld, wat leidt tot decimale waarden in de verwarringsmatrix.

• Alle waarden: geeft de verwarringsmatrix weer voor alle intenties of entiteiten.

• Alleen fouten: geeft de verwarringsmatrix weer voor intenties of entiteiten met alleen fouten.

• Alleen overeenkomsten: geeft de verwarringsmatrix weer voor intenties of entiteiten met alleen de juiste voorspellingen.

REST-API's

Maak een GET-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om het getrainde evaluatieoverzicht van het model op te halen.

Modelsamenvatting

Deze API retourneert de samenvatting van de evaluatieresultaten van uw model, waaronder de precisie, relevante overeenkomsten, F1 en verwarringsmatrix van uw intenties en entiteiten.

Aanvraag-URL

{ENDPOINT}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Tijdelijke aanduiding	Weergegeven als	Opmerking
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor uw getrainde model. Deze waarde is hoofdlettergevoelig.	Model1
{API-VERSION}	De versie van de API die u aanroept.	2023-04-01

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Weergegeven als
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Hoofdtekst van antwoord

Zodra u de aanvraag hebt verzonden, krijgt u het volgende antwoord.

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "entities": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "intents": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Modelresultaten

Deze API retourneert de afzonderlijke resultaten voor elke uiting, inclusief de verwachte en werkelijke voorspellingen voor intenties en entiteiten.

Aanvraag-URL

{ENDPOINT}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/result?top={top}&skip={skip}&maxpagesize={maxpagesize}&api-version={API-VERSION}

Tijdelijke aanduiding	Weergegeven als	Opmerking
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor uw getrainde model. Deze waarde is hoofdlettergevoelig.	Model1
{API-VERSION}	De versie van de API die u aanroept.	2023-04-01
{top}	Het maximum aantal uitingen dat moet worden geretourneerd uit de verzameling. Optioneel.	100
{skip}	Een offset in de verzameling van de eerste uiting die moet worden geretourneerd. Optioneel.	100
{maxpagesize}	Het maximum aantal uitingen dat moet worden opgenomen in één antwoord. Optioneel	100

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Weergegeven als
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Hoofdtekst van antwoord

Zodra u de aanvraag hebt verzonden, krijgt u het volgende antwoord.

{
  "value": [
    {
      "text": "send the email",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [],
        "predictedEntities": []
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "send a mail to daniel",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 15,
            "length": 6
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 15,
            "length": 6
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "i forgot to add an important part to that email to james . please set it up to edit",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 51,
            "length": 5
          }
        ],
        "predictedEntities": [
          {
            "category": "Category",
            "offset": 19,
            "length": 9
          },
          {
            "category": "ContactName",
            "offset": 51,
            "length": 5
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "AddMore",
        "predictedIntent": "AddMore"
      }
    },
    {
      "text": "send email to a and tian",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 14,
            "length": 1
          },
          {
            "category": "ContactName",
            "offset": 20,
            "length": 4
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 14,
            "length": 1
          },
          {
            "category": "ContactName",
            "offset": 20,
            "length": 4
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "send thomas an email",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 5,
            "length": 6
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 5,
            "length": 6
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "i need to add more to the email message i am sending to vincent",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 56,
            "length": 7
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 56,
            "length": 7
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "AddMore",
        "predictedIntent": "AddMore"
      }
    },
    {
      "text": "send an email to lily roth and abc123@microsoft.com",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 9
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 9
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "i need to add something else to my email to cheryl",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 44,
            "length": 6
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 44,
            "length": 6
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "AddMore",
        "predictedIntent": "AddMore"
      }
    },
    {
      "text": "send an email to larry , joseph and billy larkson",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 5
          },
          {
            "category": "ContactName",
            "offset": 25,
            "length": 6
          },
          {
            "category": "ContactName",
            "offset": 36,
            "length": 13
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 5
          },
          {
            "category": "ContactName",
            "offset": 25,
            "length": 6
          },
          {
            "category": "ContactName",
            "offset": 36,
            "length": 13
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "send mail to dorothy",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 13,
            "length": 7
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 13,
            "length": 7
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    }
  ],
  "nextLink": "{Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/result/?api-version=2022-10-01-preview&top={top}&skip={skip}&maxpagesize={maxpagesize}"
}

Modelgegevens laden of exporteren

Taalstudio

Uw modelgegevens laden :

1. Selecteer een model op de evaluatiepagina van het model .

2. Selecteer de knop Modelgegevens laden .

3. Controleer of u geen niet-opgeslagen wijzigingen hebt die u moet vastleggen in het venster dat wordt weergegeven en selecteer Gegevens laden.

4. Wacht totdat de modelgegevens zijn geladen in uw project. Na voltooiing wordt u teruggeleid naar de pagina Schema-ontwerp .

Uw modelgegevens exporteren :

1. Selecteer een model op de evaluatiepagina van het model .

2. Selecteer de knop Modelgegevens exporteren . Wacht totdat de JSON-momentopname van uw model lokaal is gedownload.

REST-API's

Modelgegevens laden

Maak een POST-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om uw modelgegevens in uw project te laden.

Aanvraag-URL

Gebruik de volgende URL bij het maken van uw API-aanvraag. Vervang de waarden van de tijdelijke aanduiding hieronder door uw eigen waarden.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Tijdelijke aanduiding	Weergegeven als	Opmerking
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	EmailApp
{API-VERSION}	De versie van de API die u aanroept.	2022-10-01-preview
{MODEL-NAME}	De naam van uw model. Deze waarde is hoofdlettergevoelig.	v1

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Weergegeven als
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Zodra u uw API-aanvraag hebt verzonden, ontvangt u een 202 antwoord dat aangeeft dat het is gelukt. Pak de operation-location waarde uit in de antwoordheaders. Deze wordt als volgt opgemaakt:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID wordt gebruikt om uw aanvraag te identificeren, omdat deze bewerking asynchroon is. Gebruik deze URL om de status van het laden van modelgegevens op te halen met dezelfde verificatiemethode.

Modelgegevens exporteren

Maak een POST-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om uw modelgegevens te exporteren.

Aanvraag-URL

Gebruik de volgende URL bij het maken van uw API-aanvraag. Vervang de waarden van de tijdelijke aanduiding hieronder door uw eigen waarden.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Tijdelijke aanduiding	Weergegeven als	Opmerking
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	EmailApp
{API-VERSION}	De versie van de API die u aanroept.	2022-10-01-preview
{MODEL-NAME}	De naam van uw model. Deze waarde is hoofdlettergevoelig.	v1

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Weergegeven als
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Zodra u uw API-aanvraag hebt verzonden, ontvangt u een 202 antwoord dat aangeeft dat het is gelukt. Pak de operation-location waarde uit in de antwoordheaders. Deze wordt als volgt opgemaakt:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID wordt gebruikt om uw aanvraag te identificeren, omdat deze bewerking asynchroon is. Gebruik deze URL om de geëxporteerde project-JSON op te halen met dezelfde verificatiemethode.

Model verwijderen

Taalstudio

Ga als volgt te werk om uw model te verwijderen vanuit Language Studio:

1. Selecteer Modelprestaties in het menu aan de linkerkant.

2. Selecteer de modelnaam die u wilt verwijderen en selecteer Verwijderen in het bovenste menu.

3. Selecteer OK in het venster dat wordt weergegeven om het model te verwijderen.

REST-API's

Maak een DELETE-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om een model te verwijderen.

Aanvraag-URL

{ENDPOINT}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}?api-version={API-VERSION}

Tijdelijke aanduiding	Weergegeven als	Opmerking
{YOUR-ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor de modelnaam. Deze waarde is hoofdlettergevoelig.	model1
{API-VERSION}	De versie van de API die u aanroept.	2023-04-01

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Weergegeven als
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Zodra u uw API-aanvraag hebt verzonden, ontvangt u een 204 antwoord dat aangeeft dat uw model is verwijderd.

Volgende stappen

• Wanneer u de prestaties van uw model bekijkt, leert u meer over de metrische evaluatiegegevens die worden gebruikt.
• Als u tevreden bent met de prestaties van uw model, kunt u uw model implementeren