Visa information om arbetsflödesmodell för orkestrering

När modellträningen har slutförts kan du visa din modellinformation och se hur bra den presterar mot testuppsättningen. Observera hur väl din modell har utförts kallas för utvärdering. Testuppsättningen består av data som inte introducerades i modellen under träningsprocessen.

Kommentar

Om du använder alternativet Dela upp testuppsättningen automatiskt från träningsdata kan det resultera i olika modellutvärderingsresultat varje gång du tränar en ny modell, eftersom testuppsättningen väljs slumpmässigt från dina yttranden. Se till att undvikandet beräknas på samma testuppsättning varje gång du tränar en modell genom att använda alternativet Använd en manuell delning av tränings- och testdata när du startar ett träningsjobb och definierar testuppsättningen när du lägger till dina yttranden.

Förutsättningar

Innan du visar en modells utvärdering behöver du:

• Ett arbetsflödesprojekt för orkestrering.
• En modell som tränats

Mer information finns i livscykeln för projektutveckling.

Modellinformation

Language Studio

På sidan visa modellinformation kan du se alla dina modeller med deras aktuella träningsstatus och det datum då de senast tränades.

1. Gå till projektsidan i Language Studio.

2. Välj Modellprestanda på menyn till vänster på skärmen.

3. På den här sidan kan du bara visa de modeller som har tränats, F1-poäng för varje modell och modells förfallodatum. Du kan välja modellnamnet för mer information om dess prestanda.

4. Du hittar utvärderingsmåtten på modellnivå under Översikt och utvärderingsmått på avsiktsnivå. Mer information finns i Utvärderingsmått .

   

5. Förväxlingsmatrisen för modellen finns under Felmatris för testuppsättningar. Du kan se förvirringsmatrisen för avsikter.

   Kommentar

   Om du inte ser någon av de avsikter som du har i din modell som visas här beror det på att de inte fanns i något av de yttranden som användes för testuppsättningen.

REST API:er

Skapa en GET-begäran med hjälp av följande URL, rubriker och JSON-brödtext för att hämta den tränade modellutvärderingssammanfattningen.

Begärans-URL

{ENDPOINT}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Platshållare	Värde	Exempel
{ENDPOINT}	Slutpunkten för att autentisera din API-begäran.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Namnet på projektet. Det här värdet är skiftlägeskänsligt.	myProject
{trainedModelLabel}	Namnet på din tränade modell. Det här värdet är skiftlägeskänsligt.	Model1
{API-VERSION}	Den version av API:et som du anropar.	2023-04-01

Sidhuvuden

Använd följande rubrik för att autentisera din begäran.

Tangent	Värde
Ocp-Apim-Subscription-Key	Nyckeln till resursen. Används för att autentisera dina API-begäranden.

Svarstext

När du har skickat begäran får du följande svar.

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "entities": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "intents": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Läsa in eller exportera modelldata

Language Studio

Så här läser du in dina modelldata:

1. Välj valfri modell på modellutvärderingssidan.

2. Välj knappen Läs in modelldata.

3. Bekräfta att du inte har några ändringar som inte har sparats som du behöver avbilda i fönstret som visas och välj Läs in data.

4. Vänta tills dina modelldata har lästs in i projektet igen. När du är klar omdirigeras du tillbaka till sidan Schemadesign .

Så här exporterar du modelldata:

1. Välj valfri modell på modellutvärderingssidan.

2. Välj knappen Exportera modelldata. Vänta tills JSON-ögonblicksbilden av modellen laddas ned lokalt.

REST API:er

Läsa in modelldata

Skapa en POST-begäran med hjälp av följande URL, rubriker och JSON-brödtext för att läsa in dina modelldata till projektet.

Begärans-URL

Använd följande URL när du skapar din API-begäran. Ersätt platshållarvärdena nedan med dina egna värden.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Platshållare	Värde	Exempel
{ENDPOINT}	Slutpunkten för att autentisera din API-begäran.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Namnet på projektet. Det här värdet är skiftlägeskänsligt.	EmailApp
{API-VERSION}	Den version av API:et som du anropar.	2022-10-01-preview
{MODEL-NAME}	Namnet på din modell. Det här värdet är skiftlägeskänsligt.	v1

Sidhuvuden

Använd följande rubrik för att autentisera din begäran.

Tangent	Värde
Ocp-Apim-Subscription-Key	Nyckeln till resursen. Används för att autentisera dina API-begäranden.

När du har skickat din API-begäran får du ett 202 svar som anger att det har lyckats. Extrahera värdet i svarshuvudena operation-location . Den formateras så här:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID används för att identifiera din begäran, eftersom den här åtgärden är asynkron. Använd den här URL:en för att hämta status för din modelldatainläsning med samma autentiseringsmetod.

Exportera modelldata

Skapa en POST-begäran med hjälp av följande URL, rubriker och JSON-brödtext för att exportera dina modelldata.

Begärans-URL

Använd följande URL när du skapar din API-begäran. Ersätt platshållarvärdena nedan med dina egna värden.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Platshållare	Värde	Exempel
{ENDPOINT}	Slutpunkten för att autentisera din API-begäran.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Namnet på projektet. Det här värdet är skiftlägeskänsligt.	EmailApp
{API-VERSION}	Den version av API:et som du anropar.	2022-10-01-preview
{MODEL-NAME}	Namnet på din modell. Det här värdet är skiftlägeskänsligt.	v1

Sidhuvuden

Använd följande rubrik för att autentisera din begäran.

Tangent	Värde
Ocp-Apim-Subscription-Key	Nyckeln till resursen. Används för att autentisera dina API-begäranden.

När du har skickat din API-begäran får du ett 202 svar som anger att det har lyckats. Extrahera värdet i svarshuvudena operation-location . Den formateras så här:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID används för att identifiera din begäran, eftersom den här åtgärden är asynkron. Använd den här URL:en för att hämta det exporterade projektets JSON med samma autentiseringsmetod.

Ta bort modell

Language Studio

Så här tar du bort din modell från Language Studio:

1. Välj Modellprestanda på menyn till vänster.

2. Välj det modellnamn som du vill ta bort och välj Ta bort på den översta menyn.

3. I fönstret som visas väljer du OK för att ta bort modellen.

REST API:er

Skapa en DELETE-begäran med hjälp av följande URL, rubriker och JSON-brödtext för att ta bort en modell.

Begärans-URL

{ENDPOINT}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}?api-version={API-VERSION}

Platshållare	Värde	Exempel
{YOUR-ENDPOINT}	Slutpunkten för att autentisera din API-begäran.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Namnet på projektet. Det här värdet är skiftlägeskänsligt.	myProject
{trainedModelLabel}	Namnet på modellnamnet. Det här värdet är skiftlägeskänsligt.	model1
{API-VERSION}	Den version av API:et som du anropar.	2023-04-01

Sidhuvuden

Använd följande rubrik för att autentisera din begäran.

Tangent	Värde
Ocp-Apim-Subscription-Key	Nyckeln till resursen. Används för att autentisera dina API-begäranden.

När du har skickat din API-begäran får du ett 204 svar som anger att den lyckades, vilket innebär att din modell har tagits bort.

Nästa steg

• När du granskar hur din modell presterar kan du lära dig mer om de utvärderingsmått som används.
• Om du är nöjd med modellens prestanda kan du distribuera din modell