Delen via

Batchgewijs testen met een set voorbeelduitingen

  • Artikel

Belangrijk

LUIS wordt op 1 oktober 2025 buiten gebruik gesteld en vanaf 1 april 2023 kunt u geen nieuwe LUIS-resources maken. We raden u aan uw LUIS-toepassingen te migreren naar gesprekstaalbegrip om te profiteren van continue productondersteuning en meertalige mogelijkheden.

Batch-tests valideren uw actieve getrainde versie om de nauwkeurigheid van de voorspelling te meten. Met een batchtest kunt u de nauwkeurigheid van elke intentie en entiteit in uw actieve versie bekijken. Bekijk de resultaten van de batchtest om de juiste actie te ondernemen om de nauwkeurigheid te verbeteren, zoals het toevoegen van meer voorbeelduitingen aan een intentie als uw app vaak niet de juiste intentie of labelingsentiteiten binnen de uiting identificeert.

Gegevens groeperen voor batchtest

Het is belangrijk dat uitingen die worden gebruikt voor batchtests, nieuw zijn voor LUIS. Als u een gegevensset met utterances hebt, verdeelt u de utterances in drie sets: voorbeelduitingen die zijn toegevoegd aan een intentie, utterances die zijn ontvangen van het gepubliceerde eindpunt en uitingen die worden gebruikt om LUIS batchgewijs te testen nadat deze is getraind.

Het batch-JSON-bestand dat u gebruikt, moet uitingen bevatten met machine learning-entiteiten op het hoogste niveau, met inbegrip van de begin- en eindpositie. De uitingen mogen geen deel uitmaken van de voorbeelden die al in de app staan. Het moeten uitingen zijn die u positief wilt voorspellen voor de intentie en entiteiten.

U kunt afzonderlijke tests uitvoeren op intentie en/of entiteit of alle tests (maximaal 1000 uitingen) in hetzelfde bestand hebben.

Veelvoorkomende fouten bij het importeren van een batch

Als u fouten ondervindt bij het uploaden van uw batchbestand naar LUIS, controleert u op de volgende veelvoorkomende problemen:

  • Meer dan 1000 utterances in een batchbestand
  • Een utterance JSON-object dat geen eigenschap entiteiten heeft. De eigenschap kan een lege matrix zijn.
  • Word(s) gelabeld in meerdere entiteiten
  • Entiteitslabels beginnen of eindigen op een spatie.

Batchfouten oplossen

Als er fouten optreden in de batchtests, kunt u meer uitingen toevoegen aan een intentie en/of meer uitingen labelen met de entiteit om LUIS te helpen de discriminatie tussen intenties te maken. Als u uitingen hebt toegevoegd en gelabeld en nog steeds voorspellingsfouten krijgt bij batchtests, kunt u overwegen een woordgroepenlijstfunctie toe te voegen met domeinspecifieke woordenlijst om LUIS te helpen sneller te leren.

Batch testen met behulp van de LUIS-portal

Een voorbeeld-app importeren en trainen

Importeer een app voor het opnemen van een pizzabestelling, zoals 1 pepperoni pizza on thin crust.

  1. Download het JSON-bestand van de app en sla het op.

  2. Meld u aan bij de LUIS-portal en selecteer uw abonnement en Ontwerpresource om de apps weer te geven die aan die ontwerpresource zijn toegewezen.

  3. Selecteer de pijl naast nieuwe app en klik op Importeren als JSON om de JSON in een nieuwe app te importeren. Geef de app Pizza appeen naam.

  4. Selecteer Trainen rechtsboven in de navigatiebalk om de app te trainen.

Rollen in batchtests

Let op

Entiteitsrollen worden niet ondersteund in batchtests.

Batch-testbestand

Het JSON-voorbeeldbestand bevat een uiting met een gelabelde entiteit om u een idee te geven hoe een testbestand eruitziet. Uw eigen tests moeten veel uitingen met de juiste intentie en gelabelde machine learning-entiteit bevatten.

  1. Maak pizza-with-machine-learned-entity-test.json in een teksteditor of download het.

  2. Voeg aan het batchbestand in JSON-indeling een uiting toe met de intentie die moet worden voorspeld in de test.

    [
    {
        "text": "I want to pick up 1 cheese pizza",
        "intent": "ModifyOrder",
        "entities": [
            {
                "entity": "Order",
                "startPos": 18,
                "endPos": 31
            },
            {
                "entity": "ToppingList",
                "startPos": 20,
                "endPos": 25
            }
        ]
    }
]

De batch uitvoeren

  1. Selecteer Test in de bovenste navigatiebalk.

  2. Selecteer het paneel Batchgewijs testen in het paneel aan de rechterkant.

    Koppeling voor batchtests

  3. Selecteer Importeren. Selecteer Bestand kiezen in het dialoogvenster dat wordt weergegeven en zoek een JSON-bestand met de juiste JSON-indeling die niet meer dan 1000 utterances bevat die u wilt testen.

    Importfouten worden boven aan de browser gerapporteerd in een rode meldingsbalk. Wanneer er fouten optreden bij het importeren, wordt er geen gegevensset gemaakt. Zie Veelvoorkomende fouten voor meer informatie.

  4. Kies de bestandslocatie van het bestand pizza-with-machine-learned-entity-test.json.

  5. Geef de gegevensset de naam pizza test en selecteer Gereed.

  6. Selecteer de knop Run (Uitvoeren).

  7. Nadat de batchtest is voltooid, ziet u de volgende kolommen:

    Kolom Beschrijving
    Staat/provincie Status van de test. De resultaten worden alleen weergegeven nadat de test is voltooid.
    Naam De naam die u aan de test hebt gegeven.
    Tekengrootte Aantal tests in dit batchtestbestand.
    Laatst uitgevoerd De datum van de laatste uitvoering van dit batchtestbestand.
    Laatste resultaat Aantal geslaagde voorspellingen in de test.

  8. Als u gedetailleerde resultaten van de test wilt bekijken, selecteert u Resultaten weergeven.

    Tip

    • Als u Downloaden selecteert, wordt hetzelfde bestand gedownload dat u hebt geüpload.
    • Als u ziet dat de batchtest is mislukt, komt ten minste één uitingsintentie niet overeen met de voorspelling.

Batchresultaten voor intenties evalueren

Als u de resultaten van de batchtest wilt bekijken, selecteert u Resultaten weergeven. In de testresultaten wordt grafisch weergegeven hoe de testuitingen zijn voorspeld voor de actieve versie.

In de batchgrafiek worden vier kwadranten met resultaten weergegeven. Rechts van de grafiek ziet u een filter. Het filter bevat intenties en entiteiten. Wanneer u een sectie van de grafiek of een punt in de grafiek selecteert, worden de gekoppelde uitingen weergegeven onder de grafiek.

Bij het aanwijzen van de grafiek met de muisaanwijzer kunt u de weergave in de grafiek vergroten of verkleinen met een muiswiel. Dit is handig wanneer veel punten in het diagram zich dicht op elkaar bevinden.

De grafiek is verdeeld in vier kwadranten, waarbij twee van de secties rood worden weergegeven.

  1. Selecteer de intentie ModifyOrder in de filterlijst. De uiting wordt voorspeld als een terecht-positief, wat betekent dat de uiting correct is gematcht met de positieve voorspelling die in het batchbestand is vermeld.

    Uiting is correct gematcht met de betreffende positieve voorspelling

    Het groene vinkje in de filterlijst geeft ook aan dat de test voor elke intentie is geslaagd. Alle andere intenties worden weergegeven met een positieve score van 1/1, omdat de uiting is getest op basis van elke intentie, als een negatieve test voor alle intenties die niet worden vermeld in de batchtest.

  2. Selecteer de intentie Bevestiging. Deze intentie wordt niet vermeld in de batchtest. Dit is dus een negatieve test van de uiting die wordt vermeld in de batchtest.

    Uiting is correct negatief voorspeld voor niet-vermelde intentie in batchbestand

    De negatieve test is geslaagd, zoals aangegeven met de groene tekst in het filter, en het raster.

Batchtestresultaten voor entiteiten evalueren

De entiteit ModifyOrder, als een machine-entiteit met subentiteiten, wordt weergegeven of de entiteit op het hoogste niveau overeenkomt en hoe de subentiteiten worden voorspeld.

  1. Selecteer de entiteit ModifyOrder in de filterlijst en selecteer vervolgens de cirkel in het raster.

  2. De voorspelling van de entiteit wordt onder de grafiek weergegeven. De weergave bevat ononderbroken lijnen voor voorspellingen die overeenkomen met de verwachting en stippellijnen voor voorspellingen die niet overeenkomen met de verwachting.

    Bovenliggende entiteit is correct voorspeld in batchbestand

Grafiekresultaten filteren

Als u de grafiek wilt filteren op een specifieke intentie of entiteit, selecteert u de intentie of entiteit in het filtervenster aan de rechterkant. De gegevenspunten en de bijbehorende distributie-update in de grafiek volgens uw selectie.

Gevisualiseerd Batch-testresultaat

Voorbeelden van grafiekresultaten

In de grafiek in de LUIS-portal kunt u de volgende acties uitvoeren:

Gegevens van single point-utterance weergeven

Beweeg in de grafiek de muisaanwijzer over een gegevenspunt om de zekerheidsscore van de voorspelling te zien. Selecteer een gegevenspunt om de bijbehorende uiting op te halen in de lijst met uitingen onder aan de pagina.

Geselecteerde uiting

Sectiegegevens weergeven

Selecteer in het diagram met vier secties de sectienaam, zoals Fout-positief rechtsboven in de grafiek. Onder de grafiek worden alle uitingen in die sectie weergegeven onder de grafiek in een lijst.

Geselecteerde utterances per sectie

In deze voorgaande afbeelding wordt de utterance switch on gelabeld met de intentie TurnAllOn, maar is de voorspelling van de intentie None ontvangen. Dit is een indicatie dat de TurnAllOn-intentie meer voorbeelduitingen nodig heeft om de verwachte voorspelling te kunnen doen.

De twee secties van de grafiek in rood geven uitingen aan die niet overeenkomen met de verwachte voorspelling. Deze geven utterances aan die LUIS meer training nodig heeft.

De twee secties van de grafiek in het groen komen overeen met de verwachte voorspelling.

Volgende stappen

Als testen aangeeft dat uw LUIS-app de juiste intenties en entiteiten niet herkent, kunt u de prestaties van uw LUIS-app verbeteren door meer uitingen te labelen of functies toe te voegen.