Prestatieoptimalisatie voor intelligente applicatiewerklasten
Prestatie-efficiëntie is het vermogen van uw werklast om efficiënt te schalen, zodat deze voldoet aan de eisen die gebruikers eraan stellen. Het bewaken van de prestaties van uw intelligente applicatiewerklast is essentieel om ervoor te zorgen dat deze effectief en efficiënt werkt.
Het werklastteam moet belangrijke prestatie-indicatoren vaststellen, de systeemprestaties regelmatig beoordelen en eventuele problemen snel diagnosticeren. Effectieve bewakings- en diagnoseprocedures zorgen ervoor dat het systeem betrouwbaar blijft en de tevredenheid van de gebruiker behouden blijft.
Prestatiedoelstellingen definiëren
Het identificeren van belangrijke prestatie-indicatoren omvat het bepalen van de essentiële metingen waarmee de voortgang naar het behalen van werklastprestatiedoelen wordt bijgehouden. Deze statistieken bieden een kwantificeerbare manier om de prestatie-efficiëntie te meten en te verbeteren.
Wanneer u de belangrijkste meetgegevens identificeert waarop u zich moet richten, moet u rekening houden met meetgegevens met betrekking tot capaciteit, respons tijd, doorbuigingspercentage en betrokkenheid en resultaten:
Capaciteit: Doorvoer en gelijktijdigheid zijn voorbeeldcapaciteitsmetingen. Doorvoer heeft betrekking op het vermogen om een specifiek aantal transacties binnen een bepaalde tijdsperiode te verwerken. Een copiloot kan bijvoorbeeld 200.000 chatsessies per maand verwerken. Houd ook rekening met seizoensvariaties en het verwachte maximumaantal gelijktijdige gesprekken. Gelijktijdigheid is een maatstaf voor gelijktijdige gebruikers of acties. Een copiloot kan bijvoorbeeld tijdens het hoogseizoen maximaal 5.000 gelijktijdige chats afhandelen. Inzicht in doelvolumes helpt bij het valideren van de doelarchitectuur en -schaal.
respons tijd: Latentie en laadtijd zijn veelvoorkomende respons tijdsmetingen. Latentie is de tijd die nodig is om op een verzoek te reageren (200 milliseconden). Laadtijd is de tijd die een copiloot nodig heeft om actief te worden en te reageren op het eerste bericht. Begrijp de verwachte maximale latentie voor de copiloot om vragen te beantwoorden en definieer een aanpak voor het verwerken van langlopende acties (bijvoorbeeld wachten tot een extern systeem gegevens retourneert).
Afbuigingspercentage: In de context van conversationele AI is afbuiging een indicator die het percentage verzoeken weergeeft dat op een selfservicemanier wordt afgehandeld en dat anders door live-agenten zou worden afgehandeld. Met andere woorden, het verwijst naar het aantal taken dat een team niet meer hoeft uit te voeren vanwege automatisering. Het optimaliseren van de uitwijksnelheid van de copiloot is een van de belangrijkste aandachtsgebieden voor organisaties om hun bedrijfsdoelen te bereiken, van rendement op investering (ROI) en klanttevredenheid (CSAT) tot verbetering van de algehele prestaties van de copiloot. Copilot Studio geeft een overzicht van de prestaties van uw copiloot, inclusief belangrijke indicatoren zoals oplossingspercentage, escalatiepercentage en CSAT.
Betrokkenheid en resultaten: Het bijhouden van de betrokkenheid en resultaten van gesprekken is essentieel voor het meten van prestatiemetingen van de copiloot en het identificeren van gebieden die voor verbetering vatbaar zijn. Meer informatie vindt u in Het meten van de betrokkenheid van de copiloot en Het meten van de resultaten van de copiloot.
Prestatieplanning
Resources in uw workload hebben prestatiebeperkingen. Prestatiebeperkingen zijn van toepassing op functies binnen elke service. U moet de beperkingen van de resources in uw workload begrijpen en deze beperkingen meenemen in uw ontwerpbeslissingen. U moet bijvoorbeeld weten of de beperkingen van de resources vereisen dat u de ontwerpbenadering verandert of dat u de resources helemaal verandert.
- Begrijp doelvolumes. Doelvolumes helpen bij het valideren van de doelarchitectuur en -schaal, licentieaspecten van de copiloot en het potentiële effect op de opslag van gesprekstranscripties. Dataverse
- Begrijp de limieten van het platform. Wanneer u de werklast van uw intelligente applicatie integreert met externe systemen, bijvoorbeeld via Power Automate of HTTP-verzoeken, is het belangrijk om te valideren dat elk onderdeel de belasting aankan.
- Knelpunten identificeren. Meet de doorvoer en respons-tijden om de componenten van uw systeem te identificeren die problematisch kunnen worden naarmate de werklast toeneemt. Identificeer knelpunten in het end-to-endproces door gebruik te maken van procesmininganalysemogelijkheden zoals herbewerking en analyse van de grondoorzaak.
Meer informatie: Aanbevelingen voor prestatieplanning
Prestatiemeting
Voor prestatieoptimalisatie zijn gegevens nodig om de huidige prestaties van een werklast of een stroom te meten ten opzichte van de prestatiedoelstellingen. Verzamel voldoende en gevarieerde gegevens om de prestaties van de code en infrastructuur nauwkeurig te kunnen meten ten opzichte van de gestelde prestatiedoelen. Zorg ervoor dat elke component en stroom binnen de workload automatisch continue en betekenisvolle statistieken en logboeken genereert.
Houd de prestaties van uw intelligente applicatiewerklast nauwlettend in de gaten om ervoor te zorgen dat deze optimaal effectief en efficiënt functioneert.
Copilot Studio biedt uitgebreide out-of-the-box analyses waarmee u inzicht krijgt in het gebruik en de belangrijkste prestatie-indicatoren van een copiloot.
U kunt rapporten bekijken met betrekking tot:
- Prestaties en gebruik
- Klanttevredenheid
- Sessie-informatie
- Onderwerpgebruik
- Gefactureerde sessies
Naast de ingebouwde analysefuncties in Copilot Studio kunt u telemetriegegevens naar Application Insights verzenden. Meer informatie vindt u in Leg telemetrie vast met Application Insights. Controleer voortdurend de prestaties en detecteer afwijkingen met behulp van hulpmiddelen zoals Azure Monitor, Log Analytics en waarschuwingen. Application Insights
Definieer de belangrijkste prestatie-indicatoren (KPI's) die u wilt bewaken om het succes van uw intelligente applicatiewerklast te meten, zoals betrokkenheidspercentage, oplossingspercentage en afleidingspercentage. Bekijk eerst de native dashboards om inzicht te krijgen in de beschikbare gegevens. Bepaal vervolgens of het maken van een aangepast rapport beter aan uw specifieke behoeften voldoet.
Meer informatie:
Continue prestatie-optimalisatie
Proactief optimaliseren van prestaties houdt in dat er maatregelen worden geïmplementeerd om de prestaties van de werklast te verbeteren en te optimaliseren voordat er problemen ontstaan. Proactieve maatregelen zijn onder andere het identificeren van potentiële knelpunten, het bewaken van prestatiegegevens en het implementeren van optimalisaties om ervoor te zorgen dat de werklast efficiënt verloopt en de prestatiedoelen worden gehaald.
Om de werklast van uw intelligente applicatie voortdurend te verbeteren, plant u regelmatige beoordelingen van de prestaties van de copiloot:
| Prestatie-indicator | Definitie |
|---|---|
| Afsluitingspercentage | Percentage gebruikersverzoeken dat succesvol door de copiloot wordt opgelost zonder dat escalatie naar een menselijke agent nodig is. |
| Betrokkenheidspercentage | Percentage van het totale aantal betrokken sessies. Een sessie wordt als actief beschouwd wanneer een gebruiker op een betekenisvolle manier met de copiloot communiceert, bijvoorbeeld door een niet-systeemgerelateerde onderwerp te activeren, de sessie te escaleren of een terugvalonderwerp aan te roepen. |
| Percentage afgebroken | Percentage van de sessies met betrokkenheid die eindigen zonder dat er een oplossing of escalatie is bereikt. In feite wordt gemeten hoe vaak gebruikers de copiloot verlaten of stoppen met communiceren voordat hun probleem is opgelost of doorgegeven aan een menselijke agent. |
| Escalatiepercentage | Percentage van de betrokken sessies die worden doorgestuurd naar een menselijke agent. Deze metriek is essentieel om te begrijpen hoe vaak de copiloot de vragen van gebruikers niet zelf kan oplossen en menselijke tussenkomst nodig heeft. |
| Onherkende uitingen | Treedt op wanneer het model begrip van natuurlijke taal (NLU) van de copiloot de invoer van de gebruiker niet kan koppelen aan een vooraf gedefinieerde intentie of onderwerp. Het systeem kan op basis van de ingevoerde gegevens niet bepalen wat de bedoeling van de gebruiker is. |
| CSAT | Klanttevredenheid. |
| Onderwerpen met lage resolutie | Verwijst naar gespreksonderwerpen die vaak niet effectief zijn om de vragen van gebruikers op te lossen. Deze onderwerpen leiden vaak tot ontevredenheid bij de gebruiker, het afhaken of het doorverwijzen naar menselijke agenten. |
Met deze beoordeling kunnen we de achterstand aan copilootupdates prioriteren. Als onherkende uitingen bijvoorbeeld vaak worden doorgegeven aan een menselijke agent, kunt u de afleiding ervan verbeteren. Analyseer gebruikerspatronen die terugvallen en niet-herkende uitingen trigger en train bestaande onderwerpen of maak nieuwe onderwerpen om de copiloot beter te laten inspelen op de behoeften van gebruikers.
Meer informatie: