Prestandaoptimering för intelligenta programarbetsbelastningar
Prestandaeffektivitet är arbetsbelastningens möjlighet att skala effektivt för att uppfylla de krav som användarna ställer på den. Att övervaka prestandan för din intelligenta apparbetsbelastning är avgörande för att säkerställa att den fungerar effektivt och effektivt.
Arbetsbelastningsteamet måste upprätta viktiga prestandamått, regelbundet granska systemprestanda och diagnostisera eventuella problem omgående. Effektiva övervaknings- och diagnostikprocedurer hjälper till att upprätthålla systemets tillförlitlighet och användarnöjdhet.
Definiera prestandamål
Att identifiera viktiga prestandamått innebär att fastställa de viktiga måtten som spårar framstegen mot att uppnå prestandamål för arbetsbelastningen. Dessa mått är ett kvantifierbart sätt att mäta och förbättra prestandaeffektiviteten.
När du identifierar viktiga mätvärden att fokusera på bör du överväga mått som rör kapacitet, svarstid, avböjningsfrekvens samt engagemang och resultat:
Kapacitet: Dataflöde och samtidighet är exempel på kapacitetsmått. Dataflöde avser möjligheten att hantera ett visst antal transaktioner inom en viss tidsperiod. En agent kan till exempel hantera 200 000 chattsessioner per månad. Tänk också på säsongsvariationer och den förväntade maximala toppen av samtidiga konversationer. Samtidighet är ett mått på samtidiga användare eller åtgärder. Till exempel kan en agent hantera högst 5 000 samtidiga chattar under högsäsong. Förståelse för målvolymer hjälper till att validera målarkitekturen och skalan.
Svarstid: Svarstid och laddningstid är vanliga svarstidsmått. Svarstid är tiden det tar att besvara en förfrågan (200 millisekunder). Inläsningstid är den tid det tar för en agent att bli aktiv och svara på det första meddelandet. Förstå den förväntade maximala svarstiden för agenten för att besvara frågor och definiera en metod för att hantera långvariga åtgärder (till exempel vänta på att ett externt system ska returnera data).
Avledningsfrekvens: I samband med konversationell AI, avledning är en indikator som representerar procentandelen förfrågningar som slutförs genom självbetjäning som annars skulle hanteras av kundtjänstrepresentanter. Med andra ord hänvisar det till antalet uppgifter som ett team inte längre behöver hantera på grund av automatisering. Optimering av avledningsgraden för agenter är ett av de främsta fokusområdena för organisationer för att uppnå sina affärsmål, från avkastning på investeringen (ROI) och kundnöjdhet (CSAT), till förbättring av agentens övergripande prestanda. Microsoft Copilot Studio ger en översikt över din agentens prestanda, inklusive nyckelindikatorer som lösningsfrekvens, eskaleringsfrekvens och CSAT.
Engagemang och resultat: Att spåra konversationsengagemang och resultat är nyckeln till att mäta agenternas prestationsstatistik och identifiera områden för förbättringar. Läs mer i Mäta agentens engagemang och Mäta agentresultat.
Prestandaplanering
Resurser i arbetsbelastningen har prestandabegränsningar. Prestandabegränsningar gäller funktioner inom varje tjänst. Du måste förstå begränsningarna för resurserna i din arbetsbelastning och dela in begränsningarna i dina designbeslut. Du bör till exempel veta om resursbegränsningar kräver att du ändrar utformningsmetod eller ändrar resurserna.
- Förstå målvolymerna. Målvolymer hjälper till att validera målarkitekturen och skalan, licensieringsaspekter hos agenten och den potentiella effekten på Dataverse-lagringen för konversationsavskrifter.
- Förstå plattformsgränser. När du integrerar din intelligenta programarbetsbelastning med externa system, till exempel via Power Automate eller HTTP-begäranden, är det viktigt att verifiera att varje komponent kan hantera belastningen.
- Identifiera flaskhalsar. Mät dataflöde och svarstider för att identifiera de komponenter i systemet som kan bli problematiska när arbetsbelastningen växer. Identifiera flaskhalsar i hela processen med hjälp av analysfunktioner för processutvinning, till exempel omarbetning och grundorsaksanalys.
Läs mer: Rekommendationer för prestandaplanering
Prestandaövervakning
För prestandaoptimering krävs data för att mäta aktuell prestanda för en arbetsbelastning eller ett flöde mot dess prestandamål. Samla in en tillräcklig mängd och variation av data för att korrekt mäta kodens och infrastrukturens prestanda mot uppsatta prestandamål. Se till att varje komponent och flöde i arbetsbelastningen automatiskt genererar kontinuerliga och meningsfulla mått och loggar.
Övervaka noggrant prestandan för din intelligenta applikationsarbetsbelastning för att säkerställa att den fungerar med högsta effektivitet och effektivitet.
Copilot Studio tillhandahåller omfattande färdiga analyser som gör att du kan förstå en agents användning och KPI:er.
Du kan visa rapporter relaterade till:
- Prestanda och användning.
- Kundtillfredsställelse
- Sessionsinformation
- Ämnesanvändning
- Fakturerade sessioner
Förutom de ursprungliga analysfunktionerna inom Copilot Studio kan du skicka telemetridata till Application Insights. Läs mer i Samla in telemetri med Application Insights. Övervaka prestanda kontinuerligt och identifiera avvikelser med hjälp av verktyg som Azure Monitor, Log Analytics Application Insights och aviseringar.
Definiera de KPI:er (Key Performance Indicators) som du tänker övervaka för att mäta den intelligenta programarbetsbelastningens framgång, till exempel engagemangsfrekvens, stängningsfrekvens och avböjningsfrekvens. Granska först de inbyggda instrumentpanelerna för att förstå tillgängliga data. Bestäm sedan om skapandet av en anpassad rapport bättre skulle uppfylla dina specifika behov.
Läs mer:
Kontinuerlig prestandaoptimering
Att proaktivt optimera prestanda innebär att implementera åtgärder för att förbättra arbetsbelastningens prestanda innan några problem uppstår. Proaktiva åtgärder omfattar identifiering av potentiella flaskhalsar, övervakning av prestandamått och implementering av optimeringar för att säkerställa att arbetsbelastningen körs effektivt och uppfyller prestandamålen.
Om du kontinuerligt vill förbättra din intelligenta programarbetsbelastning schemalägger du regelbundna granskningar av agenten:s prestanda:
| Prestandaindikatorer | Definition |
|---|---|
| Stängningsfrekvens | Procentandel av användarförfrågningar som har lösts av agenten utan att det krävs eskalering till en kundtjänstrepresentant. |
| Engagemangsgrad | Procentandel av det totala antalet engagerade sessioner. En session anses vara engagerad när en användare interagerar med agent på ett meningsfullt sätt, till exempel utlöser ett ämne som inte är system, eskalerar sessionen eller anropar ett reservämne. |
| antal lämnade | Procentandel av engagerade sessioner som avslutas utan att nå en lösning eller eskalering. I huvudsak mäter den hur ofta användare lämnar eller slutar interagera med agent innan deras problem löses eller eskaleras till en representant. |
| Eskaleringsfrekvens | Procentandelen kopplade sessioner som eskaleras till en representant. Det här måttet är nyckeln till att förstå hur ofta agenten inte kan lösa användarfrågor på egen hand och kräver mänsklig inblandning. |
| Okända yttranden | Inträffar när agentens modell för förståelse av naturligt språk (NLU) inte kan matcha användarindata till en fördefinierad avsikt eller ett fördefinierat ämne. Systemet kan inte fastställa användarens avsikt baserat på de indata som tillhandahålls. |
| CSAT | Kundnöjdhet. |
| Ämnen med låg lösningseffektivitet | Refererar till konversationsämnen som ofta misslyckas med att lösa användarfrågor effektivt. Dessa ämnen leder ofta till missnöje hos användaren, övergivande eller eskalering till en representant. |
Den här granskningen hjälper till att prioritera eftersläpningen av uppdateringar av agenten. Om till exempel okända yttranden ofta eskaleras till en kundtjänstrepresentant kan du ta tillfället i akt att förbättra omdirigeringen. Analysera användarmönster som utlöser reserv och okända talindata och träna antingen befintliga ämnen eller skapa nya för att utrusta agenten för att bättre tillgodose användarnas behov.
Läs mer: