Optimalizace výkonu pro úlohy inteligentních aplikací
Efektivita výkonu je schopnost vaší úlohy efektivně škálovat tak, aby splňovala požadavky, které na ni kladou uživatelé. Monitorování výkonu úloh inteligentních aplikací je zásadní pro zajištění jejich efektivního a efektivního fungování.
Tým úloh musí stanovit klíčové metriky výkonu, pravidelně kontrolovat výkon systému a rychle diagnostikovat případné problémy. Efektivní monitorovací a diagnostické postupy pomáhají udržovat spolehlivost systému a spokojenost uživatelů.
Definujte výkonnostní cíle
Identifikace klíčových metrik výkonu zahrnuje určení základních měření, která sledují pokrok směrem k dosažení cílů výkonu úloh. Tyto metriky poskytují kvantifikovatelný způsob, jak měřit a zlepšovat efektivitu výkonu.
Když identifikujete klíčové metriky, na které se chcete zaměřit, zvažte metriky související s kapacitou, dobou odezvy, mírou vychýlení a zapojením a výsledky:
Kapacita: Propustnost a souběžnost jsou ukázkové metriky kapacity. Propustnost se týká zpracování určitého počtu transakcí v daném časovém období. Například agent může zpracovat 200 000 relací chatu za měsíc. Zvažte také sezónní výkyvy a očekávaný maximální vrchol souběžných konverzací. Souběžnost je míra simultánních uživatelů nebo akcí. Například agent může během hlavní sezóny zpracovat maximálně 5 000 souběžných chatů. Porozumění cílovým svazkům pomáhá ověřit cílovou architekturu a škálování.
Doba odezvy:: Latence a doba načtení jsou běžné časové metriky pro odezvu. Latence je doba, po kterou trvá odpověď na požadavek (200 milisekund). Doba načítání je doba, za kterou se agent aktivuje a odpoví na první zprávu. Seznamte se s očekávanou maximální latencí agent pro zodpovězení dotazů a definujte přístup ke zpracování dlouhotrvajících akcí (například čekání na to, až externí systém vrátí data).
Míra přesměrování: V kontextu konverzační umělé inteligence je odklonění indikátorem představujícím procento požadavků, které jsou dokončeny samoobslužným způsobem a které by jinak vyřídili zástupci oddělení služeb zákazníkům. Jinými slovy, odkazuje na počet úkolů, které tým již nemusí řešit kvůli automatizaci. Optimalizace míry odklonu agenta je jednou z hlavních oblastí pro organizace, aby dosáhly svých obchodních cílů, odi návratnosti investic (ROI) a spokojenosti zákazníků (CSAT) po zlepšení celkové výkonnosti agenta. Microsoft Copilot Studio poskytuje přehled o výkonu agenta, včetně klíčových ukazatelů, jako je míra řešení, míra eskalace a CSAT.
Angažovanost a výsledky: Sledování zapojení a výsledků konverzace je klíčem k měření výkonnostních metrik agenta a identifikaci oblastí, které je třeba zlepšit. Další informace najdete v tématech Měření zapojení agentů a Měření výsledků agentů.
Plánování výkonu
Prostředky vaší úlohy mají omezenou výkonnost. Na funkce v rámci každé služby se vztahují omezení výkonu. Musíte znát omezení prostředků vaší úlohy a zohlednit tato omezení při rozhodování o návrhu. Měli byste například vědět, zda omezení prostředků vyžadují změnu přístupu k návrhu nebo celkovou změnu prostředků.
- Seznamte se s cílovými objemy. Cílové objemy pomáhají ověřit cílovou architekturu a škálování, licenční aspekty agenta a potenciální vliv na úložiště Dataverse pro přepisy konverzací.
- Seznamte se s omezeními platformy. Při integraci úloh inteligentních aplikací s externími systémy, například prostřednictvím Power Automate nebo požadavků HTTP, je důležité ověřit, že každá komponenta zvládne zatížení.
- Identifikujte problémová místa. Změřte propustnost a dobu odezvy, abyste identifikovali součásti vašeho systému, které by mohly být problematickými s rostoucí pracovní zátěží. Identifikujte úzká místa v komplexním procesu pomocí funkcí analýzy dolování procesů, jako je přepracování a analýza hlavní příčiny.
Další informace: Doporučení pro plánování výkonu
Monitorování výkonu
Optimalizace výkonu vyžaduje data k měření aktuálního výkonu úlohy nebo toku vzhledem k jejich výkonnostním cílům. Shromážděte dostatečné množství a rozmanitost dat, abyste mohli přesně měřit výkon kódu a infrastruktury v porovnání se stanovenými výkonnostními cíli. Zajistěte, aby každá komponenta a tok v rámci úlohy automaticky generovaly nepřetržité a srozumitelné metriky a protokoly.
Ostražitě sledujte výkon úloh vaší inteligentní aplikace, aby fungovala na vrcholu své efektivity.
Copilot Studio poskytuje komplexní předem připravené analýzy, které vám umožní porozumět využití agenta a klíčovým ukazatelům výkonu.
Můžete zobrazit sestavy týkající se:
- Výkonu a využití
- Spokojenost zákazníků
- Informace o relaci
- Použití témat
- Fakturovaných relací
Kromě nativních analytických funkcí v rámci Copilot Studio můžete odesílat telemetrická data do Application Insights. Další informace najdete v Zachycení telemetrie pomocí Application Insights. Průběžně monitorujte výkon a zjišťujte anomálie pomocí nástrojů, jako jsou Azure Monitor, Log Analytics, Application Insights a výstrahy.
Definujte klíčové ukazatele výkonu (KPI), které chcete monitorovat, abyste mohli měřit úspěšnost úloh inteligentních aplikací, jako je míra zapojení, míra řešení a míra vychýlení. Nejprve si projděte nativní řídicí panely, abyste porozuměli dostupným datům. Poté se rozhodněte, zda by vytvoření vlastní sestavy lépe vyhovovalo vašim konkrétním potřebám.
Další informace:
Průběžná optimalizace výkonu
Proaktivní optimalizace výkonu zahrnuje implementaci opatření ke zlepšení a zvýšení výkonu úlohy dříve, než dojde k problémům. Mezi proaktivní opatření patří identifikace potenciálních kritických bodů, monitorování metrik výkonu a implementace optimalizací, aby se zajistilo, že úloha běží efektivně a splňuje výkonnostní cíle.
Pokud chcete neustále vylepšovat úlohy inteligentních aplikací, naplánujte si pravidelné kontroly výkonu agent:
| Ukazatel výkonnosti | definice |
|---|---|
| Míra řešení | Procento požadavků uživatelů, které jsou úspěšně vyřešeny agent bez nutnosti eskalace zástupci oddělení služeb zákazníkům. |
| Míra zapojení | Procento z celkového počtu zapojených relací. Relace se považuje za angažovanou, když uživatel interaguje s agentem smysluplným způsobem, jako je spuštění netematického systému, eskalace relace nebo vyvolání záložního tématu. |
| Míra opuštění | Procento zapojených relací, které skončí bez dosažení řešení nebo eskalace. V podstatě měří, jak často uživatelé opouštějí nebo přestanou komunikovat s agentem, než je jejich problém vyřešen nebo eskalován zástupci. |
| Míra eskalace | Procento relací se zapojením, které jsou eskalovány zástupci. Tato metrika je klíčem k pochopení toho, jak často agent není schopen sám vyřešit dotazy uživatelů a vyžaduje lidský zásah. |
| Nerozpoznané výroky | Nastane, když agent model porozumění přirozenému jazyku (NLU) nemůže spárovat vstup uživatele s žádným předdefinovaným záměrem nebo tématem. Systém není schopen určit záměr uživatele na základě poskytnutého vstupu. |
| Spokojenost zákazníků | Spokojenosti zákazníků. |
| Témata s nízkou úspěšností vyřešení | Odkazuje na témata konverzace, která často nedokážou efektivně vyřešit dotazy uživatelů. Tato témata často vedou k nespokojenosti uživatelů, jejich opuštění nebo eskalaci na zástupce. |
Tato kontrola pomáhá určit prioritu seznamu úloh aktualizací agenta. Pokud jsou například nerozpoznané promluvy často eskalovány zástupci oddělení služeb zákazníkům, využijte příležitost ke zlepšení odklonění. Analyzujte vzory uživatelů, které aktivují záložní a nerozpoznané promluvy, a buď trénujte existující témata, nebo vytvořte nová, která agent vybaví tak, aby lépe vyhovovala potřebám uživatelů.
Další informace: