Suorituskyvyn optimointi älykkäille sovellusten työkuormille

Artikkeli
10/16/2024

Suorituskyvyn tehokkuus on työmääräsi kyky skaalautua tehokkaasti vastaamaan käyttäjien sille asettamia vaatimuksia. Älykkään sovelluksen kuormituksen suorituskyvyn seuranta on ratkaisevan tärkeää sen tehokkaan toiminnan varmistamiseksi.

Työmäärätiimin on määritettävä keskeiset suorituskykymittarit, tarkistettava säännöllisesti järjestelmän suorituskyky ja diagnosoitava mahdolliset ongelmat nopeasti. Tehokkaat valvonta- ja diagnostiikkamenettelyt auttavat ylläpitämään järjestelmän luotettavuutta ja käyttäjätyytyväisyyttä.

Määritä suorituskykytavoitteet

Keskeisten suorituskykymittareiden tunnistaminen edellyttää olennaisten mittareiden määrittämistä, joilla seurataan edistymistä kohti työmäärän suorituskykytavoitteiden saavuttamista. Nämä mittarit tarjoavat mitattavissa olevan tavan mitata ja parantaa suorituskyvyn tehokkuutta.

Kun tunnistat tärkeimmät mittarit, joihin keskittyä, ota huomioon kapasiteettiin, vastaus aikaan, taipumisasteeseen sekä sitoutumiseen ja tuloksiin liittyvät mittarit:

Kapasiteetti: Siirtomäärä ja samanaikaisuus ovat esimerkkejä kapasiteetin mittareista. Läpimeno viittaa kykyyn käsitellä tietty määrä tapahtumia tietyn ajanjakson aikana. Esimerkiksi perämies voi käsitellä 200 000 chat-istuntoa kuukaudessa. Harkitse myös vuodenaikojen vaihtelua ja samanaikaisten keskustelujen odotettua enimmäishuippua. Samanaikaisuus mittaa samanaikaisia käyttäjiä tai toimintoja. Esimerkiksi perämies voi käsitellä enintään 5 000 samanaikaista keskustelua sesongin aikana. Tavoitemäärien ymmärtäminen auttaa validoimaan kohdearkkitehtuurin ja mittakaavan.
vastaus aika: Viive ja latausaika ovat yleisiä vastaus aikamittareita. Viive on pyyntöön vastaamiseen kuluva aika (200 millisekuntia). Latausaika on aika, jonka perämies aktivoituu ja vastaa ensimmäiseen viestiin. Ymmärrä copilotin odotettu enimmäisviive kyselyihin vastaamisessa ja määritä lähestymistapa pitkäkestoisten toimintojen käsittelyyn (esimerkiksi odottamiseen, että ulkoinen järjestelmä palauttaa tiedot).
Taipumaprosentti: Keskustelevan tekoälyn yhteydessä taipuma on indikaattori, joka edustaa itsepalvelulla suoritettujen pyyntöjen prosenttiosuutta, jonka muuten live-agentit käsittelisivät. Toisin sanoen se viittaa tehtävien määrään, jota tiimin ei enää tarvitse käsitellä automaation vuoksi. Copilotin taipumisasteen optimointi on yksi organisaatioiden tärkeimmistä painopistealueista liiketoimintatavoitteidensa saavuttamiseksi sijoitetun pääoman tuotosta (ROI) ja asiakastyytyväisyydestä (CSAT) perämiehen yleisen suorituskyvyn parantamiseen. Copilot Studio tarjoaa yleiskatsauksen perämiehesi suorituskyvystä, mukaan lukien keskeiset indikaattorit, kuten ratkaisuprosentti, eskalaatioaste ja CSAT.
Sitoutuminen ja tulokset: Keskusteluun sitoutumisen ja tulosten seuraaminen on avainasemassa copilotin suorituskykymittareiden mittaamisessa ja parannuskohteiden tunnistamisessa. Lue lisää kohdista Perämiehen sitoutumisen mittaaminen ja Perämiehen tulosten mittaaminen.

Suorituskyvyn suunnittelu

Työmäärän resursseilla on suorituskykyrajoituksia. Suorituskykyrajoitukset koskevat kunkin palvelun ominaisuuksia. Sinun on ymmärrettävä työmäärän resurssien rajoitukset ja otettava nämä rajoitukset huomioon suunnittelupäätöksissä. On esimerkiksi syytä tietää, edellyttävätkö resurssin rajoitukset suunnittelutavan muuttamista vai resurssien vaihtamista.

Ymmärrä tavoitevolyymit. Kohdemäärät auttavat vahvistamaan kohdearkkitehtuurin ja mittakaavan, copilotin lisensointinäkökohdat ja mahdollisen vaikutuksen Dataverse keskustelutranskriptioiden tallennustilaan.
Ymmärrä alustan rajoitukset. Kun integroit älykkään sovelluksen kuormituksen ulkoisiin järjestelmiin esimerkiksi HTTP-pyyntöjen kautta Power Automate , on tärkeää varmistaa, että jokainen komponentti pystyy käsittelemään kuorman.
Tunnista pullonkaulat. Mittaa siirtonopeutta ja vastaus kertoja tunnistaaksesi järjestelmän komponentit, joista voi tulla ongelmallisia työmäärän kasvaessa. Tunnista pullonkaulat päästä päähän -prosessissa käyttämällä prosessilouhinnan analyysiominaisuuksia, kuten uudelleenkäsittelyä ja perussyyanalyysiä.

Lue lisää: Suosituksia suorituskyvyn suunnitteluun

Suorituskyvyn valvonta

Suorituskyvyn optimointi edellyttää tietoja, jotta voidaan mitata työmäärän tai työnkulun nykyistä suorituskykyä tai suhteessa sen suorituskykytavoitteisiin. Kerää riittävä määrä ja erilaisia tietoja, jotta koodin ja infrastruktuurin suorituskykyä voidaan mitata tarkasti asetettuihin suorituskykytavoitteisiin nähden. Varmista, että jokainen komponentti ja työnkulku työmäärän sisällä luo automaattisesti jatkuvia ja merkityksellisiä mittausarvoja ja lokeja.

Seuraa valppaasti älykkään sovelluksesi työmäärän suorituskykyä varmistaaksesi, että se toimii mahdollisimman tehokkaasti ja tehokkaasti.

Copilot Studio Tarjoaa kattavan käyttövalmiin analytiikan , jonka avulla voit ymmärtää Copilotin käytön ja tärkeimmät suorituskykyindikaattorit.

Voit tarkastella raportteja, jotka liittyvät seuraaviin:

Suorituskyky ja käyttöaste
Asiakastyytyväisyys
Istunnon tiedot
Aiheen käyttöaste
Laskutetut istunnot

Sisäisten Copilot Studio alkuperäisten analyysiominaisuuksien lisäksi voit lähettää telemetriatietoja Application Insights. Lue lisää kohdasta Sieppaa telemetria Application Insights. Valvo suorituskykyä jatkuvasti ja havaitse poikkeamia käyttämällä työkaluja, kuten Azure Monitoria, Log Analyticsia Application Insights ja hälytyksiä.

Määritä suorituskykyilmaisimet, joita aiot valvoa mitataksesi älykkään sovelluksen kuormituksen onnistumista, kuten sitoutumisaste, ratkaisuaste ja taipumaprosentti. Tarkista ensin alkuperäiset koontinäytöt, jotta ymmärrät käytettävissä olevat tiedot. Päätä sitten, vastaisiko mukautetun raportin luominen paremmin tarpeitasi.

Lisätietoja:

Jatkuva suorituskyvyn optimointi

Suorituskyvyn ennakoiva optimointi edellyttää toimenpiteiden toteuttamista työmäärän suorituskyvyn parantamiseksi ja parantamiseksi ennen ongelmien syntymistä. Ennakoivia toimenpiteitä ovat mahdollisten pullonkaulojen tunnistaminen, suorituskykymittareiden seuranta ja optimointien toteuttaminen sen varmistamiseksi, että työmäärä toimii tehokkaasti ja täyttää suorituskykytavoitteet.

Jos haluat jatkuvasti parantaa älykkään sovelluksen kuormitusta, ajoita copilotin suorituskyvyn säännölliset tarkistukset:

Suorituskyvyn indikaattori	Määritelmä
Ratkaisuprosentti	Niiden käyttäjäpyyntöjen prosenttiosuus, jotka perämies ratkaisee onnistuneesti ilman, että niitä tarvitsee eskaloida ihmisagentille.
Osallistumisprosentti	Prosenttiosuus kaikista sitoutuneista istunnoista. Istunto katsotaan aktivoiduksi, kun käyttäjä on vuorovaikutuksessa apuohjaajan kanssa merkityksellisellä tavalla, kuten käynnistämällä järjestelmän ulkopuolisen aihe, eskaloimalla istuntoa tai kutsumalla vara-aihe.
Hylkäysprosentti	Niiden sitoutuneiden istuntojen prosenttiosuus, jotka päättyvät ilman ratkaisua tai eskalointia. Pohjimmiltaan se mittaa, kuinka usein käyttäjät poistuvat tai lopettavat vuorovaikutuksen perämiehen kanssa ennen kuin heidän ongelmansa on ratkaistu tai eskaloitu ihmisagentiksi.
Eskalointiprosentti	Niiden sitoutuneiden istuntojen prosenttiosuus, jotka eskaloidaan ihmisagentiksi. Tämä mittari on avain sen ymmärtämiseen, kuinka usein perämies ei pysty ratkaisemaan käyttäjien kyselyjä yksin ja vaatii ihmisen väliintuloa.
Tunnistamattomat lausunnot	Tapahtuu, kun perämiehen luonnollisen kielen ymmärtäminen (NLU) -malli ei pysty sovittamaan käyttäjän syötettä mihinkään ennalta määritettyyn aikomukseen tai aihe. Järjestelmä ei pysty määrittämään käyttäjän aikomusta annetun syötteen perusteella.
Asiakastyytyväisyys	Asiakastyytyväisyyteen.
Aiheet, joiden resoluutio on alhainen	Viittaa keskustelun aiheisiin, jotka eivät useinkaan ratkaise käyttäjien kyselyjä tehokkaasti. Nämä aiheet johtavat usein käyttäjien tyytymättömyyteen, hylkäämiseen tai eskaloitumiseen ihmisagenteiksi.

Tämä arvostelu auttaa priorisoimaan copilot-päivitysten ruuhkaa. Jos esimerkiksi tunnistamattomat lausunnot eskaloidaan usein ihmisagentiksi, käytä tilaisuutta parantaaksesi taipumaa. Analysoi käyttäjämalleja, jotka laukaisevat varapuheita ja tunnistamattomia lausuntoja, ja joko harjoittele olemassa olevia aiheita tai luo uusia, jotta perämies voi vastata paremmin käyttäjien tarpeisiin.