Optymalizacja wydajności dla inteligentnych obciążeń aplikacji
Wydajność to zdolność aplikacji do efektywnego skalowania w celu spełnienia wymagań stawianych mu przez użytkowników. Monitorowanie wydajności obciążenia inteligentnej aplikacji ma kluczowe znaczenie dla zapewnienia jej skutecznego i wydajnego działania.
Zespół ds. obciążeń musi ustalić kluczowe wskaźniki wydajności, regularnie sprawdzać wydajność systemu i szybko diagnozować wszelkie problemy. Skuteczne procedury monitorowania i diagnostyki pomagają utrzymać niezawodność systemu i zadowolenie użytkowników.
Definiuj wartości docelowe wydajności
Identyfikacja kluczowych metryk wydajności obejmuje określenie podstawowych pomiarów, które śledzą postęp w osiąganiu celów wydajności obciążenia. Metryki te zapewniają wymierny sposób mierzenia i poprawy wydajności.
Identyfikując kluczowe metryki, na których należy się skupić, należy wziąć pod uwagę metryki związane z pojemnością, czasem reakcji, współczynnikiem odchylenia oraz zaangażowaniem i wynikami:
Wydajność: przepływność i współbieżność to przykładowe metryki wydajności. Przepływność odnosi się do możliwości obsługi określonej liczby transakcji w danym okresie. Na przykład agent może obsłużyć 200 000 sesji czatu miesięcznie. Weź również pod uwagę wahania sezonowe i przewidywany maksymalny szczyt jednoczesnych rozmów. Współbieżność jest miarą jednoczesnego użytkownika lub akcji. Na przykład agent może obsłużyć maksymalnie 5000 jednoczesnych czatów w szczycie sezonu. Zrozumienie woluminów docelowych pomaga zweryfikować architekturę docelową i skalę.
Czas odpowiedzi: opóźnienie i czas ładowania to typowe metryki czasu odpowiedzi. Opóźnienie to czas odpowiedzi na żądanie (200 milisekund). Czas ładowania to czas, w którym agent staje się aktywny i odpowiada na pierwszą wiadomość. Zapoznaj się z oczekiwanym maksymalnym opóźnieniem agenta do odpowiadania na zapytania i zdefiniuj podejście do obsługi długotrwałych akcji (na przykład oczekiwania na zwrócenie danych przez system zewnętrzny).
Wskaźnik odchylenia: w kontekście konwersacyjnej AI odchylenie jest wskaźnikiem reprezentującym procent żądań realizowanych w sposób samoobsługowy, które w przeciwnym razie byłyby obsługiwane przez pracowników działu obsługi klienta. Innymi słowy, odnosi się do liczby zadań, z którymi zespół nie musi się już mierzyć dzięki automatyzacji. Optymalizacja wskaźnika odchylenia agenta jest jednym z głównych obszarów, na których skupiają się organizacje, aby osiągnąć swoje cele biznesowe, od zwrotu z inwestycji (ROI) i zadowolenia klienta (CSAT) po poprawę ogólnej wydajności agenta. Microsoft Copilot Studio zawiera przegląd wydajności agenta, w tym kluczowe wskaźniki, takie jak współczynnik rozwiązywania problemów, współczynnik eskalacji i CSAT.
Zaangażowanie i wyniki: śledzenie zaangażowania w konwersację i jej wyników to klucz do mierzenia wskaźników wydajności agent i identyfikowania obszarów wymagających poprawy. Dowiedz się więcej w tematach Mierzenie zaangażowania agentów i Mierzenie wyników agentów.
Planowanie wydajności
Zasoby w tym zakresie mają ograniczenia wydajności. Ograniczenia wydajności mają zastosowanie do funkcji w każdej usłudze. Należy poznać ograniczenia zasobów w obciążeniach i uwzględniać te ograniczenia w decyzjach dotyczących projektowania. Można na przykład sprawdzić, czy ograniczenia zasobów wymagają zmiany podejścia projektowego lub zmiany zasobów w całości.
- Zapoznaj się z woluminami docelowymi. Woluminy docelowe pomagają zweryfikować skalę i arcnitektuę docelową, aspekty licencjonowania agenta i potencjalny wpływ na magazyn Dataverse na potrzeby transkrypcji konwersacji.
- Zapoznaj się z limitami platformy. W przypadku integrowania obciążenia aplikacji inteligentnej z systemami zewnętrznymi, na przykład za pośrednictwem żądań HTTP lub Power Automate, ważne jest, aby sprawdzić, czy każdy składnik może obsłużyć obciążenie.
- Zidentyfikuj wąskie gardła. Mierz przepustowość i czasy odpowiedzi, aby zidentyfikować składniki systemu, które mogą stać się problematyczne wraz ze wzrostem obciążenia. Zidentyfikuj wąskie gardła w kompleksowym procesie, korzystając z możliwości analizy eksploracji procesów, takich jak ponowne przetworzenie i analiza głównej przyczyny.
Więcej informacji: Rekomendacje dotyczące planowania wydajności
Monitorowanie wydajności
Optymalizacja wydajności wymaga danych w celu oceny bieżącej wydajności obciążenia lub przepływu w stosunku do jego wartości docelowych wydajności. Zbierz wystarczającą ilość i różnorodność danych, aby dokładnie zmierzyć wydajność kodu i infrastruktury w odniesieniu do ustalonych celów wydajności. Upewnij się, że każdy składnik i przepływ w ramach obciążenia automatycznie generują stałe i znaczące metryki i dzienniki.
Czujnie monitoruj wydajność obciążenia inteligentnej aplikacji, aby upewnić się, że działa ona z najwyższą skutecznością i wydajnością.
Copilot Studio zapewnia kompleksową i gotową do użycia analizę, która pozwala zrozumieć użycie agentów i ich kluczowe wskaźniki wydajności.
Możesz przeglądać raporty związane z:
- Wydajność i użycie
- Zadowolenie klienta
- Informacje o sesji
- Użycie tematów
- Rozliczone sesje
Oprócz funkcji macierzystej analizy dostępnej w Copilot Studio istnieje również możliwość wysyłania danych telemetrycznych do usługi Application Insights. Dowiedz się więcej w temacie Przechwytywanie danych telemetrycznych za pomocą Application Insights. Ciągłe monitorowanie wydajności i wykrywanie anomalii przy użyciu narzędzi, takich jak Azure Monitor, Log Analytics, Application Insights i alerty.
Zdefiniuj kluczowe wskaźniki wydajności (KPI), które zamierzasz monitorować w celu mierzenia powodzenia obciążenia aplikacji inteligentnej, takie jak współczynnik zaangażowania, współczynnik rozwiązywania i współczynnik odchylenia. Najpierw przejrzyj natywne pulpity nawigacyjne, aby zrozumieć dostępne dane. Następnie zdecyduj, czy utworzenie raportu niestandardowego lepiej odpowiada Twoim konkretnym potrzebom.
Więcej informacji:
Ciągła optymalizacja wydajności
Proaktywna optymalizacja wydajności obejmuje wdrożenie środków mających na celu poprawę i zwiększenie wydajności obciążenia, zanim pojawią się jakiekolwiek problemy. Proaktywne środki obejmują identyfikowanie potencjalnych wąskich gardeł, monitorowanie metryk wydajności i wdrażanie optymalizacji w celu zapewnienia, że obciążenie działa wydajnie i spełnia cele wydajności.
Aby stale rozszerzać obciążenie aplikacji inteligentnych, zaplanuj regularne przeglądy wydajności agenta:
| Wskaźnik wydajności | Definicja |
|---|---|
| Współczynnik rozwiązywania | Procent żądań użytkowników, które zostały pomyślnie rozwiązane przez agent bez konieczności eskalacji do przedstawiciela działu obsługi klienta. |
| Częstość interakcji | Odsetek wszystkich sesji z interakcją. Sesja jest uznawana za zaangażowaną, gdy użytkownik wchodzi w interakcję z agent w znaczący sposób, na przykład wyzwalając temat niesystemowy, eskalując sesję lub wywołując temat zastępczy. |
| Współczynnik porzucania | Odsetek sesji z interakcją, które zakończyły się bez rozwiązania lub eskalacji. Zasadniczo mierzy, jak często użytkownicy opuszczają lub przestają wchodzić w interakcję z agent, zanim ich problem zostanie rozwiązany lub przekazany przedstawicielowi. |
| Współczynnik eskalacji | Procent sesji z interakcją, które zostały eskalowane do przedstawiciela. Ta metryka jest kluczem do zrozumienia, jak często agent nie jest w stanie samodzielnie rozwiązać zapytań użytkownika i wymaga interwencji człowieka. |
| Nierozpoznane wypowiedzi | Występuje, gdy agent modelu rozumienia języka naturalnego (NLU) nie może dopasować danych wejściowych użytkownika do żadnej wstępnie zdefiniowanej intencji lub tematu. System nie jest w stanie określić intencji użytkownika na podstawie podanych danych wejściowych. |
| Wynik CSAT | Zadowolenie klienta. |
| Tematy o niskim wskaźniku rozwiązania | Odnosi się do tematów konwersacji, które często nie rozwiązują skutecznie zapytań użytkowników. Tematy te często prowadzą do niezadowolenia użytkowników, porzucenia lub eskalacji do przedstawiciela. |
Ten przegląd pomaga określić priorytety kolejki oczekujących aktualizacji agenta. Jeśli na przykład nierozpoznane wypowiedzi są często eskalowane do pracownika działu obsługi klienta, skorzystaj z okazji, aby poprawić wskaźnik odchylenia. Analizuj wzorce użytkowników, które wyzwalają rezerwowe i nierozpoznane wypowiedzi, oraz trenuj istniejące tematy lub twórz nowe, aby przygotować agenta do lepszego zaspokajania potrzeb użytkowników.
Więcej informacji: