Optymalizacja wydajności dla inteligentnych obciążeń aplikacji
Wydajność to zdolność obciążenia do efektywnego skalowania w celu spełnienia wymagań stawianych mu przez użytkowników. Monitorowanie wydajności obciążenia aplikacji inteligentnej ma kluczowe znaczenie dla zapewnienia, że działa ona skutecznie i wydajnie.
Zespół ds. obciążeń musi ustalić kluczowe wskaźniki wydajności, regularnie przeglądać wydajność systemu i szybko diagnozować wszelkie problemy. Skuteczne procedury monitorowania i diagnostyki pomagają utrzymać niezawodność systemu i zadowolenie użytkowników.
Definiowanie celów w zakresie wydajności
Identyfikacja kluczowych wskaźników wydajności polega na określeniu podstawowych pomiarów, które śledzą postęp w osiąganiu celów dotyczących wydajności obciążeń. Te metryki zapewniają wymierny sposób mierzenia i poprawy wydajności wydajności.
Identyfikując kluczowe wskaźniki, na których należy się skupić, należy wziąć pod uwagę metryki związane z wydajnością, czasem odpowiedzi, współczynnikiem odchylenia oraz zaangażowaniem i wynikami:
Pojemność: przepływność i współbieżność to przykładowe metryki pojemności. Przepustowość odnosi się do zdolności do obsługi określonej liczby transakcji w danym przedziale czasu. Na przykład drugi pilot może obsłużyć 200 000 sesji czatu miesięcznie. Weź również pod uwagę wahania sezonowe i przewidywany maksymalny szczyt jednoczesnych rozmów. Współbieżność jest miarą jednoczesnych użytkowników lub akcji. Na przykład drugi pilot może obsłużyć maksymalnie 5 000 jednoczesnych czatów w szczycie sezonu. Zrozumienie woluminów docelowych pomaga zweryfikować architekturę docelową i skalę.
Czas odpowiedzi: Opóźnienie i czas ładowania to typowe wskaźniki czasu odpowiedzi. Opóźnienie to czas potrzebny na odpowiedź na żądanie (200 milisekund). Czas ładowania to czas potrzebny drugiemu pilotowi na uaktywnienie się i odpowiedź na pierwszą wiadomość. Zapoznaj się z oczekiwanym maksymalnym opóźnieniem odpowiadania na zapytania przez drugiego pilota i zdefiniuj podejście do obsługi długotrwałych akcji (na przykład oczekiwanie na zwrócenie danych przez system zewnętrzny).
Współczynnik odchylenia: W kontekście konwersacyjnej sztucznej inteligencji odchylenie jest wskaźnikiem reprezentującym procent żądań, które są realizowane w sposób samoobsługowy, które w przeciwnym razie byłyby obsługiwane przez agentów na żywo. Innymi słowy, odnosi się do liczby zadań, z którymi zespół nie musi się już mierzyć dzięki automatyzacji. Optymalizacja współczynnika ugięcia drugiego pilota jest jednym z głównych obszarów, na których organizacje koncentrują się w celu osiągnięcia swoich celów biznesowych, od zwrotu z inwestycji (ROI) i zadowolenia klienta (CSAT) po poprawę ogólnej wydajności drugiego pilota. Copilot Studio zapewnia przegląd wydajności drugiego pilota, w tym kluczowe wskaźniki, takie jak wskaźnik rozwiązywania problemów, współczynnik eskalacji i CSAT.
Zaangażowanie i wyniki: Śledzenie zaangażowania i wyników rozmowy, jest kluczem do pomiaru wskaźników wydajności drugiego pilota i identyfikowania obszarów wymagających poprawy. Dowiedz się więcej w sekcjach Mierzenie zaangażowania drugiego pilota i Mierzenie wyników drugiego pilota.
Planowanie wydajności
Zasoby w tym zakresie mają ograniczenia wydajności. Ograniczenia wydajności mają zastosowanie do funkcji w każdej usłudze. Należy poznać ograniczenia zasobów w obciążeniach i uwzględniać te ograniczenia w decyzjach dotyczących projektowania. Można na przykład sprawdzić, czy ograniczenia zasobów wymagają zmiany podejścia projektowego lub zmiany zasobów w całości.
- Omówienie woluminów docelowych. Woluminy docelowe pomagają zweryfikować architekturę docelową i skalę, aspekty licencjonowania drugiego pilota oraz potencjalny wpływ na Dataverse magazyn transkrypcji konwersacji.
- Zapoznaj się z ograniczeniami platformy. Podczas integrowania obciążenia aplikacji inteligentnej z systemami zewnętrznymi, na przykład za pośrednictwem Power Automate żądań HTTP lub żądań HTTP, ważne jest, aby sprawdzić, czy każdy składnik może obsłużyć obciążenie.
- Zidentyfikuj wąskie gardła. Mierz przepustowość i czasy odpowiedzi, aby zidentyfikować składniki systemu, które mogą stać się problematyczne wraz ze wzrostem obciążenia. Identyfikuj wąskie gardła w kompleksowym procesie, korzystając z funkcji analizy eksploracji procesów, takich jak przeróbki i analiza przyczyn źródłowych.
Dowiedz się więcej: Zalecenia dotyczące planowania wydajności
Monitorowanie wydajności
Optymalizacja wydajności wymaga danych w celu oceny bieżącej wydajności obciążenia lub przepływu w stosunku do jego wartości docelowych wydajności. Zbierz wystarczającą ilość i różnorodność danych, aby dokładnie zmierzyć wydajność kodu i infrastruktury w stosunku do ustalonych celów wydajności. Upewnij się, że każdy składnik i przepływ w ramach obciążenia automatycznie generują stałe i znaczące metryki i dzienniki.
Czujnie monitoruj wydajność obciążenia inteligentnej aplikacji, aby upewnić się, że działa ona z najwyższą efektywnością i wydajnością.
Copilot Studio Zapewnia kompleksowe , gotowe do użycia analizy , które pozwalają zrozumieć użycie drugiego pilota i kluczowe wskaźniki wydajności.
Możesz przeglądać raporty związane z:
- Wydajność i użycie
- Zadowolenie klienta
- Informacje o sesji
- Użycie tematów
- Rozliczone sesje
Oprócz natywnych funkcji analitycznych w środku Copilot Studio możesz wysyłać dane telemetryczne do Application Insights. Dowiedz się więcej w temacie Przechwytywanie danych telemetrycznych za pomocą Application Insights. Stale monitoruj wydajność i wykrywaj anomalie przy użyciu narzędzi, takich jak Azure Monitor, Log Analytics Application Insights i alerty.
Zdefiniuj kluczowe wskaźniki wydajności (KPI), które zamierzasz monitorować, aby zmierzyć powodzenie obciążenia aplikacji inteligentnej, takie jak współczynnik zaangażowania, współczynnik rozwiązywania problemów i współczynnik odchylenia. Najpierw przejrzyj natywne pulpity nawigacyjne, aby zrozumieć dostępne dane. Następnie zdecyduj, czy utworzenie raportu niestandardowego lepiej spełni Twoje konkretne potrzeby.
Więcej informacji:
Ciągła optymalizacja wydajności
Proaktywna optymalizacja wydajności polega na wdrażaniu środków mających na celu poprawę i zwiększenie wydajności obciążenia, zanim pojawią się jakiekolwiek problemy. Proaktywne środki obejmują identyfikowanie potencjalnych wąskich gardeł, monitorowanie wskaźników wydajności i wdrażanie optymalizacji w celu zapewnienia, że obciążenie działa wydajnie i spełnia cele wydajności.
Aby stale zwiększać obciążenie aplikacji inteligentnych, zaplanuj regularne przeglądy wydajności drugiego pilota:
| Wskaźnik wydajności | Definicja |
|---|---|
| Współczynnik rozwiązywania | Procent żądań użytkowników, które zostały pomyślnie rozwiązane przez drugiego pilota bez konieczności eskalacji do agenta ludzkiego. |
| Częstość interakcji | Odsetek wszystkich sesji z interakcją. Sesja jest uznawana za zaangażowaną, gdy użytkownik wchodzi w interakcję z drugim pilotem w znaczący sposób, na przykład wyzwalając temat niesystemowy, eskalując sesję lub wywołując temat rezerwowy. |
| Współczynnik porzucania | Odsetek sesji z interakcją, które zakończyły się bez rozwiązania lub eskalacji. Zasadniczo mierzy, jak często użytkownicy opuszczają lub przestają wchodzić w interakcję z drugim pilotem, zanim ich problem zostanie rozwiązany lub przekazany do agenta ludzkiego. |
| Współczynnik eskalacji | Procent sesji z interakcją, które są eskalowane do agenta ludzkiego. Ta metryka jest kluczem do zrozumienia, jak często drugi pilot nie jest w stanie samodzielnie odpowiadać na zapytania użytkownika i wymaga interwencji człowieka. |
| Nierozpoznane wypowiedzi | Występuje, gdy model rozumienia języka naturalnego (NLU) drugiego pilota nie może dopasować danych wejściowych użytkownika do żadnej wstępnie zdefiniowanej intencji lub tematu. System nie jest w stanie określić intencji użytkownika na podstawie podanych danych wejściowych. |
| Wynik CSAT | Zadowolenie klienta. |
| Tematy o niskiej rozdzielczości | Odnosi się do tematów konwersacji, które często nie rozwiązują skutecznie zapytań użytkowników. Te tematy często prowadzą do niezadowolenia użytkowników, porzucenia lub eskalacji do agentów ludzkich. |
Ten przegląd pomaga określić priorytety zaległości aktualizacji drugiego pilota. Na przykład, jeśli nierozpoznane wypowiedzi są często eskalowane do agenta ludzkiego, skorzystaj z okazji, aby poprawić odchylenie. Analizuj wzorce użytkowników, które wyzwalają odpowiedzi awaryjne i nierozpoznane wypowiedzi, a następnie trenuj istniejące tematy lub twórz nowe, aby wyposażyć drugiego pilota w celu lepszego zaspokajania potrzeb użytkowników.
Więcej informacji: