Udostępnij za pośrednictwem

Rekomendacje dotyczące definiowania celów wydajności

  • Artykuł

Dotyczy tej rekomendacji listy kontrolnej wydajności dobrze zaprojektowanej struktury Power Platform:

PE:01 Definiuj wartości docelowe wydajności. Wartości docelowe wydajności powinny być wartościami numerycznymi powiązanymi z wymaganiami obciążenia. Należy zaimplementować wartości docelowe wydajności dla wszystkich przepływów obciążenia.

W tym przewodniku opisano zalecenia dotyczące ustanawiania i ujawniania wartości docelowych wydajności. Wartości docelowe wydajności to metryki definiujące cele wydajności. Metryki te są wyrażane jako pojedyncza wartość numeryczna lub zakres numeryczny. Są to jasne i konkretne metryki, które stale usprawniają działalność. Cele wydajności to numeryczne podstawy usprawnień i pomagają zespołom w wyrównaniu wysiłków na rzecz realizacji określonych celów. W przypadku braku czytelnych celów dotyczących wydajności zespoły mogą nie koncentrować się odpowiednio i nie będą odpowiadać w przypadku problemów z wydajnością. Ustawiając wartości docelowe wydajności, zespoły mogą działać na rzecz realizacji określonych celów i stale usprawniać proces.

Definicje

Termin Definicja
Przepływ danych Przenoszenie danych w systemie lub między systemami.
Zależność Składnik, od którego zależy obciążenie pracą.
Flow W danym obciążeniu szereg operacji wykonujących określoną funkcję. Obejmuje to przenoszenie danych i uruchamianie procesów między składnikami obciążenia. Mimo że "przepływ" może zasugerować przepływ Power Automate, w tym kontekście odnosi się to do sekwencji ogólnej, która nie jest powiązana z określoną implementacją.
Metryki Wartości numeryczne, które są zbierane w regularnych interwałach. Metryki opisują niektóre aspekty systemu w danym czasie.
Wartości docelowe wydajności Metryki definiujące cele wydajności. Metryki te są wyrażane jako pojedyncza wartość numeryczna lub zakres numeryczny.
Przepływ użytkownika Ścieżki lub sekwencje akcji podejmowanych przez użytkowników w aplikacji lub w systemie.
Przepływ Sekwencja kroków, która jest uruchamiana w celu wykonania zadania.

Kluczowe strategie projektowania

Ustalenie wartości docelowych wydajności to niezbędny krok wydajności obciążenia. Wartości docelowe wydajności definiują żądany poziom wydajności dla obciążenia i ułatwiają określenie jego skuteczności w realizacji tych celów. Wartości docelowe wydajności stanowią test porównawczy w celu oceny i porównywania wydajności obciążenia. Ten test porównawczy może pomóc w wyróżnieniu obszarów do ulepszenia. Cele są również wyrównane z celami organizacji i mają pozytywny wpływ na wyniki biznesowe. Ponadto cele wydajności oferują wskazówki w zakresie alokacji zasobów, co pozwala zagwarantować, że obciążenia mogą dostosowywać się do różnych wymagań przy jednoczesnym zachowaniu optymalnej wydajności.

Wczesne ustawianie wartości docelowych wydajności

Przed wdrożeniem obciążenia należy ustawić wartości docelowe wydajności. Wartości docelowe wydajności wymagają badania. Przekieruj badania rynku, analizy konkurencyjności i ankiety, aby wygenerować zakresy docelowe wydajności. W przypadku istniejącego obciążenia produkcyjnego, który nie ma wartości docelowych wydajności, należy użyć danych produkcyjnych i opinii użytkowników w celu ustanowienia wartości docelowych wydajności.

Określanie wymagań dotyczących wydajności

Określanie wymagań dotyczących wydajności polega na identyfikowaniu podstawowych metryk wydajności, takich jak czas odpowiedzi, przepływność i opóźnienie, które są krytyczne dla obciążenia. Wyrównanie tych celów wydajności z celami biznesowymi organizacji zapewnia, że obciążenie pracą spełnia wymagane standardy, zarówno dla produktu najwyższej klasy, jak i średnich. Można na przykład zmniejszyć czas odpowiedzi, zwiększyć wydajność lub zoptymalizować użycie zasobów.

Podczas ustalania celów wydajności ważne jest dostosowanie celów organizacji do różnych potrzeb bazy użytkowników. Użytkownicy ostatecznie określają powodzenie działania i określają konieczność wyrównania celów wydajności z oczekiwaniami. Ta równowaga gwarantuje, że wartości docelowe wydajności będą przechwytywać zamierzone działanie użytkownika oraz ogólną wydajność obciążenia.

Aby kompleksowo ocenić i zoptymalizować wydajność obciążenia, należy rozważyć ustawienie wartości docelowych wydajności dla następujących celów:

  • Poszczególne składniki: poszczególne składniki to oddzielne jednostki lub segmenty obciążenia, które potencjalnie mają różne atrybuty i wymagania dotyczące wydajności.
  • Przepływyużytkowników: te ścieżki pokazują sposób, w jaki użytkownicy będą przechodzić przez obciążenia i zapewnić ich łatwość obsługi.
  • Przepływy pracy: wewnętrzne procesy zdefiniowane w przepływie pracy są definiowane w celu uzyskania określonych wyników i często określają wydajność działania.
  • Przepływy danych: przepływy danych odwołują się do źródła i interakcji danych w obciążeniach, co pomaga w identyfikowaniu potencjalnych nieefektywności i spisów.
  • Zależności zewnętrzne: zależności zewnętrzne to elementy poza głównym obciążeniem (zintegrowane usługi lub narzędzia innych firm), które mogą znacząco wpłynąć na wydajność.
  • Poziomy technologii: poziomy technologii to bezpośrednie wskaźniki wydajności, takie jak szybkość dostępu do interfejsów API, opóźnienia w operacji bazy danych i potencjalne opóźnienia w sieci.
  • Transakcje biznesowe: bezproblemowe wykonywanie transakcji biznesowych między użytkownikami końcowymi, takich jak zrealizowanie zakupu lub rezerwacja usługi, jest bezpośrednio związane z zadowoleniem użytkownika.
  • Wszystkie obciążenia: ta całościowa metryka umożliwia omówienie zbiorczej wydajności obejmującej wszystkie składniki i aspekty obciążenia.

Identyfikowanie kluczowych metryk

Identyfikowanie kluczowych metryk wydajności obejmuje określenie niezbędnych miar śledzonych postępów w osiąganiu celów wydajności w zakresie obciążenia. Jest to mierzalna możliwość oceny i poprawienia wydajności.

Podczas identyfikowania kluczowych metryk, na których należy się skoncentrować, należy rozważyć metryki dotyczące dostępności, wydajności i czasu odpowiedzi:

  • Dostępność: wskaźnik błędów to metryka wydajności dostępności. Poziom błędu przedstawia procent żądań, które zakończyły się niepowodzeniem w określonym okresie. Często spotykaną wartością docelową błędu jest 0,1 procent żądań.

  • Wydajność: przepływność i współbieżność to przykładowe metryki wydajności. Przepływność odnosi się do możliwości obsługi określonej liczby transakcji w danym okresie. Na przykład integracja aplikacji z systemem zewnętrznym może być potrzebna do zapewnienia 10 milionów transakcji aktualizacji na miesiąc. Współbieżność jest miarą jednoczesnego użytkownika lub akcji.

  • Czas odpowiedzi: opóźnienie i czas ładowania to typowe metryki czasu odpowiedzi. Opóźnienie to czas odpowiedzi na żądanie (200 milisekund). Czas ładowania to czas, przez który aplikacja lub strona sieci Web muszą być interaktywne. Typowe wartości docelowe to 99% żądań wyszukiwania klientów skierowanych do klientów w ciągu mniej niż 2 sekundy.

  • Współczynnik odchylenia: w kontekście konwersacyjnej AI odchylenie mierzy procent żądań zrealizowanych za pośrednictwem samoobsługi, które w przeciwnym razie byłyby obsługiwane przez prawdziwych przedstawicieli. Innymi słowy, wskazuje liczbę zadań, które można zautomatyzować, zmniejszając obciążenie zespołu. Optymalizacja wskaźnika odchylenia agenta jest jednym z głównych obszarów, na których skupiają się organizacje, które chcą osiągnąć swoje cele biznesowe w zakresie zwrotu z inwestycji (ROI) i zadowolenia klienta (CSAT), a także poprawy ogólnej wydajności agenta. Kluczowe wskaźniki Copilot Studio, które pomagają poprawić wydajność agenta, obejmują współczynnik rozwiązywania problemów, współczynnik eskalacji i CSAT.

Ustawianie określonych wartości

Po zidentyfikowaniu kluczowych metryk należy określić wartości docelowe wydajności lub wartości progowe dla każdej metryki. Wartości docelowe wydajności powinny być mierzalne, realistyczne i zgodne z celami obciążenia. Na przykład można ustawić docelowy czas odpowiedź mniejszy niż 500 milisekund (ms) lub docelowy poziom błędu mniejszy niż 1 procent.

Należy unikać jakościowego oceniania wydajności. Na przykład użytkownicy mają różne opinie o tym, co oznacza szybko lub wolno. Interesariusze muszą ustalić, co to jest "szybko" i jak to mierzyć.

Korzystając z wartości numerycznych, można celowo oceniać wydajność w czasie. Podczas ustawiania określonych wartości docelowych wydajności należy rozważyć następujące zalecenia:

  • Rozważużytkownika: ustawiając wartości docelowe wydajności, trzeba określić perspektywę cenną dla użytkownika. Rozpoznanie użytkownika jako grupy wydajności pomaga zagwarantować, że wartości docelowe wydajności są zgodne z oczekiwaniami użytkownika. To dostosowanie obejmuje rozważanie zarówno celów organizacyjnych, jak i różnych wymagań bazy użytkowników. Podczas integrowania tych dwóch aspektów można dostosować wartości docelowe wydajności do żądanego interfejsu i ogólnego obciążenia. Definiując cele wydajności uwzględniające oczekiwania użytkowników, można starać się zapewnić użytkownikom wysokiej jakości interfejs i spełnić potrzeby użytkowników. Należy jednak uważnie zadawać użytkownikom pytań dotyczące wymagań w zakresie wydajności. Mogą wystarczyć, że chcą, aby system był "jak najszybszy", co nie jest możliwe. Należy spróbować ustalić, co ich zdaniem działa zbyt wolno lub jak wygląda ich zbyt wolne działanie i działać wstecz od tego punktu. Dzięki temu wymagania będą bardziej realistyczne.

  • Rozważzadania: weź pod uwagę różne zadania, które użytkownicy wykonają z systemem. Niektóre zadania są ważniejsze niż inne z punktu widzenia wydajności. Na przykład sprzedawca, który chce szybko sprawdzić informacje dotyczące klienta, musi szybko uzyskać wyższą wydajność niż ten sam użytkownik, który patrzy na miesięczny raport sprzedaży. Skoncentruj się na zadaniach o znaczeniu krytycznym dla wydajności i upewnij się, że spełniają one wymagania. W przypadku każdego zadania o znaczeniu krytycznym należy porozmawiać z użytkownikami o tym, jak długo ich zdaniem będą one trwać. Mów konkretnie i skoncentruj się na jednym z zadań jednocześnie. Na końcu będą spełnione różne wymagania dotyczące różnych zadań w tym samym zakresie, co ma sens.

  • Użyj percentyli: percentyle, takie jak P99, P95 i P50, są często używane do prezentowania wyników oceny wydajności. Zawierają one informacje o części danych uwzględniających liczbę. Na przykład P99 zawiera 99% danych. Użyj wartości percentilowych, a nie prostych średnich, aby zapewnić bardziej kompleksowe zrozumienie wydajności prac. W celu zmierzenia percentyli należy zbierać dane dotyczące wydajności w czasie, zazwyczaj przy użyciu narzędzi monitorowania lub mechanizmów rejestrowania. Następnie należy analizować te dane w celu określenia czasu odpowiedzi dla różnych percentyli.

  • Ustaw osiągalne cele: rozważ plan bazowy wydajności usług, z których korzystasz, i ustaw cele, które można określić. Podczas korzystania z usług podstawowej platformy nie należy ustawiać celów powiązanych z czynnikami, których nie można kontrolować. Na przykład ustawienie wartości docelowej 200 ms dla obciążenia ekranu będzie błędem, jeśli podstawowa wydajność wynosi już 250 ms, zanim będzie można wykorzystać logikę niestandardową.

Dokumentuj i uwidocznij wartość docelową wydajności

Dokumentowanie i udostępnianie wartości docelowych wydajności dotyczy rejestrowania wszystkich celów wydajności w scentralizowanej lokalizacji. Realizacja celów wydajności to wspólna odpowiedzialność między zespołami projektowania i operacji. Aby zapewnić spójne spełnianie lub przekraczanie wartości docelowych, zespoły mają dostęp do informacji i dostęp do akcji.

Aby dokumentować i ujawniać wartości docelowe, należy rozważyć następujące zalecenia:

  • Dokumentowanie wartości docelowe wydajności: dokumentuj wszystkie wartości docelowe wydajności. Upewnij się, że wszystkie cele wydajności są dokumentowane w scentralizowanej lokalizacji, łatwo dostępne dla zespołów programistów i zespołów operacyjnych. Promuje to wyrównanie i podejmowanie decyzji w czasie rzeczywistym.

  • Uwidocznij wartości docelowe wydajności: wszystkie odpowiedzialne zespoły powinny mieć możliwość przeglądania i tworzenia zadań, które można tworzyć z wartości docelowych wydajności. W celu ułatwienia dostępu do celów wydajności można używać pulpitów nawigacyjnych i raportów.

  • Określ czynność jako praktyczną: dokumentacja i informacje powinny zasugerować kolejne kroki. Na przykład wzrost liczby błędów może spowodować natychmiastowe sprawdzenie lub spójną realizację celu, może zasugerować ponowną ocenę tych testów porównawczych.

Ocena opinii użytkownika

Ocena opinii użytkowników obejmuje aktywne szukanie i analizowanie odpowiedzi i sugestii użytkowników. Aktywne zebranie i analizowanie opinii użytkowników daje cenną wiedzą na temat ich potrzeb i oczekiwań. Regularna komunikacja pomaga w realizacji celów dotyczących wydajności zgodnie ze zmieniającymi się preferencjami i trendami technologicznymi. Skupienie się na potrzebach użytkowników oznacza, że obciążenia nie tylko są wyrównane z testami technicznymi, ale są również stale precyzowane. Takie podejście, które pozwala zagwarantować zadowolenie użytkowników, pozwala zagwarantować, że przy dłuższym uruchomieniu obciążenia nie są ważne i skuteczne.

Ułatwienia Power Platform

Power Platform integruje się z programem Application Insights, będącego częścią ekosystemu Azure Monitor. Azure Monitor to usługa monitorowania pełnego stosu, która udostępnia pełny zestaw funkcji monitorowania zasobów i mierzenia wartości docelowych wydajności. Azure Monitor zbiera metryki platformy i udostępnia gotowe do użycia pulpity nawigacyjne. Umożliwia skonfigurowanie alertów na podstawie metryk, a także przechowuje i koreluje metryki, aby zapewnić jedno źródło rzeczywistości. Aby uzyskać informacje na temat sposobu logowania i analizowania standardowych zdarzeń telemetrycznych i niestandardowych zadań śledzenia, zobacz Analizowanie dzienników generowanych przez system w Application Insights.

Power Platform zapewnia spójną dostępność i wydajność, stosując limity ochrony usług. Te ograniczenia są zazwyczaj na tyle duże, że w trakcie normalnej pracy nie będą napotkane w obciążeniach. Można jednak trafić na nie, jeśli w obciążeniach są przetwarzane duże ilości danych, operacje zbiorcze lub migracje danych. Jeśli jesteś deweloperem obciążenia, musisz wiedzieć, jak są wymuszane ograniczenia dotyczące ochrony usług i jak projektować obciążenie w celu ograniczenia prawdopodobieństwo ich przekroczenia. Należy także zaplanować sposób obsługi ograniczeń ich wystąpienia. Aby uzyskać więcej informacji, zobacz:

Usługa Copilot Studio oferuje kompleksowy zestaw analiz identyfikujących kluczowe wskaźniki wydajności dla agenta. Na wielu wykresach pokazano trendy i użycie tematów agenta. Te wykresy za pomocą AI wyróżniają tematy mające największy wpływ na wydajność agenta. Możesz również zaprojektować niestandardową strategię analizy, aby utworzyć raport, który nie jest objęty gotową analizą.

Lista kontrolna efektywności wydajności

Zapoznaj się z kompletną zestawem zaleceń.

Lista kontrolna efektywności wydajności