Automatyzowanie używania elementów interfejsu użytkownika

Przepływ pulpitu wykorzystuje elementy UI do interakcji z aplikacjami i stronami internetowymi bez uciekania się do rozpoznawania obrazów i współrzędnych bezwzględnych. Elementy interfejsu użytkownika są używane jako dane wejściowe w większości akcji automatyzacji UI i automatyzacji przeglądarki oraz identyfikują konkretne elementy w oknach i na stronach internetowych.

Elementy interfejsu użytkownika

Podczas wdrażania akcji automatyzacji interfejsu użytkownika lub przeglądarki może być wymagane podanie elementu interfejsu użytkownika jako danych wejściowych. Aby dodać nowy element UI, możesz to zrobić bezpośrednio z właściwości akcji lub poprzez panel elementów UI w projektancie przepływu.

Każda z tych grup akcji akceptuje inny typ elementów interfejsu użytkownika. Akcje automatyzacji interfejsu użytkownika akceptują elementy interfejsu użytkownika pulpitu, podczas gdy akcje automatyzacji przeglądarki akceptują elementy interfejsu użytkownika sieci Web.

Aby dodać nowy element interfejsu użytkownika do swojego przepływu, wybierz opcję dodania nowego elementu interfejsu użytkownika przez akcję lub panel elementów interfejsu użytkownika, zaznacz odpowiedni element i naciśnij Ctrl + lewy przycisk myszy. Po zakończeniu wyboru wybierz opcję Zakończono.

Wszystkie przechwycone elementy UI zostaną dodane do panelu elementów UI. Aby uzyskać dostęp do okienka elementów interfejsu użytkownika, wybierz kartę elementów interfejsu użytkownika po prawej stronie projektanta przepływu.

Elementy można sortować alfabetycznie za pomocą opcji Sortuj w zakładce Elementy UI. Aby usunąć wszystkie elementy UI, które nie są używane w żadnej akcji, wybierz ikonę kropki obok opcji Sortuj, a następnie Usuń nieużywane elementy UI.

Aby zmienić nazwę lub usunąć element UI, kliknij prawym przyciskiem myszy na danym elemencie i wybierz odpowiednią funkcję.

Aby znaleźć w przepływie używany określony element interfejsu użytkownika, kliknij go prawym przyciskiem myszy i wybierz opcję Znajdź użycie. W wynikach zostaną wyświetlone wszystkie akcje, które używają tego elementu UI. Kliknij dwukrotnie na wynik, aby zaznaczyć akcję na obszarze roboczym.

Typy interfejsu użytkownika

Przepływy pulpitu obsługują dwa typy elementów interfejsu użytkownika oparte na ich źródle: pulpity i elementy interfejsu użytkownika sieci Web.

Elementy interfejsu użytkownika pulpitu mogą być przechwytywane z dowolnej aplikacji systemu Windows, w tym z części przeglądarek niebędących stronami internetowymi, takich jak pasek adresu.

Możesz użyć tych elementów interfejsu użytkownika jako danych wejściowych w akcjach automatyzacji interfejsu użytkownika, aby wskazać składnik, z którym chcesz wchodzić w interakcję. S wyboru elementów interfejsu użytkownika akcji automatyzacji interfejsu użytkownika jest wyświetlany i umożliwia przechwytywanie tylko elementów pulpitu interfejsu użytkownika.

Ważne

Użytkownicy mogą przechwytywać elementy ze stron internetowych za pomocą selektora elementów interfejsu użytkownika akcji automatyzacji interfejsu użytkownika. Jednak ich selektory będą reprezentować elementy pulpitu, a nie elementy sieci web.

Elementy interfejsu internetowego można przechwytywać ze stron internetowych i używać tylko w akcjach automatyzacji przeglądarki.

Akcje automatyzacji przeglądarek akceptują wyłącznie elementy UI przechwycone ze stron internetowych. W związku z tym istniejące elementy interfejsu użytkownika przechwycone z aplikacji komputerowych nie są wyświetlane w selektorze elementów interfejsu użytkownika tych akcji.

Aby uzyskać więcej informacji na temat automatyzacji pulpitu i sieci web, zobacz temat Automatyzowanie przepływów pulpitu i Automatyzowanie przepływów sieci web.

Elementy interfejsu użytkownika dla stron internetowych

Aby przechwycić element UI ze strony internetowej, musisz zainstalować odpowiednie rozszerzenie do przeglądarki. Więcej informacji na temat obsługiwanych przeglądarek i wymaganych rozszerzeń znajdziesz w sekcji Używanie przeglądarek i zarządzanie rozszerzeniami.

Odróżnienie pulpitu od elementów interfejsu użytkownika sieci Web

Okienko elementów interfejsu użytkownika wyświetla charakterystyczne oznaczenia wizualne, które pomagają użytkownikom szybko rozpoznać elementy interfejsu użytkownika na pulpicie i w sieci Web.

Te same ikony są również wyświetlane podczas przechwytywania, dzięki czemu można potwierdzić typ elementu przed jego zapisaniem.

Inną metodą sprawdzenia typu elementu interfejsu użytkownika jest przejrzenie jego selektorów. Elementy interfejsu użytkownika pulpitu zwykle mają pulpit jako element nadrzędny, podczas gdy elementy internetowego interfejsu użytkownika mają stronę internetową jako element główny.

Elementy interfejsu użytkownika w oknach przeglądarek

Część aplikacji przeglądarki (1) powinna być zautomatyzowana przy użyciu elementów interfejsu użytkownika na pulpicie. Na przykład możesz użyć akcji automatyzacji interfejsu użytkownika do interakcji z paskiem adresu lub kartami.

Z drugiej strony ładowane strony internetowe w przeglądarce (2) powinny być zautomatyzowane za pomocą elementów interfejsu internetowego i akcji automatyzacji przeglądarki.

Podczas rejestrowania rejestrator automatycznie odróżni obszar aplikacji przeglądarki od stron internetowych i wygeneruje odpowiednie elementy i akcje interfejsu użytkownika.

Interakcje z elementami interfejsu użytkownika typu "przeciągnij i upuść" mogą nie działać zgodnie z oczekiwaniami ze względu na ich nieodłączne ograniczenia. Aby obejść ten problem, należy przechwycić elementy interfejsu użytkownika pulpitu na stronie internetowej, otwierając selektor elementów interfejsu użytkownika za pomocą akcji z grupy automatyzacji interfejsu użytkownika, wybierając Dodaj element interfejsu użytkownika w parametrze UI element. Przechwycony element interfejsu użytkownika jest typu desktop i może być użyty w akcji Drag and drop UI element in window. Należy pamiętać, że elementy interfejsu użytkownika dla komputerów stacjonarnych mogą być używane tylko w akcjach z grupy akcji automatyzacji interfejsu użytkownika programu Power Automate for Desktop. Ważne jest, aby pamiętać, że elementy interfejsu użytkownika na komputerach stacjonarnych na stronach internetowych nie są tak niezawodne jak ich odpowiedniki internetowe i podlegają szczegółom aplikacji przeglądarki, takim jak wersja przeglądarki.

Właściwości elementów UI

Wszystkie elementy interfejsu użytkownika składają się z co najmniej jednego selektora wskazującego interfejs użytkownika lub składnik sieci Web, z którym współdziała usługa Power Automate.

Uwaga

Użytkownicy mogą tworzyć wiele selektorów dla elementu interfejsu użytkownika. Kiedy selektor kończy się niepowodzeniem, w określonej kolejności Power Automate używa następującego selektora.

Aby zarządzać selektorami elementu interfejsu użytkownika, kliknij go prawym przyciskiem myszy i wybierz Edytuj. Ta opcja powoduje wyświetlenie konstruktora selektorów, w którym możesz edytować selektory za pomocą edytora wizualnego lub tekstowego.

Każdy selektor składa się z wielu elementów reprezentujących hierarchiczną strukturę elementu interfejsu użytkownika w aplikacji lub na stronie internetowej. Atrybuty opisują każdy element jednoznacznie i odróżniają go od innych elementów.

Wszystkie selektory są wyświetlane z domyślną przyjazną nazwą, dzięki czemu są one łatwo dostępne. Aby zmienić nazwę selektora, kliknij prawym przyciskiem myszy jego nazwę i wybierz opcję Zmień nazwę.

Gdy edytujesz element interfejsu użytkownika z wieloma selektorami, możesz wyłączyć selektor, klikając go prawym przyciskiem myszy i wybierając Wyłącz. Ta funkcja może być pomocna podczas testowania.

Po edycji selektorów naciśnij Zapisz, aby zastosować wprowadzone zmiany. Zapisanie powoduje zastosowanie zmian we wszystkich selektorach w jednym kroku.

Możesz znaleźć więcej informacji na temat selektorów i sposobu ich ręcznego tworzenia w Zbuduj niestandardowy selektor.

Elementy interfejsu użytkownika z selektorami opartymi na tekście

Poza domyślnym sposobem generowania selektorów elementów interfejsu użytkownika usługa Power Automate obsługuje tworzenie selektorów na podstawie wartości tekstowej elementu.

Ta funkcja jest pomocna w scenariuszach automatyzacji, w których elementy aplikacji klasycznych lub strony internetowej zawsze mają określony tekst. Selektory oparte na tych działaniach są bardziej wiarygodne i odporne, aby wprowadzić możliwe w przyszłości zmiany w strukturze aplikacji lub strony internetowej.

Generowanie selektorów opartych na tekście jest dostępne tylko podczas przechwytywania elementów interfejsu użytkownika przy użyciu selektora elementów interfejsu użytkownika (okienko elementów interfejsu użytkownika lub akcje automatyzacji przeglądarki/interfejsu użytkownika). Ta opcja nie jest dostępna podczas nagrywania.

Aby przechwytywać element interfejsu użytkownika za pomocą selektora opartego na tekście, otwórz selektor elementu interfejsu użytkownika, kliknij prawym przyciskiem myszy żądany element i wybierz polecenie Przechwytywanie na podstawie tekstu.

Następnie na ekranie pojawi się nowe okno z dwoma polami:

• Pole Wartość tekstu zawiera tekst elementu jako proponowaną wartość. Tę wartość można zmienić na wartość zakodowaną na stałe lub zmienną.
• Pole Operator można ustawić na różne operatory, aby dostosować funkcjonalność selektora.

Wybranie opcji Przechwytywanie spowoduje dodanie elementu interfejsu użytkownika z właściwym selektorem opartym na tekście w repozytorium elementów interfejsu użytkownika.

Selektory oparte na tekście używają atrybutu Nazwa przechwytywanego elementu w celu automatyzacji pulpitu i atrybutu Tekst w celu automatyzacji przeglądarki. Są one dostępne tylko dla elementów interfejsu użytkownika, które same zawierają wartość tekstową.

Innymi słowy, są one dostępne dla elementów interfejsu użytkownika z atrybutem Nazwa lub Tekst, który zawiera wartość. Nie są dostępne dla elementów, które nie mają takiej wartości tekstowej, nawet jeśli mają w swojej strukturze elementy podrzędne z tekstem.

Uwaga

W przypadku aplikacji SAP selektory oparte na tekście używają atrybutu Tekst zamiast atrybutu Nazwa , który jest zazwyczaj stosowany w automatyzacji pulpitu. Automatyzacja SAP działa efektywniej z domyślnymi selektorami na podstawie atrybutu Identyfikator.

Znane problemy i ograniczenia

• Jeśli wybierzesz opcję Dodaj element interfejsu użytkownika, zatrzymaj kursor nad całym oknie i wybierzesz opcję przechwytywania elementu interfejsu użytkownika na podstawie tekstu, zostanie wygenerowany domyślny selektor. Ten selektor zawiera atrybut Proces oprócz atrybutu Nazwa.

• Kombinacja zmiennej i operatora innego niż Równa się generuje selektor wyświetlany w edytorze tekstu niestandardowego zamiast w konstruktorze wizualnym. Ta funkcjonalność pozwala uniknąć istniejących ograniczeń, które sprawiają, że powyższa kombinacja nie działa w kreatorze wizualnym.