Udostępnij za pośrednictwem


Rejestrowanie przepływów pulpitu

Power Automate umożliwia automatyczne projektowanie przepływów pulpitu poprzez replikowanie zadań, które chcesz zautomatyzować.

Nagrywanie przepływów pulpitu i przepływów internetowych

Aby nagrać przepływ automatyzujący aplikacje klasyczne i/lub internetowe:

  1. Utwórz nowy przepływ pulpitu i wybierz opcję Rejestrator na pasku narzędzi projektanta przepływów.

    Zrzut ekranu przedstawiający przycisk rejestratora.

  2. Wybierz opcję Nagraj w oknie rejestratora i rozpocznij wykonywanie żądanych akcji w odpowiedniej aplikacji lub na stronie internetowej.

    Zrzut ekranu przedstawiający przycisk Nagraj.

    Rejestrator pozwala śledzić działanie myszy i klawiatury w stosunku do elementów interfejsu użytkownika i rejestruje każdą akcję oddzielnie. Podczas każdej sesji nagrywania rejestrator może tworzyć zarówno akcje automatyzacji interfejsu użytkownika, jak i przeglądarki.

    Uwaga

    Gdy podczas nagrywania klikniesz lewym lub prawym przyciskiem myszy element interfejsu użytkownika, zakreślacz wyświetli komunikat Czekaj na działanie, instruując Cię, aby poczekać, aż rejestrator zarejestruje i wstawi działanie.

    Zrzut ekranu przedstawiający niektóre zarejestrowane kroki.

    Aby wyświetlić dostępne akcje dla określonego elementu, kliknij go prawym przyciskiem myszy, aby otworzyć menu kontekstowe. Dostępne opcje zależą od charakteru wybranego elementu.

    Zrzut ekranu przedstawiający menu kontekstowe rejestrowania.

  3. Po zakończeniu przetwarzania nagrania wybierz przycisk Gotowe, aby przekonwertować zarejestrowane kroki na akcje przepływu pulpitu. Wszystkie elementy UI użyte w wygenerowanym UI i akcjach automatyzacji stron internetowych są automatycznie dodawane do panelu elementów UI. Więcej informacji na temat elementów UI można znaleźć w Automatyzacja z wykorzystaniem elementów UI.

    Zrzut ekranu przedstawiający wygenerowane akcje zarejestrowanego przepływu.

Aby tymczasowo wstrzymać proces rejestrowania, wybierz opcję Wstrzymaj. Aby dodać komentarz do zarejestrowanych akcji, wybierz opcję Dodaj komentarz.

Zrzut ekranu przedstawiający przycisk komentarza.

Replikuj kroki przeciągania i upuszczania

Rejestrator obsługuje kroki związane z przeciąganiem i upuszczaniem wskaźnika myszy; z tego powodu będzie on generować akcje, takie jak Zmień rozmiar okna i Przenieś okno. Obecnie jednak element Przeciągnij i upuść element interfejsu użytkownika akcji okna nie jest obsługiwany.

Obsługa list rozwijanych

Podczas automatyzacji aplikacji komputerowych i internetowych za pomocą rejestratora może być konieczne obsłużenie list rozwijanych.

Rejestrator Power Automate wyświetla niestandardowy ekran za każdym razem, gdy wybierzesz listę rozwijaną i pomaga Ci wybrać żądane wartości. Ten niestandardowy ekran pozwala wybrać jedną lub więcej wartości w zależności od tego, czy lista rozwijana jest wielokrotnego wyboru.

W czasie wykonywania usługa Power Automate automatycznie wybiera zdefiniowane wartości i wybiera przycisk OK.

Zrzut ekranu niestandardowego ekranu dla listy rozwijanej.

Uruchamianie przeglądarki internetowej

Aby uruchomić wystąpienie przeglądarki internetowej podczas rejestrowania przepływów internetowych, można stosować trzy różne podejścia oparte na scenariuszu automatyzacji.

Pierwsza metoda polega na wybraniu ikony kropek po prawej stronie okna dialogowego rejestratora, a następnie opcji Uruchom nową przeglądarkę internetową. Można wybierać między przeglądarkami Microsoft Edge, Google Chrome, Mozilla Firefox i Microsoft Internet Explorer.

Po wybraniu odpowiedniej przeglądarki zostanie automatycznie wykryta załadowana strona internetowa i rejestrator odpowiednio skonfiguruje krok uruchamiania przeglądania.

Zrzut ekranu przedstawiający opcję Uruchom nową przeglądarkę internetową.

Alternatywnym sposobem uruchomienia przeglądarki jest rozpoczęcie rejestrowania w już otwartej przeglądarce internetowej. Rejestrator automatyczne wykryje załadowaną stronę i uruchomi akcji uruchamiania przeglądarki.

Ostatnią metodą uruchomienia przeglądarki jest ręczne uruchomienie za pomocą skrótu na pulpicie, w menu Start, na pasku zadań lub w folderze. Po wdrożeniu tego podejścia rejestrator wygeneruje akcje automatyzacji interfejsu użytkownika, klikając skrót przeglądarki i uruchamiając ją.

Obsługa s wyboru dat i kolorów na stronach sieci Web

Podobnie jak listy rozwijane, rejestrator Power Automate wyświetla niestandardowe ekrany, które ułatwiają obsługę selektorów dat i kolorów na stronach internetowych.

W przypadku interakcji z s pickerem daty otwierane jest pole tekstowe, w którym można wstawić żądaną datę w określonym formacie.

Ekran niestandardowy zostanie wyświetlony dla następujących typów danych wejściowych HTML:

  • data
  • data i godzina — lokalne
  • miesiąca
  • time
  • tydz.

Zrzut ekranu niestandardowego ekranu selektora daty.

Podobnie podczas interakcji z próbnikiem kolorów rejestrator otwiera pole tekstowe, w którym można wypełnić żądany kod szesnastkowy koloru.

Zrzut ekranu niestandardowego ekranu próbnika kolorów.

Dodawanie tekstu za pomocą IME (Input Method Editor)

Input Method Editors (IME) to składniki oprogramowania umożliwiające użytkownikom wprowadzanie tekstu w językach, których nie można łatwo przedstawiać na standardowej klawiaturze QWERTY. Użytkownicy mogą wpisywać kombinacje klawiszy, a program IME wygeneruje znak lub listę znaków różnych typów, które będą zgodne kombinacją.

Usługa Power Automate dla komputerów stacjonarnych w trakcie procedury rejestrowania przepływu obsługuje korzystanie z edytorów IME. Aby wypełnić pole tekstowe przy użyciu IME:

  1. Kliknij prawym przyciskiem myszy pole tekstowe i w wyświetlonym menu wybierz polecenie Wypełnij pole tekstowe.

    Zrzut ekranu opcji menu Wypełnij pole tekstowe.

  2. Żądany tekst zostanie wypełniony w oknie dialogowym za pomocą edytora IME.

    Zrzut ekranu przedstawiający okno dialogowane dodawania tekstu z IME.

  3. Wybierz opcję Dodaj tekst, aby wygenerować odpowiedni krok w oknie Rejestrator.

    Zrzut ekranu wygenerowanego tekstu z edytora IME w rejestratorze pulpitu.

Nagranie oparte na obrazie

W niektórych przypadkach analiza może nie rejestrować akcji w określonych aplikacjach, które nie spełniają odpowiednich wymagań technicznych. Te aplikacje mogą nie ujawniać swojego interfejsu dostępności API lub mogą mieć inne ograniczenia techniczne blokowane przez proces rejestracji.

Jako alternatywny sposób rejestrowania przepływów, usługa Power Automate dla komputerów stacjonarnych zapewnia nagrywanie oparte na obrazie. Do znalezienia określonych elementów na ekranie i wyodrębnienia tekstu na podstawie obrazu jest używane rozpoznawanie obrazów i rozpoznawanie OCR.

Aby rejestrować przepływy przy użyciu obrazów:

  1. Utwórz nowy przepływ pulpitu i wybierz opcję Rejestrator na pasku narzędzi projektanta przepływów.

    Zrzut ekranu przedstawiający przycisk rejestratora.

  2. Wybierz ikonę kropek po prawej stronie okna dialogowego rejestratora, a następnie włącz rejestrowanie obrazów. Po włączeniu tej opcji należy wybrać opcję Nagraj, aby rozpocząć rejestrowanie z użyciem rozpoznawania obrazów.

    Zrzut ekranu przedstawiający przycisk rejestrowania obrazów.

    Po kliknięciu elementu obraz jest automatycznie przechwytywany i zapisywany z domyślną edytowalna nazwą. Aby wyświetlić podgląd przechwyconego obrazu, ustaw kursor lub wybierz ikonę podglądu.

    Zrzut ekranu przedstawiający przycisk wyświetlania podglądu obrazu.

Wyodrębnianie tekstu przy użyciu rejestrowania opartego na obrazach

Aby wyodrębnić wartość tekstową podczas używania rejestrowania obrazów:

  1. Prawym przyciskiem myszy kliknij ekran i wybierz polecenie Wyodrębnij tekst ze obrazu.

    Zrzut ekranu przedstawiający opcję Wyodrębniaj tekstu z obrazu.

  2. Zaczekaj na wyskakujące okienko z monitem o wybranie obszaru tekstowego.

    Zrzut ekranu wiadomości z monitem dla użytkownika o wybranie obszaru tekstowego.

  3. Wybierz obszar tekstu, z którego będzie wyodrębniony tekst przy użyciu aparatu Tesseract OCR.

    Zrzut ekranu przedstawiający wybrany obszar tekstowy.

  4. Zaczekaj na wyskakujące okienko z monitem o wybranie obszaru zakotwiczenia.

    Zrzut ekranu wiadomości z monitem dla użytkownika o wybranie obszaru zakotwiczenia.

  5. Wybierz obszar zakotwiczenia, który ma się nie zmieniać, np. etykieta obok pola.

    Zrzut ekranu przedstawiający obszar zakotwiczenia.

Nagrywanie a budowanie przepływu na pulpicie

Po zakończeniu rejestrowania można ręcznie edytować wszystkie akcje utworzone za pośrednictwem urządzenia. Użyj rejestratora w środowisku pulpitu, który jest już opracowywany, aby dodać do niego zarejestrowane kroki.

Uwaga

Użyj rejestratora, aby utworzyć szkielet przepływu. Niektóre proste zadania mogą nie wymagać dalszej edycji, jednak większość nagranych zadań należy zmodyfikować, aby uzyskać optymalne wyniki. Pewne typy akcji, takie jak warunki i pętle, nie mogą być rejestrowane. Ponadto mogą istnieć zbędne akcje w nagraniu, które powinny zostać usunięte.

Znane problemy i ograniczenia

  • Problem: rejestrator może nie nagrać wszystkich kroków z menu Start systemu Windows lub paska zadań.

    Obejścia: brak

  • Problem: podczas uruchamiania przepływu utworzonego przy użyciu rejestrowania opartego na obrazach kliknięcie może zostać wysłane w niewłaściwe miejsce.

    Obejścia: edytuj automatycznie wygenerowaną akcję Przenieś mysz na obraz za pośrednictwem projektanta przepływów i zmniejsz parametr tolerancji w ustawieniach zaawansowanych.

  • Problem: wyskakujące okienko Wyodrębnianie tekstu z obrazu, które pojawia się po wysłaniu kliknięcia prawym przyciskiem myszy przy użyciu rejestratora, może ukryć się za wyskakującym okienkiem aplikacji.

    Obejścia: wyślij kliknięcie prawym przyciskiem myszy do innego miejsca na ekranie.

  • Problem: żadne naciśnięcia klawiszy wysyłane do zmaksymalizowanego okna RDP za pośrednictwem rejestrowania opartego na obrazach nie są nagrywane.

    Obejścia: zmiana rozmiaru okna RDP tak, aby nie zakrywało pełnego ekranu.