デスクトップフローを記録する

[アーティクル]
03/16/2023

Power Automate では、自動化するタスクを複製することにより、デスクトップフローを自動的に設計できます。

デスクトップと Web フローを記録する

デスクトップまたは/および Web アプリケーションを自動化するフローを記録するには:

新しいデスクトップフローを作成し、フローデザイナーのツールバーにある レコーダー を選択します。
レコーダーウィンドウで レコード を選択して、適切なアプリケーションまたは Web ページで目的のアクションの実行を開始します。

レコーダーは、UI 要素に関連するマウスとキーボードの活動を追跡し、各アクションを個別に記録します。各記録セッション中に、レコーダーは UI とブラウザーの自動化アクションの両方を生成できます。

Note

記録中に UI 要素を左クリックまたは右クリックすると、蛍光ペンに アクションを待つ メッセージが表示され、レコーダーがアクションを記録して挿入するまで待機するように指示されます。

特定の要素で使用可能なアクションを表示するには、その要素を右クリックしてコンテキストメニューを開きます。使用可能なオプションは、選択した要素の性質によって異なる場合があります。
レコーディングプロセスが完了したら完了を選択して、記録された手順をデスクトップフローアクションに変換します。生成された UI および Web 自動化アクションで使用されるすべての UI 要素は、UI 要素ペインに自動的に追加されます。 UI 要素の詳細については、UI 要素を使用して自動化するを参照してください。

記録プロセスを一時的に一時停止するには、一時停止 を選択します。記録されたアクションにコメントを追加するには、コメントを追加 を選択します。

ドラッグアンドドロップの手順を繰り返す

レコーダーは、マウスポインターのドラッグアンドドロップに関連する手順をサポートしています。したがって、レコーダーは ウィンドウのサイズ変更 と ウィンドウを移動 のようなアクションを生成できます。しかし、現在、ウィンドウの UI 要素をドラッグアンドドロップする アクションはサポートされていません。

ドロップダウンリストを処理する

レコーダーを使用してデスクトップおよび Web アプリケーションを自動化する際に、ドロップダウンリストの処理が必要になる場合があります。

Power Automate レコーダーは、ドロップダウンリストを選択するたびにカスタム画面が表示され、目的の値を選択するのに役立ちます。このカスタムスクリーンでは、ドロップダウンリストが複数選択であるかどうかに応じて、1 つまたは複数の値を選択できます。

ランタイム中、Power Automate は定義された値を自動的に選択し、リストの OK ボタンを選択します。

ドロップダウンリストのカスタム画面のスクリーンショット。

Web ブラウザーを起動する

Web フローの記録中に Web ブラウザーインスタンスを起動するには、自動化シナリオに基づいて 3 つの異なるアプローチを使用できます。

最初の方法は、レコーダーダイアログの右側にあるドットアイコンを選択してから、新しい Web ブラウザーを起動します。 Microsoft Edge、Google Chrome、Mozilla Firefox、および Microsoft Internet Explorer から選択できます。

適切なブラウザーを選択した後、レコーダーはロードされた Web ページを自動的に検出し、それに応じてブラウジングの起動手順を構成します。

[新しい Web ブラウザーを起動する] オプションのスクリーンショット。

ブラウザーを起動する別の方法は、すでに開いている Web ブラウザーで記録を開始することです。レコーダーはロードされたページを自動的に検出し、ブラウザーの起動アクションを作成します。

ブラウザーを起動する最後の方法は、デスクトップのショートカット、スタートメニュー、タスクバー、またはフォルダーから手動でブラウザを起動する方法です。このアプローチを実装すると、レコーダーはブラウザーのショートカットをクリックして起動する UI 自動化アクションを生成します。

Web ページの日付ピッカーとカラーピッカーを処理する

ドロップダウンリストと同様に、Power Automate レコーダーは、Web ページで日付とカラーピッカーを処理するのに役立つカスタム画面を表示します。

日付ピッカーを操作すると、指定した形式で目的の日付を挿入できるテキストフィールドがレコーダーによって開きます。

カスタム画面は、次の HTML 入力タイプに対して表示されます。

日にち
datetime-local
month
時刻
週間

日付ピッカーのカスタム画面のスクリーンショット。

同様に、カラーピッカーを操作すると、目的のカラー 16 心数コードを入力できるテキストフィールドがレコーダーによって開きます。

カラーピッカーのカスタム画面のスクリーンショット。

入力方式エディター (IME) を使用してテキストを追加する

入力方式エディター (IME) は、ユーザーが標準の QWERTY キーボードでは簡単に表現できない言語でテキストを入力できるようにするソフトウェアコンポーネントです。ユーザーはキーの組み合わせを入力でき、IME はキーストロークのセットに一致する文字または候補文字のリストを生成します。

デスクトップ用 Power Automate は、フローの記録プロシージャ中の IME の使用をサポートします。 IME を使用してテキストフィールドに入力するには:

テキストフィールドを右クリックして、表示されたメニューで テキストフィールドを入力する を選択します。
IME を使用して、ポップアップダイアログに目的のテキストを入力します。
テキストの追加を選択して、レコーダー ウィンドウでそれぞれのステップを生成します。

画像ベースの記録

場合によって、レコーダーが、適切な技術要件を満たしていない特定のアプリケーションでのアクションを記録しないことがあります。これらのアプリケーションは、アクセシビリティ API を公開したり、記録プロセスをブロックするその他の技術的な制限がある場合があります。

フローを記録する別の方法として、デスクトップ用 Power Automate は画像ベースの記録を提供します。画像ベースの記録では、画像認識と OCR を使用して、画面上の特定の要素を特定し、テキストを抽出します。

画像を使用してフローを記録するには:

新しいデスクトップフローを作成し、フローデザイナーのツールバーにある レコーダー を選択します。
レコーダーダイアログの右側にあるドットアイコンを選択し、画像記録を有効にします。このオプションを有効にした後、記録を選択して、画像認識を使用したアクションの記録を開始します。

要素をクリックすると、画像が自動的にキャプチャされ、規定の編集可能な名前で保存されます。キャプチャした画像をプレビューするには、ホバーするか、プレビューアイコン を選択します。

画像ベースの録音でテキストを抽出する

画像記録の使用中にテキスト値を抽出するには:

画面上で 右クリック して、画像からテキストを抽出する を選択します。
テキスト領域を選択するように求めるポップアップメッセージが表示されるのを待ちます。
Tesseract OCR エンジンを使用してテキストが抽出される テキストエリア を選択します。
固定領域を選択するように求めるポップアップメッセージが表示されるのを待ちます。
フィールドの横のラベルなど、変更されることは想定されていない アンカー領域 を選択します。

記録 vs デスクトップフローの構築

記録が終了したら、レコーダーを介して作成されたアクションを手動で編集できます。すでに開発中のデスクトップフローでレコーダーを使用して、記録されたステップをレコーダーに追加します。

Note

レコーダを使用して、フローのバックボーンを作成します。単純なタスクの中には、すでに編集が必要ないものもありますが、ほとんどの記録されたタスクは、修正を加えることで最適な結果を得ることができます。条件やループなどの特定のタイプのアクションは記録できません。また、削除をした方がよい記録には、冗長なアクションが含まれている場合もあります。

既知の問題と制限事項

問題: レコーダーで、Windows [スタート] メニューまたはシステムトレイからの一部のステップが記録されない場合がある。

回避策: なし
問題: 画像ベースの記録によって作成されたフローを実行しているときに、クリックが間違った場所に送信される場合がある。

回避策: フローデザイナーで自動生成されたアクション マウスを画像に移動 を編集し、詳細設定で許容値パラメーターを減らします。
問題: レコーダーを使用して右クリックを送信した後に表示される 画像からテキストを抽出 ポップアップが、アプリケーションのポップアップの背後に隠れることがあります。

回避策: 右クリックを画面上の別の場所に送信します。
問題: 画像ベースの記録を通じて最大化された RDP ウィンドウに送信されたキーストロークが記録されない。

回避策: RDP ウィンドウのサイズを変更して、全画面が表示されないようにします。

次の方法で共有

デスクトップフローを記録する