モデルを使用する

  • 6 分

Power Automate と Power Apps の両方でドキュメント処理モデルを使用する方法を学習しましょう。

クイック テスト

モデルのトレーニングが完了したら、新しくトレーニングしたモデルに関する重要な詳細情報を詳細ページで確認します。

新しくトレーニングしたモデルの詳細ページのスクリーンショット。

モデルの動作を確認するには、クイック テスト を選択します。

画像をドラッグ アンド ドロップまたはデバイスからアップロードし、テストを実行します。 前のユニットのサンプル データから、トレーニングには使用しなかったテスト フォルダーのファイルを使用します (AI Builder Document processing Sample Data\Adatum\Test または AI Builder Document processing Sample Data\Contoso\Test のいずれか)。

これで、選択して検出されたフィールドと、関連する信頼度スコアを確認して、トレーニングしたモデルと比較して個々のフィールドを取得することができます。

モデルを公開する

モデルは、公開するまで使用できません。 モデルに問題がなければ、発行を選択して使用可能な状態にします。

Power Automate でモデルを使用する

モデルが公開されたので、Power Automate によるドキュメント処理モデルを使用して、ドキュメント処理を行うことができます。 AI Builder の特殊なアクションは、メール、ドキュメント ライブラリ、その他のソースからのドキュメントの取り込みや、処理済みデータの出力に使用できます。

  1. モデルを使用するを選択します。

  2. インテリジェントな自動化を構築するを選択し、提示されたいずれかのトリガーを選択します。 このモジュールでは、Microsoft 365 Outlook の職場アカウントを使用します。

  3. 必要な接続にサインインしていることを確認し、続行 を選択してフローの作成を確定します。

    このフローは、添付ファイルのあるメールを受信し、件名が「AI Builder」の場合に実行するように既に構成されています。 その内容を見てみましょう。 このフローには、作成ステップが含まれており、各ステップの動作に関する説明が表示されていることがわかります。 また、このフローで複数の添付ファイルを処理できることがわかります。

    AI Builder の フォームから情報を抽出する ステップが、このフローの中心となります。 このステップが、添付ファイルから情報を抽出する、新しいモデルに関連するステップです。

    新しくトレーニングしたモデルの使用方法を示すサンプル フローのスクリーンショット。

  4. この自動生成されたフローに変更を加えて、トレーニングしたモデルで抽出する情報の一部を表示してみましょう。 成功メールの送信 スイッチの最後のステップである メールの送信 (成功) を展開します。 合計...(信頼度スコア:...) という内容が含まれる本文の行を削除します。

  5. 次の内容をメッセージの本文に追加します。

    請求書番号: [invoiceID value の動的コンテンツを挿入]

    請求先/顧客名: [billingAddressRecipient value/customerName value の動的コンテンツを挿入]

    合計金額: [invoiceTotal value の動的コンテンツを導入]

    請求日: [invoiceDate value の動的コンテンツを挿入]

    請求先/顧客名に対して 2 つの動的コンテンツ値を追加します。これは、あるコレクションでは「請求先」コンテンツとして識別され、別のコレクションでは「顧客」コンテンツとして識別されるが、本来同じ情報であり、1 つのドキュメントで扱える出力が 1 つだけとなっているためです。 理想的には、このような状況の場合に「結合」機能を使用することが望ましいですが、今回は出力を表示することに重点を置きます。

    完了したら、メールの送信 (成功) の本文は次のようになります。

    追加したフィールドが強調表示された、メール (成功) の本文のスクリーンショット。

  6. 右上の 保存 を選択し、フローをテストします。

  7. テスト を選択します。

  8. 手動 を選択し、テスト を選択します。

  9. 前にテストに使用したドキュメントを添付し、AI Builder という件名のメールを自分宛てに送信します。

  10. しばらくすると、フローの動作が表示されます。 このフローでは、添付ファイルからデータが抽出され、その結果がメールで返されます。

お疲れさまでした。 これでインテリジェントな自動化フローの作成とカスタマイズが完了しました。 引き続き、必要に応じてフローをカスタマイズし、データ テーブルへのデータの保存や顧客への返信など、その他のアクションを実行できます。

Power Apps でモデルを使用する

モデルを公開すると、キャンバス アプリでもドキュメント処理モデルを使用できるようになります。 トレーニング済みのドキュメント処理モードに基づいて、任意のイメージを分析してテキストを抽出する特殊なコンポーネントを追加できます。

  1. Power Automate のホーム ページ で AI ハブ を選択し、[最近作成] で対象のモデルを選択します。

  2. モデルを使用する を選択します。

  3. インテリジェント アプリを構築する を選択し、キャンバス アプリ作成エクスペリエンスを開始します。

    [インテリジェント アプリを構築する] の選択のスクリーンショット。

  4. キャンバス アプリにフォーム処理コンポーネントが自動的に追加され、公開したドキュメント処理モデルにリンクされます。

    注

    アプリケーションにさらに複数の AI モデルを追加する場合、[挿入] を選択してから [フォーム プロセッサ] を選択してフォーム プロセッサ コンポーネントを追加します。 次に、右側のプロパティ パネルの AI model プロパティを選択します。 選択対象の AI モデルの一覧が表示されます。 ドロップダウン リストには、公開済みのモデルのみが表示されます。

    Power Apps のドロップダウン リストに表示されている、公開されたモデルのスクリーンショット。

    アプリにフォーム プロセッサ コントロールを追加した場合は、次に進む前にそのフォーム プロセッサ コントロールを削除します。

  5. 次に、表示する請求書のフィールドを選択します。 挿入 を選択し、テキスト ラベル コンポーネントを追加します。 キャンバス アプリのフォーム プロセッサ コントロールの下にラベルを配置します。

  6. ラベルが選択された状態で、左上隅で Text プロパティが選択されていることを確認します。 数式バーに FormProcessor1.Fields. と入力します。このコードにより、モデルの他のプロパティにもアクセスできるようになります。 この演習では、invoiceId を選択します。 ラベルの式は次のようになります。

    FormProcessor1.Fields.invoiceId

  7. 次に、請求書の項目テーブルのデータを確認できるようにギャラリーを追加します。 挿入 を選択し、縦方向のギャラリー を選択します。 ギャラリーのサイズを変更し、ラベルの下に配置します。

  8. ギャラリーの Items プロパティに FormProcessor1.Tables.items と入力します。

    ギャラリーと formprocessor1.Tables.items のスクリーンショット。

  9. コマンド バーの右上にある 再生 アイコンを選択し、アプリをプレビュー モードに変更します。

  10. 分析 ボタンを選択し、前のテストに使用した PDF を選択します。

    ドキュメントのプレビューがフォーム プロセッサ コントロールに表示されます。 また、ギャラリーに請求書番号と請求書の項目も表示されます。

    請求書のギャラリー アイテムと請求書番号のスクリーンショット。

Power Automate フローと Power Apps アプリ内での AI Builder モデルの使用についての説明は以上です。 AI Builder モデルは非常に強力なツールであり、大きな可能性を秘めています。