LLM ベースのアプリケーション用にプロンプトフローを DevOps と統合する

[アーティクル]
11/06/2024

Azure Machine Learning プロンプトフローは、大規模言語モデル (LLM) ベースのアプリケーション開発用のフローを開発および反復するための、開発者向けの使いやすいコードファーストメソッドです。プロンプトフローには、SDK と CLI、Visual Studio Code 拡張機能、フロー作成 UI が用意されています。これらのツールにより、ローカルフローの開発、ローカルフローの実行と評価実行のトリガー、ローカルとクラウドのワークスペース環境間のフローの移行が容易になります。

プロンプトフローエクスペリエンスとコード機能を開発者操作 (DevOps) と組み合わせて、LLM ベースのアプリケーション開発ワークフローを強化できます。この記事では、Azure Machine Learning LLM ベースのアプリケーション用のプロンプトフローと DevOps の統合に焦点を当てます。

次の図は、DevOps を使用したローカルおよびクラウドベースのプロンプトフロー開発の相関関係を示しています。

前提条件

Azure Machine Learning ワークスペース。作成する場合は、「リソースを作成して作業を開始する」を参照してください。
Azure Machine Learning Python SDK v2 がインストールされたローカル Python 環境。これは、「はじめに」の手順に従って作成されるものです。

Note

この環境は、フローの一部として定義するフローの実行にコンピューティングセッションで使用される環境とは別のものです。詳細については、「Azure Machine Learning スタジオでプロンプトフローコンピューティングセッションを管理する」を参照してください。
Python およびプロンプトフロー拡張機能がインストールされている Visual Studio Code。

プロンプトフローでコードファーストエクスペリエンスを使用する

通常、LLM ベースのアプリケーションの開発は、ソースコードリポジトリと継続的インテグレーションと継続的デプロイ (CI/CD) パイプラインを含む標準化されたアプリケーションエンジニアリングプロセスに従います。このプロセスにより、チームメンバー間の開発、バージョン管理、コラボレーションの合理化が促進されます。

DevOps とプロンプトフローコードエクスペリエンスの統合により、次の主な機能と利点を備えた、より効率的な GenAIOps または LLMOps 反復プロセスがコード開発者に提供されます。

コードリポジトリでのフローのバージョン管理。フローファイルは YAML 形式で定義でき、同じフォルダー構造の参照元ファイルに合わせて配置されます。
CI/CD パイプラインとのフロー実行の統合。プロンプトフロー CLI または SDK を使用してフロー実行を自動的にトリガーすることで、プロンプトフローを CI/CD パイプラインと配信プロセスにシームレスに統合できます。
ローカルとクラウドの間のスムーズな移行。バージョン管理、ローカル開発、共有のために、フローフォルダーをローカルまたはアップストリームのコードリポジトリに簡単にエクスポートできます。また、フローフォルダーを Azure Machine Learning に簡単にインポートして、クラウドリソースを使用してさらに作成、テスト、デプロイすることもできます。

プロンプトフローコードにアクセスする

各プロンプトフローには、フローを定義する重要なコードファイルを含むフローフォルダー構造があります。フォルダー構造でフローが整理され、ローカルとクラウド間のスムーズな移行が容易になります。

Azure Machine Learning により、すべてのワークスペースユーザーに共有ファイルシステムが提供されます。フローの作成時に、対応するフローフォルダーが自動的に生成され、Users/<ユーザー名>/promptflow ディレクトリに格納されます。

フローコードファイルを操作する

Azure Machine Learning スタジオでフローを作成したら、フロー作成ページの [ファイル] セクションでフローファイルを表示、編集、管理できます。ファイルに加えた変更は、ファイル共有ストレージに直接反映されます。

LLM ベースフローのフローフォルダーには、次の主なファイルが含まれています。

flow.dag.yaml は、YAML 形式のプライマリフロー定義ファイルです。このファイルは、プロンプトフローの作成と定義に不可欠です。このファイルには、フローで使用される入力、出力、ノード、ツール、バリアントに関する情報が含まれています。
Python (.py) または Jinja 2 (.jinja2) 形式のユーザー管理ソースコードファイルでは、フロー内のツールとノードを構成します。 Python ツールでは、Python ファイルを使用してカスタム Python ロジックを定義します。プロンプトツールと LLM ツールでは、Jinja 2 ファイルを使用してプロンプトコンテキストを定義します。
ユーティリティおよびデータファイルなどのソース以外のファイルは、ソースファイルと共にフローフォルダーに含めることができます。

ファイルエディターで flow.dag.yaml ファイルとソースファイルの生コードを表示および編集するには、[生ファイルモード] を有効にします。

または、Azure Machine Learning スタジオの [ノートブック] ページから、すべてのフローフォルダーとファイルにアクセスして編集することもできます。

プロンプトフローコードをダウンロードしてチェックインする

フローをコードリポジトリにチェックインするには、Azure Machine Learning スタジオからローカルコンピューターにフローフォルダーをエクスポートします。フロー作成ページの [ファイル] セクションにあるダウンロードアイコンを選択して、すべてのフローファイルを含む ZIP パッケージをダウンロードします。その後、そのファイルをコードリポジトリにチェックインするか、解凍してファイルをローカルで操作できます。

[ファイル] エクスプローラーのダウンロードアイコンを示すスクリーンショット。

Azure Machine Learning との DevOps 統合の詳細については、「Azure Machine Learning との Git 統合」を参照してください。

ローカルで開発およびテストする

反復開発中にフローやプロンプトを改良して微調整する際に、コードリポジトリ内で複数の反復をローカルで実行できます。 VS Code コミュニティバージョン、VS Code プロンプトフロー拡張機能、プロンプトフローローカル SDK と CLI により、Azure に縛られることなく、完全にローカルの開発とテストを進めることができます。

ローカルで作業することで、毎回メインコードリポジトリを更新しなくても、変更をすばやく行ってテストできます。ローカルバージョンの使用に関する詳細とガイダンスについては、プロンプトフローの GitHub コミュニティを参照してください。

VS Code プロンプトフロー拡張機能を使用する

プロンプトフロー VS Code 拡張機能を使用して、クラウドと同様の UI エクスペリエンスで、フローを VS Code エディターでローカルで簡単に作成できます。

プロンプトフロー拡張機能を使用して VS Code でファイルをローカルで編集するには:

プロンプトフロー拡張機能が有効になっている VS Code で、プロンプトフローフォルダーを開きます。
flow.dag.yaml ファイルを開き、そのファイルの上部にあるビジュアルエディター リンクを選択します。
プロンプトフロービジュアルエディターを使用して、バリアントのプロンプトを調整したり、ノードをさらに追加するなどして、フローに変更を加えます。
フローをテストするには、ビジュアルエディターの上部にある [実行] アイコンを選択します。または、任意のノードをテストするには、そのノードの上部にある [実行] アイコンを選択します。

プロンプトフロー SDK と CLI を使用する

コードで直接作業する場合、または Jupyter、PyCharm、Visual Studio、またはその他の統合開発環境 (IDE) を使用する場合は、flow.dag.yaml ファイル内の YAML コードを直接変更できます。

その後、次のようにターミナルでプロンプトフロー CLI または SDK を使用して、テスト用に 1 つのフロー実行をトリガーできます。

Azure CLI
Python SDK

作業ディレクトリから実行をトリガーするには、次のコードを実行します。

pf flow test --flow <directory-name>

from promptflow import PFClient

pf_client = PFClient()

flow_path = "<directory-name>"

# Test flow
flow_inputs = {"<input-type>": "<input-value>", "<input-type>": "<input-value>"}
flow_result = pf_client.test(flow=flow_path, inputs=inputs)
print(f"Flow outputs: {flow_result}")

# Test node in the flow
node_name = "<node-name>"  # The node name in the flow.
node_inputs = {"<node-input-type>": "<node-input-value>"}
node_result = pf_client.test(flow=flow_path, inputs=node_inputs, node=node_name)
print(f"Node outputs: {node_result}")

戻り値はテストログと出力です。

ローカルリポジトリからクラウドに実行を送信する

ローカルテストの結果に満足したら、プロンプトフロー CLI または SDK を使用して、ローカルリポジトリからクラウドに実行を送信できます。次の手順とコードは、GitHub の Web 分類のデモプロジェクトに基づいています。プロジェクトリポジトリをクローンするか、プロンプトフローコードをローカルコンピューターにダウンロードできます。

プロンプトフロー SDK をインストールする

pip install promptflow[azure] promptflow-tools を実行して、Azure プロンプトフロー SDK/CLI をインストールします。

デモプロジェクトを使っている場合は、以下を使用して requirements.txt をインストールし、SDK とその他の必要なパッケージを取得します:
pip install -r <path>/requirements.txt

az login

必要なライブラリとパッケージをインポートし、資格情報を構成し、ワークスペースへのハンドルを取得します。

import json

# Import required libraries
from azure.identity import DefaultAzureCredential, InteractiveBrowserCredential

# Import azure promptflow apis
from promptflow.azure import PFClient

# Configure credential
try:
    credential = DefaultAzureCredential()
    # Check if given credential can get token successfully.
    credential.get_token("https://management.azure.com/.default")
except Exception as ex:
    # Fall back to InteractiveBrowserCredential if DefaultAzureCredential doesn't work
    credential = InteractiveBrowserCredential()

# Get a handle to the workspace from the current credential or config.json in the parent directory
pf = PFClient.from_config(
    credential=credential,
)

フローをアップロードして実行を作成する

Azure CLI
Python SDK

クラウドでのこのフロー実行の構成を定義するために、run.yml ファイルを準備します。

$schema: https://azuremlschemas.azureedge.net/promptflow/latest/Run.schema.json
flow: <path-to-flow>
data: <path-to-flow>/<data-file>.jsonl

column_mapping:
  url: ${data.url}

# Define cloud compute resource

resources:
  instance_type: <compute-type>

# If using compute instance compute type, also specify instance name
#  compute: <compute-instance-name> 

# Specify connections

  <node-name>:
    connection: <connection-name>
    deployment_name: <deployment-name>

接続を必要とするフロー内の各ツールの接続とデプロイ名を指定できます。接続とデプロイ名を指定しない場合は、ツールで flow.dag.yaml ファイル内の接続とデプロイが使用されます。接続を書式設定するには、次のコードを使用します。

...
connections:
  <node-name>:
    connection: <connection-name>
      deployment_name: <deployment-name>
...

実行を作成します。

pfazure run create --file run.yml

フローを読み込み、リソースと接続を定義して、実行を作成します。

flow = "<path-to-flow>"
data = "<path-to-flow>/<data-file>.jsonl"

# Define compute resource instance type when using serverless compute

# resources = {"instance_type": "serverless"}

# Also specify compute instance name when using a compute instance

# resources={
#     "instance_type": "<compute-instance-type>",
#     "compute": "<compute-instance-name>"
# }

# Specify the connection and deployment name for each tool in the flow that requires a connection

connections = {"<node-name>":
                  {"connection": <connection-name>,
                  "deployment_name": <deployment-name>},
               "<node-name>":
                  {"connection": <connection-name>,
                  "deployment_name": <deployment-name>}
                }

# Create the run

run = Run(
    flow=flow,
    data=data,
    column_mapping={
        "url": "${data.url}"
    }, 

    connections=connections,
    # To customize identity, you can provide it in identity

    # identity={
    #     "type": "managed",
    # }
)

base_run = pf.runs.create_or_update(run=run)

評価フロー実行を作成する

Azure CLI
Python SDK

クラウドでこの評価フロー実行の構成を定義するために、run_evaluation.yml ファイルを準備します。

$schema: https://azuremlschemas.azureedge.net/promptflow/latest/Run.schema.json
flow: <path-to-flow>
data: <path-to-flow>/<data-file>.jsonl
run: <id-of-base-flow-run>
column_mapping:
  <input-name>: ${data.<column-from-test-dataset>}
  <input-name>: ${run.outputs.<column-from-run-output>}

resources:
  instance_type: <compute-type>
  compute: <compute_instance_name> 

connections:
  <node-name>:
    connection: <connection-name>
    deployment_name: <deployment-name>
  <node-name>:
    connection: <connection-name>
    deployment_name: <deployment-name>

評価実行を作成します。

pfazure run create --file run_evaluation.yml

評価フローを読み込み、実行を作成します。

flow = "<path-to-flow>"
data = "<path-to-flow>/<data-file>.jsonl"

resources={
    "instance_type": "<compute-instance-type>",
    "compute": "<compute-instance-name>"
    }

connections = {"<node-name>":
                  {"connection": <connection-name>,
                  "deployment_name": <deployment-name>},
               "<node-name>":
                  {"connection": <connection-name>,
                  "deployment_name": <deployment-name>}
                }
eval_run = Run(
    flow=flow,
    data=data,
    run=<base-run-id>,
    column_mapping={
        "<input-name>": "${data.<column-from-test-dataset>}",
        "<input-name>": "${run.outputs.<column-from-run-output>}",
    },
    connections=connections,
    identity={
        "type": "managed",
    }
)

eval_run = pf.runs.create_or_update(run=eval_run)

実行結果の表示

フロー実行をクラウドに送信すると、実行のクラウド URL が返されます。 URL を開き、Azure Machine Learning スタジオで実行結果を表示できます。次の CLI または SDK コマンドを実行して、実行結果を表示することもできます。

ログをストリーミングする

Azure CLI
Python SDK

pfazure run stream --name <run-name>

pf.stream("<run-name>")

実行の出力を表示する

Azure CLI
Python SDK

pfazure run show-details --name <run-name>

details = pf.get_details("<run-name>")
details.head(10)

評価実行メトリックを表示する

Azure CLI
Python SDK

pfazure run show-metrics --name <evaluation-run-name>

pf.get_metrics("<evaluation-run-name>")

DevOps との統合

ローカル開発環境と Git などのバージョン管理システムの組み合わせは、通常、反復開発に最も効果的です。変更を加えてコードをローカルでテストし、変更を Git にコミットできます。このプロセスにより、変更の進行中の記録が作成され、必要に応じて以前のバージョンに戻す機能が提供されます。

異なる環境間でフローを共有する必要がある場合は、GitHub や Azure Repos などのクラウドベースのコードリポジトリにプッシュできます。この戦略により、任意の場所から最新のコードバージョンにアクセスでき、コラボレーションとコード管理のためのツールが提供されます。

これらのプラクティスに従うことで、チームは、プロンプトフロー開発のためのシームレスで効率的な生産性の高いコラボレーション環境を作成できます。

Web 分類フローを実行するエンドツーエンドの LLMOps パイプラインの例については、「プロンプトフロートと GitHub を使ってエンドツーエンドの GenAIOps を設定する」と GitHub の Web 分類のデモプロジェクトを参照してください。

CI パイプラインでのフロー実行をトリガーする

フローを正常に開発してテストし、初期バージョンとしてチェックインしたら、調整とテストの反復の準備が整います。この段階では、プロンプトフロー CLI を使用して CI パイプラインの手順を自動化することで、バッチテストや評価実行を含むフロー実行をトリガーできます。

フロー反復のライフサイクル全体を通して、CLI を使用して次の操作を自動化できます。

pull request 後のプロンプトフローの実行
結果が高品質であることを確認するためのプロンプトフロー評価の実行
プロンプトフローモデルの登録
プロンプトフローモデルのデプロイ

継続的な開発にスタジオ UI を使用する

フロー開発の任意の時点で、Azure Machine Learning スタジオ UI に戻り、クラウドリソースとエクスペリエンスを使用してフローを変更できます。

最新バージョンのフローファイルの開発と操作を続行するために、[ノートブック] ページのターミナルにアクセスし、リポジトリから最新のフローファイルをプルできます。または、ローカルフローフォルダーを新しいドラフトフローとして直接インポートして、ローカルとクラウドの開発をシームレスに切り替えることができます。

フローをオンラインエンドポイントとしてデプロイする

運用環境に移動する最後の手順は、オンラインエンドポイントとしてフローを Azure Machine Learning にデプロイすることです。このプロセスにより、フローをアプリケーションに統合し、使用できるようになります。フローのデプロイ方法の詳細については、リアルタイム推論のための Azure Machine Learning マネージドオンラインエンドポイントへのフローのデプロイに関するページを参照してください。

フロー開発で共同作業を行う

プロンプトフローを使用して LLM ベースのアプリケーションを開発する場合、チームメンバー間のコラボレーションが不可欠になる場合があります。チームメンバーは、同じフローを作成してテストしたり、フローのさまざまなファセットに取り組んだり、反復的な変更や機能強化を同時に行ったりすることがあります。このコラボレーションでは、コードの共有、変更の追跡、バージョンの管理、最終的なプロジェクトへの変更の統合のための効率的で合理化されたアプローチが必要です。

プロンプトフロー SDK/CLI と VS Code プロンプトフロー拡張機能により、ソースコードリポジトリ内でのコードベースのフロー開発の簡単なコラボレーションが促進されます。 GitHub や Azure Repos などのクラウドベースのソース管理システムを使用して、変更の追跡、バージョンの管理、およびこれらの変更の最終的なプロジェクトへの統合を行うことができます。

コラボレーション開発のベストプラクティスに従う

一元化されたコードリポジトリを設定します。

コラボレーションプロセスの最初の手順では、プロンプトフローコードを含む、プロジェクトコードのベースとしてコードリポジトリを設定します。この一元化されたリポジトリにより、効率的な組織化、変更の追跡、チームメンバー間のコラボレーションが可能になります。
プロンプトフロー拡張機能を使用して、VS Code でフローをローカルで作成して 1 回テストします。

リポジトリが設定されたら、チームメンバーは、フローをローカルで作成し、入力テストを 1 回行うためにプロンプトフロー拡張機能と共に VS Code を使用できます。標準化された統合開発環境により、フローのさまざまな側面に取り組む複数のメンバー間のコラボレーションが促進されます。
pfazure CLI または SDK を使用して、ローカルフローからクラウドにバッチ実行と評価実行を送信します。

ローカルでの開発とテストの後、チームメンバーはプロンプトフロー CLI/SDK を使用して、バッチおよび評価実行をクラウドに送信して評価できます。このプロセスにより、クラウドコンピューティングの使用、永続的な結果の格納、デプロイ用のエンドポイントの作成、スタジオ UI での効率的な管理が可能になります。
Azure Machine Learning スタジオワークスペース UI で実行結果を表示および管理します。

クラウドに実行を送信した後、チームメンバーはスタジオ UI にアクセスして結果を表示し、効率的に実験を管理できます。クラウドワークスペースにより、実行履歴、ログ、スナップショット、インスタンスレベルの入力と出力を収集および管理するための一元的な場所が提供されます。
すべての実行履歴が記録される [実行] リストを使用すると、さまざまな実行の結果を簡単に比較できるため、品質分析と必要な調整に役立ちます。
ローカルの反復開発を引き続き使用します。

実験の結果を分析した後、チームメンバーは、さらに開発して微調整するためにローカル環境とコードリポジトリに戻り、その後の実行を繰り返しクラウドに送信できます。この反復的なアプローチにより、チームが運用環境の品質に満足するまで、一貫した強化が保証されます。
スタジオでの運用環境への 1 ステップデプロイを使用します。

チームがフローの品質に完全に自信を持てたら、堅牢なクラウド環境でオンラインエンドポイントとしてシームレスにデプロイできます。オンラインエンドポイントとしてのデプロイは、実行スナップショットに基づいて行うことができます。これにより、安定した安全なサービス提供、さらなるリソースの割り当てと使用状況の追跡、クラウドでのログ監視が可能になります。

Azure Machine Learning スタジオの [デプロイ] ウィザードは、デプロイを簡単に構成するのに役立ちます。

次の方法で共有

LLM ベースのアプリケーション用にプロンプトフローを DevOps と統合する

前提条件

プロンプトフローでコードファーストエクスペリエンスを使用する

プロンプトフローコードにアクセスする

フローコードファイルを操作する

プロンプトフローコードをダウンロードしてチェックインする

ローカルで開発およびテストする

VS Code プロンプトフロー拡張機能を使用する

プロンプトフロー SDK と CLI を使用する

ローカルリポジトリからクラウドに実行を送信する

プロンプトフロー SDK をインストールする

Azure Machine Learning ワークスペースに接続する

フローをアップロードして実行を作成する

評価フロー実行を作成する

実行結果の表示

ログをストリーミングする

実行の出力を表示する

評価実行メトリックを表示する

DevOps との統合

CI パイプラインでのフロー実行をトリガーする

継続的な開発にスタジオ UI を使用する

フローをオンラインエンドポイントとしてデプロイする

フロー開発で共同作業を行う

コラボレーション開発のベストプラクティスに従う

フィードバック

その他のリソース

次の方法で共有

LLM ベースのアプリケーション用にプロンプト フローを DevOps と統合する

前提条件

プロンプト フローでコードファースト エクスペリエンスを使用する

プロンプト フロー コードにアクセスする

フロー コード ファイルを操作する

プロンプト フロー コードをダウンロードしてチェックインする

ローカルで開発およびテストする

VS Code プロンプト フロー拡張機能を使用する

プロンプト フロー SDK と CLI を使用する

ローカル リポジトリからクラウドに実行を送信する

プロンプト フロー SDK をインストールする

Azure Machine Learning ワークスペースに接続する

フローをアップロードして実行を作成する

評価フロー実行を作成する

実行結果の表示

ログをストリーミングする

実行の出力を表示する

評価実行メトリックを表示する

DevOps との統合

CI パイプラインでのフロー実行をトリガーする

継続的な開発にスタジオ UI を使用する

フローをオンライン エンドポイントとしてデプロイする

フロー開発で共同作業を行う

コラボレーション開発のベスト プラクティスに従う

関連するコンテンツ

フィードバック

その他のリソース

LLM ベースのアプリケーション用にプロンプトフローを DevOps と統合する

プロンプトフローでコードファーストエクスペリエンスを使用する

プロンプトフローコードにアクセスする

フローコードファイルを操作する

プロンプトフローコードをダウンロードしてチェックインする

VS Code プロンプトフロー拡張機能を使用する

プロンプトフロー SDK と CLI を使用する

ローカルリポジトリからクラウドに実行を送信する

プロンプトフロー SDK をインストールする

フローをオンラインエンドポイントとしてデプロイする

コラボレーション開発のベストプラクティスに従う