ワークフローオーケストレーションマネージャーで GitHub リポジトリを同期する

[アーティクル]
03/19/2024

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新しい試用版を開始する方法について説明します。

注意

この機能はパブリックプレビュー段階にあります。ワークフローオーケストレーションマネージャーは Apache Airflow を利用しています。

この記事では、Azure Data Factory ワークフローオーケストレーションマネージャーで GitHub リポジトリを 2 つの異なる方法で同期する方法について説明します:

ワークフローオーケストレーションマネージャー UI で [Git 同期を有効にする] を使用します。
REST API を使用します。

前提条件

Azure サブスクリプション:Azure サブスクリプションをお持ちでない場合は、開始する前に無料の Azure アカウントを作成してください。既存の Data Factory インスタンスをワークフローオーケストレーションマネージャープレビューがサポートされているリージョンで作成または選択します。
GitHub リポジトリ: GitHub リポジトリにアクセスする必要があります。

ワークフローオーケストレーションマネージャー UI の使用

ワークフローオーケストレーションマネージャー UI を使用して GitHub リポジトリを同期するには:

リポジトリに必要なフォルダーとファイルが含まれていることを確認します:
- dags/: Apache Airflow 有向非循環グラフ (DAG) の場合 (必須)。
- Plugins/: 外部機能を Airflow に統合する場合。
ワークフローオーケストレーションマネージャー統合ランタイムを作成するときに、[Airflow 環境のセットアップ] ダイアログで [Git 同期を有効にする] を選択します。
以下のサポートされている Git サービスの種類のいずれかを選択します:
- GitHub
- ADO
- GitLab
- BitBucket
資格情報の種類を選択:
- None (パブリックリポジトリ用): このオプションを選択する場合は、リポジトリの可視性がパブリックになっていることを確認してください。次に、詳細を入力します:
  - Git リポジトリの URL (必須): 目的の GitHub リポジトリの複製 URL。
  - Git ブランチ (必須): 必要な Git リポジトリがある現在のブランチ。
- Git 個人用アクセストークン: 個人用アクセストークン (PAT) に対してこのオプションを選択した後、選択した Git サービスの種類に基づいて残りのフィールドに入力します:
  - GitHub の個人用アクセストークン
  - ADO 個人用アクセストークン
  - GitLab 個人用アクセストークン
  - BitBucket 個人用アクセストークン
- SPN (サービスプリンシパル名): この資格情報の種類は ADO でのみサポートされます。このオプションを選択したら、選択した Git サービスの種類に基づいて残りのフィールドに入力します:
  - Git リポジトリ URL (必須): 同期する Git リポジトリへの複製 URL。
  - Git ブランチ (必須): 同期するリポジトリのブランチ。
  - サービスプリンシパルアプリ ID (必須): 同期する ADO リポジトリへのアクセス権を持つサービスプリンシパルアプリ ID。
  - サービスプリンシパルシークレット (必須): ADO リポジトリの認証とアクセスに使用される値を持つ、サービスプリンシパルで手動で生成されたシークレット。
  - サービスプリンシパルテナント ID (必須): サービスプリンシパルテナント ID。
残りのフィールドに必要な情報を入力します。
［作成］ を選択します

REST API を使用する

Rest API を使用して GitHub リポジトリを同期するには:

メソッド: PUT
URL: https://management.azure.com/subscriptions/<subscriptionid>/resourcegroups/<resourceGroupName>/providers/Microsoft.DataFactory/factories/<datafactoryName>/integrationruntimes/<airflowEnvName>?api-version=2018-06-01

URI パラメーター:

名前	/	必須	タイプ	説明
サブスクリプション ID	path	True	string	サブスクリプション識別子
ResourceGroup 名	path	True	string	リソースグループ名 (正規表現パターン: `^[-\w\._]+$`)
dataFactoryName	path	True	string	Azure Data Factory の名前 (正規表現パターン: `^[A-Za-z0-9]+(?:-[A-Za-z0-9]+)*$`
airflowEnvName	path	True	string	ワークフローオーケストレーションマネージャー環境の名前
API バージョン	query	○	string	API のバージョン

要求本文 (Airflow 構成):

名前種類説明

name string Airflow 環境の名前

properties propertyType 環境の構成プロパティ
プロパティの型:

名前種類説明

Type string リソースの種類 (このシナリオでは Airflow)

typeProperties typeProperty エアフロー

名前	種類	説明
name	string	Airflow 環境の名前
properties	propertyType	環境の構成プロパティ

名前	種類	説明
Type	string	リソースの種類 (このシナリオでは Airflow)
typeProperties	typeProperty	エアフロー

Type プロパティ:

名前	種類	説明
computeProperties	computeProperty	環境に使われたコンピューティングの種類の構成
airflowProperties	airflowProperty	環境の Airflow プロパティの構成

コンピューティングプロパティ:

名前	種類	Description
location	string	Airflow 統合ランタイムの場所は、既定でデータファクトリのリージョンに設定されます。別のリージョンに統合ランタイムを作成するには、必要なリージョンに新しいデータファクトリを作成します。
computeSize	string	ご利用の Airflow 環境を実行する計算ノードのサイズ。たとえば、Large または Small です。最初に 3 つのノードが割り当てられます。
extraNodes	integer	追加ノードごとに、さらに 3 つのワーカーが追加されます。

Airflow プロパティ:

名前	種類	説明
airflowVersion	string	サポートされているバージョンの Apache Airflow。たとえば、2.4.3 です。
airflowRequirements	Array<string>	使用する Python ライブラリ。たとえば、["flask-bcrypy=0.7.1"] です。コンマ区切りのリストを指定できます。
airflowEnvironmentVariables	オブジェクト (キーと値のペア)	使用する環境変数。たとえば、{ "SAMPLE_ENV_NAME": "test" } です。
gitSyncProperties	gitSyncProperty	Git 構成プロパティ。
enableAADIntegration	boolean	Microsoft Entra ID がワークフローオーケストレーションマネージャーにログインできるようにします。
userName	文字列または null 値	Basic 認証のユーザー名。
password	文字列または null 値	Basic 認証のパスワード。

Git 同期プロパティ:

名前	種類	説明
gitServiceType	string	目的のリポジトリが配置されている Git サービス。値は、GitHub、ADO、GitLab、または BitBucket です。
gitCredentialType	string	Git 資格情報の種類。値は PAT (個人用アクセストークンの場合)、SPN (ADO でのみサポート)、None です。
レポジトリ	string	リポジトリリンク。
分岐	string	リポジトリで使うブランチ。
username	string	GitHub ユーザー名。
資格情報	string	PAT の値。
tenantId	string	サービスプリンシパルテナント ID (ADO でのみサポート)。

応答:

名前状態コード型説明

同意 200 ファクトリ OK

権限がありません 401 クラウドエラーエラーの詳細を含む配列

名前	状態コード	型	説明
同意	200	ファクトリ	OK
権限がありません	401	クラウドエラー	エラーの詳細を含む配列

例

次の例を確認してください。

要求のサンプル:

HTTP
PUT https://management.azure.com/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/abnarain-rg/providers/Microsoft.DataFactory/factories/ambika-df/integrationruntimes/sample-2?api-version=2018-06-01

サンプル本文:

{
   "name": "sample-2",
   "properties": {
      "type": "Airflow",
      "typeProperties": {
         "computeProperties": {
            "location": "East US",
            "computeSize": "Large",
            "extraNodes": 0
         },
         "airflowProperties": {
            "airflowVersion": "2.4.3",
            "airflowEnvironmentVariables": {
               "AIRFLOW__TEST__TEST": "test"
            },
            "airflowRequirements": [
               "apache-airflow-providers-microsoft-azure"
            ],
            "enableAADIntegration": true,
            "userName": null,
            "password": null,
            "airflowEntityReferences": []
         }
      }
   }
}

サンプル応答

Status code: 200 OK

応答本文:

{
   "id": "/subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/resourceGroups/your-rg/providers/Microsoft.DataFactory/factories/your-df/integrationruntimes/sample-2",
   "name": "sample-2",
   "type": "Microsoft.DataFactory/factories/integrationruntimes",
   "properties": {
      "type": "Airflow",
      "typeProperties": {
         "computeProperties": {
            "location": "East US",
            "computeSize": "Large",
            "extraNodes": 0
         },
         "airflowProperties": {
            "airflowVersion": "2.4.3",
            "pythonVersion": "3.8",
            "airflowEnvironmentVariables": {
               "AIRFLOW__TEST__TEST": "test"
            },
            "airflowWebUrl": "https://e57f7409041692.eastus.airflow.svc.datafactory.azure.com/login/",
            "airflowRequirements": [
               "apache-airflow-providers-microsoft-azure"
            ],
            "airflowEntityReferences": [],
            "packageProviderPath": "plugins",
            "enableAADIntegration": true,
            "enableTriggerers": false
         }
      },
      "state": "Initial"
   },
   "etag": "3402279e-0000-0100-0000-64ecb1cb0000"
}

以下に API ペイロードの例をいくつか示します。

PAT を使用した GitHub の Git 同期プロパティ:

"gitSyncProperties":  {
        "gitServiceType": "Github",
        "gitCredentialType": "PAT",
        "repo":  <repo url>,
        "branch": <repo branch to sync>,
        "username": <username>,
        "credential": <personal access token>
}

PAT を使用した ADO の Git 同期プロパティ:

"gitSyncProperties":  {
        "gitServiceType": "ADO",
        "gitCredentialType": "PAT",
        "repo":  <repo url>,
        "branch": <repo branch to sync>,
        "username": <username>,
        "credential": <personal access token>
}

サービスプリンシパルを使用した ADO の Git 同期プロパティ:

"gitSyncProperties":  {
        "gitServiceType": "ADO",
        "gitCredentialType": "SPN",
        "repo":  <repo url>,
        "branch": <repo branch to sync>,
        "username": < service principal app id >,
        "credential": <service principal secret value>
        "tenantId": <service principal tenant id>
}

GitHub パブリックリポジトリの Git 同期プロパティ:

"gitSyncProperties":  {
        "gitServiceType": "Github",
        "gitCredentialType": "None",
        "repo":  <repo url>,
        "branch": <repo branch to sync>
}

Git 同期を使用してプライベートパッケージをインポートする

このオプションのプロセスは、プライベートパッケージを使用する場合にのみ適用されます。

このプロセスでは、プライベートパッケージが Git 同期によって自動同期されたことを前提としています。ADO リポジトリに接続している場合は、ワークフローオーケストレーションマネージャー UI でパスプレフィックス /opt/airflow/git/\<repoName\>/ と共にパッケージを要件として追加します。他のすべての Git サービスには /opt/airflow/git/\<repoName\>.git/ を使用します。

たとえば、プライベートパッケージが GitHub リポジトリの /dags/test/private.whl にある場合は、ワークフローオーケストレーションマネージャー環境に要件 /opt/airflow/git/\<repoName\>.git/dags/test/private.whl を追加する必要があります。

ワークフローオーケストレーションマネージャー統合ランタイムの作成時に表示される [Airflow 環境のセットアップ] ダイアログの [Airflow 要件] セクションを示すスクリーンショット。

次の方法で共有

ワークフローオーケストレーションマネージャーで GitHub リポジトリを同期する

前提条件

ワークフローオーケストレーションマネージャー UI の使用

REST API を使用する

例

Git 同期を使用してプライベートパッケージをインポートする

フィードバック

その他のリソース

次の方法で共有

ワークフロー オーケストレーション マネージャーで GitHub リポジトリを同期する

前提条件

ワークフロー オーケストレーション マネージャー UI の使用

REST API を使用する

例

Git 同期を使用してプライベート パッケージをインポートする

関連するコンテンツ

フィードバック

その他のリソース

ワークフローオーケストレーションマネージャーで GitHub リポジトリを同期する

ワークフローオーケストレーションマネージャー UI の使用

Git 同期を使用してプライベートパッケージをインポートする