Azure Data Factory または Synapse Analytics を使用して Vertica からデータをコピーする

[アーティクル]
10/16/2024

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新しい試用版を開始する方法について説明します。

この記事では、Azure Data Factory または Synapse Analytics パイプラインでコピーアクティビティを使用して、Vertica からデータをコピーする方法について説明します。この記事は、コピーアクティビティの概要を示しているコピーアクティビティの概要に関する記事に基づいています。

サポートされる機能

この Vertica コネクタでは、次の機能がサポートされています。

サポートされる機能	IR
Copy アクティビティ (ソース/-)	① (バージョン 1.0 の場合のみ) ②
Lookup アクティビティ	① (バージョン 1.0 の場合のみ) ②

① Azure 統合ランタイム ② セルフホステッド統合ランタイム

コピーアクティビティによってソースまたはシンクとしてサポートされているデータストアの一覧については、サポートされているデータストアに関する記事の表をご覧ください。

このサービスでは接続を有効にする組み込みのドライバーが提供されるので、このコネクタを使用してドライバーを手動でインストールする必要はありません。

バージョン 2.0 (プレビュー) では、Vertica ODBC ドライバーを手動でインストールする必要があります。バージョン 1.0 の場合、このサービスでは接続を有効にする組み込みのドライバーが提供されるので、ドライバーを手動でインストールする必要はありません。

前提条件

データストアがオンプレミスネットワーク、Azure 仮想ネットワーク、または Amazon Virtual Private Cloud 内にある場合は、それに接続するようセルフホステッド統合ランタイムを構成する必要があります。バージョン 2.0 (プレビュー) を使用する場合、セルフホステッド統合ランタイムのバージョンは 5.44.8984.1 以降である必要があります。

Data Factory によってサポートされるネットワークセキュリティメカニズムやオプションの詳細については、「データアクセス戦略」を参照してください。

バージョン 1.0 の場合

データストアがマネージドクラウドデータサービスである場合は、Azure Integration Runtime を使用できます。ファイアウォール規則で承認されている IP にアクセスが制限されている場合は、Azure Integration Runtime の IP を許可リストに追加できます。

また、Azure Data Factory のマネージド仮想ネットワーク統合ランタイム機能を使用すれば、セルフホステッド統合ランタイムをインストールして構成しなくても、オンプレミスネットワークにアクセスすることができます。

バージョン 2.0 (プレビュー) 用の Vertica ODBC ドライバーをインストールする

バージョン 2.0 (プレビュー) で Vertica コネクタを使用するには、次の手順に従って、セルフホステッド統合ランタイムを実行しているコンピューターに Vertica ODBC ドライバーをインストールします。

ODBC ドライバーの Vertica クライアントセットアップを Client ドライバー | OpenText™ Vertica™ からダウンロードします。 Windows システムのセットアップの例を次に示します。
ダウンロードした .exe を開き、インストールプロセスを開始します。 
Vertica コンポーネントの一覧から ODBC ドライバーを選択し、[次へ] を選択してインストールを開始します。
インストールプロセスが正常に完了したら、スタートメニュー -> [ODBC データソース管理者] に移動して、正常にインストールされたことを確認できます。

作業の開始

コピーアクティビティを含むパイプラインは、.NET SDK、Python SDK、Azure PowerShell、REST API、または Azure Resource Manager テンプレートを使用して作成できます。コピーアクティビティを含むパイプラインを作成するための詳細な手順については、コピーアクティビティのチュートリアルをご覧ください。

UI を使用して Vertica のリンクサービスを作成する

次の手順を使用して、Azure portal UI で Vertica のリンクサービスを作成します。

Azure Data Factory または Synapse ワークスペースの [管理] タブに移動し、[リンクされたサービス] を選択して、[新規] をクリックします。
- Azure Data Factory
- Azure Synapse
Vertica を検索し、Vertica コネクタを選択します。
サービスの詳細を構成し、接続をテストして、新しいリンクサービスを作成します。

コネクタの構成の詳細

次のセクションでは、Vertica コネクタに固有の Data Factory エンティティの定義に使用されるプロパティについて詳しく説明します。

リンクされたサービスのプロパティ

バージョン 2.0 (プレビュー) を使用する場合、Vertica のリンクサービスでは次のプロパティがサポートされます。

プロパティ	内容	必須
type	type プロパティを Vertica に設定する必要があります	はい
サーバー	接続先のサーバーの名前または IP アドレス。	はい
port	サーバーリスナーのポート番号。	いいえ (既定値は 5433)
database	Vertica データベースの名前。	はい
uid	データベースへの接続に使用されるユーザー ID。	はい
pwd	アプリケーションがデータベースへの接続に使用するパスワード。	はい
version	バージョン 2.0 (プレビュー) を選択したときのバージョン。値は `2.0` です。	はい
connectVia	データストアに接続するために使用される統合ランタイム。詳細については、「前提条件」セクションを参照してください。セルフホステッド統合ランタイムのみを使用でき、そのバージョンは 5.44.8984.1 以降である必要があります。	いいえ

例:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

例: パスワードを Azure Key Vault に格納する

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

バージョン 1.0 を使用する場合は、次のプロパティがサポートされます。

プロパティ	内容	必須
type	type プロパティを Vertica に設定する必要があります	はい
connectionString	Vertica に接続するための ODBC 接続文字列。パスワードを Azure Key Vault に格納して、接続文字列から `pwd` 構成をプルすることもできます。詳細については、下記の例と、「Azure Key Vault への資格情報の格納」の記事を参照してください。	はい
connectVia	データストアに接続するために使用される統合ランタイム。詳細については、「前提条件」セクションを参照してください。指定されていない場合は、既定の Azure 統合ランタイムが使用されます。	いいえ

例:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

データセットのプロパティ

データセットを定義するために使用できるセクションとプロパティの完全な一覧については、データセットに関する記事をご覧ください。このセクションでは、Vertica データセットでサポートされるプロパティの一覧を示します。

Vertica からデータをコピーするには、データセットの type プロパティを VerticaTable に設定します。次のプロパティがサポートされています。

プロパティ	内容	必須
type	データセットの type プロパティは、VerticaTable に設定する必要があります。	はい
schema	スキーマの名前。	いいえ (アクティビティソースの "query" が指定されている場合)
table	テーブルの名前。	いいえ (アクティビティソースの "query" が指定されている場合)

例

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

コピーアクティビティのプロパティ

アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関する記事を参照してください。このセクションでは、Vertica ソースでサポートされるプロパティの一覧を示します。

ソースとしての Vertica

Vertica からデータをコピーするには、コピーアクティビティのソースタイプを VerticaSource に設定します。コピーアクティビティの source セクションでは、次のプロパティがサポートされます。

プロパティ	内容	必須
type	コピーアクティビティのソースの type プロパティを VerticaSource に設定する必要があります。	はい
query	カスタム SQL クエリを使用してデータを読み取ります。 (例: `"SELECT * FROM MyTable"`)。	いいえ (データセットで "schema+table" が指定されている場合)

例:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Lookup アクティビティのプロパティ

プロパティの詳細については、Lookup アクティビティに関するページを参照してください。

Vertica バージョンをアップグレードする

Vertica バージョンのアップグレードに役立つ手順を次に示します。

「前提条件」の手順に従って、Vertica ODBC ドライバーをインストールします。
[リンクサービスの編集] ページの [バージョン] で [2.0 (プレビュー)] を選び、「リンクサービスのプロパティ」を参照してリンクサービスを構成します。
バージョン 5.44.8984.1 以上のセルフホステッド統合ランタイムを適用します。 Azure 統合ランタイムは、バージョン 2.0 (プレビュー) ではサポートされていません。

Copy アクティビティでソースおよびシンクとしてサポートされるデータストアの一覧については、サポートされるデータストアに関するセクションを参照してください。

次の方法で共有

Azure Data Factory または Synapse Analytics を使用して Vertica からデータをコピーする

サポートされる機能

前提条件

バージョン 1.0 の場合

バージョン 2.0 (プレビュー) 用の Vertica ODBC ドライバーをインストールする

作業の開始

UI を使用して Vertica のリンクサービスを作成する

コネクタの構成の詳細

リンクされたサービスのプロパティ

データセットのプロパティ

コピーアクティビティのプロパティ

ソースとしての Vertica

Lookup アクティビティのプロパティ

Vertica バージョンをアップグレードする

フィードバック

その他のリソース

次の方法で共有

Azure Data Factory または Synapse Analytics を使用して Vertica からデータをコピーする

サポートされる機能

前提条件

バージョン 1.0 の場合

バージョン 2.0 (プレビュー) 用の Vertica ODBC ドライバーをインストールする

作業の開始

UI を使用して Vertica のリンク サービスを作成する

コネクタの構成の詳細

リンクされたサービスのプロパティ

データセットのプロパティ

コピー アクティビティのプロパティ

ソースとしての Vertica

Lookup アクティビティのプロパティ

Vertica バージョンをアップグレードする

関連するコンテンツ

フィードバック

その他のリソース

UI を使用して Vertica のリンクサービスを作成する

コピーアクティビティのプロパティ