Azure Data Factory または Synapse Analytics を使用して MySQL からデータをコピーする

[アーティクル]
10/28/2024

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新たに試用を開始する方法については、こちらをご覧ください。

この記事では、Azure Data Factory および Synapse Analytics パイプラインでコピーアクティビティを使用して、MySQL データベースからデータをコピーする方法について説明します。この記事は、コピーアクティビティの概要を示しているコピーアクティビティの概要に関する記事に基づいています。

Note

Azure Database for MySQL サービスとの間でデータをコピーするには、専用の Azure Database for MySQL コネクタを使用します。

重要

推奨されるドライバーバージョンを使用する MySQL コネクタでは、ネイティブ MySQL のサポートが強化されています。従来のドライバーバージョンでコネクタを使用している場合は、2024 年 10 月 31 日より前にアップグレードしてください。レガシバージョンと推奨バージョンの違いの詳細については、このセクションを参照してください。

サポートされる機能

この MySQL コネクタでは、次の機能がサポートされます。

サポートされる機能	IR
Copy アクティビティ (ソース/-)	① ②
Lookup アクティビティ	① ②

① Azure 統合ランタイム ② セルフホステッド統合ランタイム

コピーアクティビティによってソースまたはシンクとしてサポートされているデータストアの一覧については、サポートされているデータストアに関する記事の表をご覧ください。

このコネクタは、推奨される新しいドライバーバージョン v2 と、レガシドライバーバージョンの 5.6、5.7、8.0 で、MySQL バージョン 5.5、5.6、5.7、8.0、8.1、8.2 をサポートしています。

前提条件

データストアがオンプレミスネットワーク、Azure 仮想ネットワーク、または Amazon Virtual Private Cloud 内にある場合は、それに接続するようセルフホステッド統合ランタイムを構成する必要があります。

データストアがマネージドクラウドデータサービスである場合は、Azure Integration Runtime を使用できます。ファイアウォール規則で承認されている IP にアクセスが制限されている場合は、Azure Integration Runtime の IP を許可リストに追加できます。

また、Azure Data Factory のマネージド仮想ネットワーク統合ランタイム機能を使用すれば、セルフホステッド統合ランタイムをインストールして構成しなくても、オンプレミスネットワークにアクセスすることができます。

Data Factory によってサポートされるネットワークセキュリティメカニズムやオプションの詳細については、「データアクセス戦略」を参照してください。

Integration Runtime のバージョン 3.7 以降には MySQL ドライバーが組み込まれているため、ドライバーを手動でインストールする必要はありません。

作業の開始

パイプラインでコピーアクティビティを実行するには、次のいずれかのツールまたは SDK を使用します。

UI を使用して MySQL のリンクサービスを作成する

次の手順を使用して、Azure portal UI で MySQL へのリンクサービスを作成します。

Azure Data Factory または Synapse ワークスペースの [管理] タブに移動し、[リンクされたサービス] を選択して、[新規] をクリックします。
- Azure Data Factory
- Azure Synapse
MySQL を検索し、MySQL コネクタを選択します。
サービスの詳細を構成し、接続をテストして、新しいリンクサービスを作成します。

コネクタの構成の詳細

次のセクションでは、MySQL コネクタに固有の Data Factory エンティティを定義するために使用されるプロパティについて詳しく説明します。

リンクされたサービスのプロパティ

推奨されるドライバーバージョンを使った場合、MySQL のリンクサービスで次のプロパティがサポートされます。

プロパティ	内容	必須
type	type プロパティは、次のように設定する必要があります:MySql	はい
driverVersion	推奨されるドライバーバージョンを選んだときのドライバーのバージョン。値は v2 です。	はい
サーバー	MySQL サーバーの名前。	はい
port	MySQL サーバーに接続するためのポート番号。	いいえ
database	MySQL データベースの名前。	はい
username	ユーザー名。	はい
password	該当するユーザー名のパスワード。安全に保存するには、このフィールドを SecureString としてマークします。また、Azure Key Vault に格納されているシークレットを参照することもできます。	はい
sslMode	このオプションは、MySQL に接続するときにドライバーで TLS 暗号化および検証を使用するかどうかを指定します。例: `SSLMode=<0/1/2/3/4>`。オプション: DISABLED (0) / PREFERRED (1) (既定値) / REQUIRED (2) / VERIFY_CA (3) / VERIFY_IDENTITY (4)	はい
useSystemTrustStore	このオプションは、システムの信頼ストアと指定した PEM ファイルのどちらの CA 証明書を使用するかを指定します。例: `UseSystemTrustStore=<0/1>` オプション: Enabled (1) / Disabled (0) (既定値)	いいえ
connectVia	データストアに接続するために使用される統合ランタイム。詳細については、「前提条件」セクションを参照してください。指定されていない場合は、既定の Azure 統合ランタイムが使用されます。	いいえ

例:

{
    "name": "MySQLLinkedService",
    "properties": {
        "type": "MySql",
        "typeProperties": {
             "server": "<server>",
             "port": 3306,
             "database": "<database>",
             "username": "<username>",
             "password": {
                "type": "SecureString",
                "value": "<password>"
             },
             "sslmode": <sslmode>,
             "usesystemtruststore": <UseSystemTrustStore>,
             "driverVersion": "v2"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

例: パスワードを Azure Key Vault に格納する

{
    "name": "MySQLLinkedService",
    "properties": {
        "type": "MySql",
        "typeProperties": {
            "server": "<server>",
            "port": 3306,
            "database": "<database>",
            "username": "<username>",
            "sslmode": <sslmode>,
            "usesystemtruststore": <UseSystemTrustStore>,
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            },
            "driverVersion": "v2"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

レガシドライバーバージョンを使った場合、次のプロパティがサポートされます。

プロパティ	内容	必須
type	type プロパティは、次のように設定する必要があります:MySql	はい
connectionString	Azure Database for MySQL インスタンスに接続するために必要な情報を指定します。パスワードを Azure Key Vault に格納して、接続文字列から `password` 構成をプルすることもできます。詳細については、下記の例と、「Azure Key Vault への資格情報の格納」の記事を参照してください。	はい
connectVia	データストアに接続するために使用される統合ランタイム。詳細については、「前提条件」セクションを参照してください。指定されていない場合は、既定の Azure 統合ランタイムが使用されます。	いいえ

一般的な接続文字列は Server=<server>;Port=<port>;Database=<database>;UID=<username>;PWD=<password> です。ケースごとにさらに多くのプロパティを設定できます。

プロパティ	内容	必須
sslMode	このオプションは、MySQL に接続するときにドライバーで TLS 暗号化および検証を使用するかどうかを指定します。例: `SSLMode=<0/1/2/3/4>`。オプション: DISABLED (0) / PREFERRED (1) (既定値) / REQUIRED (2) / VERIFY_CA (3) / VERIFY_IDENTITY (4)	はい
SSLCert	クライアントの ID を証明するために使用される SSL 証明書を含む、.pem ファイルの完全パスと名前。この証明書をサーバーに送信する前に暗号化するための秘密キーを指定するには、`SSLKey` プロパティを使用します。	はい、双方向 SSL 検証を使用する場合。
SSLKey	双方向 SSL 検証中にクライアント側の証明書を暗号化するために使用される秘密キーを含むファイルの完全パスと名前。	はい、双方向 SSL 検証を使用する場合。
useSystemTrustStore	このオプションは、システムの信頼ストアと指定した PEM ファイルのどちらの CA 証明書を使用するかを指定します。例: `UseSystemTrustStore=<0/1>` オプション: Enabled (1) / Disabled (0) (既定値)	いいえ

例:

{
    "name": "MySQLLinkedService",
    "properties": {
        "type": "MySql",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<username>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

データセットのプロパティ

データセットを定義するために使用できるセクションとプロパティの完全な一覧については、データセットに関する記事をご覧ください。このセクションでは、MySQL データセットでサポートされるプロパティの一覧を示します。

MySQL からデータをコピーする場合、次のプロパティがサポートされます。

プロパティ	内容	必須
type	データセットの type プロパティは、次のように設定する必要があります:MySqlTable	はい
tableName	MySQL データベースのテーブルの名前。	いいえ (アクティビティソースの "query" が指定されている場合)

例

{
    "name": "MySQLDataset",
    "properties":
    {
        "type": "MySqlTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MySQL linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

RelationalTable 型のデータセットを使用していた場合、現状のまま引き続きサポートされますが、今後は新しいものを使用することをお勧めします。

コピーアクティビティのプロパティ

アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関する記事を参照してください。このセクションでは、MySQL ソースでサポートされるプロパティの一覧を示します。

ソースとしての MySQL

MySQL からデータをコピーする場合、コピーアクティビティの source セクションで次のプロパティがサポートされます。

プロパティ	内容	必須
type	コピーアクティビティのソースの type プロパティは、次のように設定する必要があります:MySqlSource	はい
query	カスタム SQL クエリを使用してデータを読み取ります。 (例: `"SELECT * FROM MyTable"`)。	いいえ (データセットの "tableName" が指定されている場合)

例:

"activities":[
    {
        "name": "CopyFromMySQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MySQL input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MySqlSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

RelationalSource 型のソースを使用していた場合は現状のまま引き続きサポートされますが、今後は新しいものを使用することをお勧めします。

MySQL のデータ型マッピング

MySQL からデータをコピーするとき、MySQL のデータ型から、サービスによって内部的に使用される中間データ型への、以下のマッピングが使用されます。コピーアクティビティでソースのスキーマとデータ型がシンクにマッピングされるしくみについては、スキーマとデータ型のマッピングに関する記事を参照してください。

MySQL のデータ型	中間サービスデータ型	中間サービスデータ型 (レガシドライバーバージョンの場合)
`bigint`	`Int64`	`Int64`
`bigint unsigned`	`Decimal`	`Decimal`
`bit(1)`	`UInt64`	`Boolean`
`bit(M), M>1`	`UInt64`	`Byte[]`
`blob`	`Byte[]`	`Byte[]`
`bool`	`Boolean` (TreatTinyAsBoolean=false の場合は、`SByte` としてマップされます。TreatTinyAsBoolean は既定で true です)	`Int16`
`char`	`String`	`String`
`date`	`Datetime`	`Datetime`
`datetime`	`Datetime`	`Datetime`
`decimal`	`Decimal`	`Decimal, String`
`double`	`Double`	`Double`
`double precision`	`Double`	`Double`
`enum`	`String`	`String`
`float`	`Single`	`Single`
`int`	`Int32`	`Int32`
`int unsigned`	`Int64`	`Int64`
`integer`	`Int32`	`Int32`
`integer unsigned`	`Int64`	`Int64`
`JSON`	`String`	-
`long varbinary`	`Byte[]`	`Byte[]`
`long varchar`	`String`	`String`
`longblob`	`Byte[]`	`Byte[]`
`longtext`	`String`	`String`
`mediumblob`	`Byte[]`	`Byte[]`
`mediumint`	`Int32`	`Int32`
`mediumint unsigned`	`Int64`	`Int64`
`mediumtext`	`String`	`String`
`numeric`	`Decimal`	`Decimal`
`real`	`Double`	`Double`
`set`	`String`	`String`
`smallint`	`Int16`	`Int16`
`smallint unsigned`	`Int32`	`Int32`
`text`	`String`	`String`
`time`	`TimeSpan`	`TimeSpan`
`timestamp`	`Datetime`	`Datetime`
`tinyblob`	`Byte[]`	`Byte[]`
`tinyint`	`SByte` (`tinyint(1)` は `Boolean` にマッピングされます)	`Int16`
`tinyint unsigned`	`Int16`	`Int16`
`tinytext`	`String`	`String`
`varchar`	`String`	`String`
`year`	`Int`	`Int`

Lookup アクティビティのプロパティ

プロパティの詳細については、Lookup アクティビティに関するページを参照してください。

MySQL コネクタをアップグレードする

MySQL コネクタをアップグレードするのに役立つ手順を次に示します。

[リンクサービスの編集] ページの [ドライバーのバージョン] で [推奨] を選び、「リンクサービスのプロパティ」を参照してリンクサービスを構成します。
最新の MySQL リンクサービスのデータ型マッピングは、レガシバージョンのものとは異なります。最新のデータ型マッピングについては、「MySQL のデータ型マッピング」をご覧ください。
最新のドライバーバージョン v2 では、より多くの MySQL バージョンがサポートされています。詳細については、「サポートされる機能」を参照してください。

MySQL コネクタの推奨バージョンのベストプラクティス

このセクションでは、MySQL コネクタの推奨バージョンのベストプラクティスを導入します。

SSL キーを読み込めません

症状: MySQL コネクタの推奨バージョンで、接続プロパティに SSL キーを使用している場合、次のエラーメッセージが表示されることがあります: Could not load the client key from your_pem_file: Unrecognized PEM header: -----BEGIN PRIVATE KEY-----
原因: 推奨バージョンでは PCKS#8 形式の暗号化を解除できません。
推奨事項: PEM 形式を PCKS#1 に変換します。

推奨とレガシドライバーバージョンの違い

次のテーブルは、推奨とレガシドライバーバージョンを使用した MySQL のデータ型マッピングの違いを示しています。

MySQL のデータ型	中間サービスデータ型 (推奨ドライバーバージョンを使用)	中間サービスデータ型 (レガシドライバーバージョンを使用)
bit(1)	UInt64	Boolean
bit(M)、M>1	UInt64	Byte[]
[bool]	Boolean	Int16
JSON	String	Byte[]

Copy アクティビティでソースおよびシンクとしてサポートされるデータストアの一覧については、サポートされるデータストアに関するセクションを参照してください。

次の方法で共有

Azure Data Factory または Synapse Analytics を使用して MySQL からデータをコピーする

サポートされる機能

前提条件

作業の開始

UI を使用して MySQL のリンクサービスを作成する

コネクタの構成の詳細

リンクされたサービスのプロパティ

データセットのプロパティ

コピーアクティビティのプロパティ

ソースとしての MySQL

MySQL のデータ型マッピング

Lookup アクティビティのプロパティ

MySQL コネクタをアップグレードする

MySQL コネクタの推奨バージョンのベストプラクティス

SSL キーを読み込めません

推奨とレガシドライバーバージョンの違い

フィードバック

その他のリソース

次の方法で共有

Azure Data Factory または Synapse Analytics を使用して MySQL からデータをコピーする

サポートされる機能

前提条件

作業の開始

UI を使用して MySQL のリンク サービスを作成する

コネクタの構成の詳細

リンクされたサービスのプロパティ

データセットのプロパティ

コピー アクティビティのプロパティ

ソースとしての MySQL

MySQL のデータ型マッピング

Lookup アクティビティのプロパティ

MySQL コネクタをアップグレードする

MySQL コネクタの推奨バージョンのベスト プラクティス

SSL キーを読み込めません

推奨とレガシ ドライバーバージョンの違い

関連するコンテンツ

フィードバック

その他のリソース

UI を使用して MySQL のリンクサービスを作成する

コピーアクティビティのプロパティ

MySQL コネクタの推奨バージョンのベストプラクティス

推奨とレガシドライバーバージョンの違い