Compartilhar via

Copiar dados do MySQL utilizando o Azure Data Factory ou Synapse Analytics

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Este artigo descreve como usar a atividade de cópia nos pipelines do Azure Data Factory e do Azure Synapse Analytics para copiar dados de um banco de dados do MySQL. Ele amplia o artigo Visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia.

Observação

Para copiar dados de ou para o serviço de Banco de Dados do Azure para MySQL, use o conector especializado do Banco de Dados do Azure para MySQL.

Importante

O conector MySQL versão 2.0 fornece suporte nativo aprimorado ao MySQL. Se você estiver usando o conector MySQL versão 1.0 em sua solução, atualize seu conector MySQL, pois a versão 1.0 está no estágio de Fim do Suporte. Consulte esta seção para obter detalhes sobre a diferença entre a versão 2.0 e a versão 1.0.

Funcionalidades com suporte

O conector do MySQL é compatível com as seguintes funcionalidades:

Funcionalidades com suporte IR
Atividade de cópia (origem/-) ① ②
Atividade de pesquisa ① ②

① Runtime de integração do Azure ② Runtime de integração auto-hospedada

Para obter uma lista de armazenamentos de dados com suporte como origens/coletores da atividade de cópia, confira a tabela Armazenamentos de dados com suporte.

Esse conector dá suporte ao MySQL versão 5.5, 5.6, 5.7, 8.0, 8.1 e 8.2 no conector MySQL versão 2.0 e 5.6, 5.7 e 8.0 para a versão 1.0.

Pré-requisitos

Se o armazenamento de dados estiver localizado dentro de uma rede local, em uma rede virtual do Azure ou na Amazon Virtual Private Cloud, você precisará configurar um runtime de integração auto-hospedada para se conectar a ele.

Se o armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Azure Integration Runtime. Se o acesso for restrito aos IPs que estão aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar o recurso de runtime de integração da rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um runtime de integração auto-hospedada.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções compatíveis com o Data Factory, consulte Estratégias de acesso a dados.

O Integration Runtime fornece um driver MySQL interno a partir da versão 3.7, portanto, não é necessário instalar nenhum driver manualmente.

Introdução

Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:

Criar um serviço vinculado ao MySQL usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao MySQL na interface do usuário do portal do Azure.

  1. Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse e selecione Serviços Vinculados, em seguida, clique em Novo:

  2. Pesquise o MySQL e selecione o conector do MySQL.

    Selecione o conector do MySQL.

  3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

    Configure um serviço vinculado ao MySQL.

Detalhes da configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas ao conector do MySQL.

Propriedades do serviço vinculado

Se você usar a versão 2.0, as propriedades a seguir têm suporte para o serviço vinculado do MySQL:

Propriedade Descrição Obrigatório
type A propriedade type deve ser definida como: MySql Sim
driverVersion A versão do driver quando você seleciona a versão 2.0. O valor é v2. Sim
Servidor O nome do seu servidor MySQL. Sim
porta O número da porta a ser conectada ao servidor MySQL. Não
Banco de Dados O nome do banco de dados MySQL. Sim
Nome de Usuário Seu nome de usuário. Sim
password A senha do nome de usuário. Marque esse campo como SecureString para armazená-lo com segurança. Você também pode referenciar um segredo armazenado no Azure Key Vault. Sim
sslMode Esta opção especifica se o driver usa criptografia e verificação TLS ao se conectar ao MySQL. Por exemplo, SSLMode=<0/1/2/3/4>.
Opções: DESATIVADO (0)/PREFERENCIAL (1) (padrão)/OBRIGATÓRIO (2)/VERIFY_CA (3)/VERIFY_IDENTITY (4)		 Sim
useSystemTrustStore Esta opção especifica se deve usar um certificado de autoridade de certificação do repositório de confiança de sistema ou de um arquivo PEM especificado. Por exemplo, UseSystemTrustStore=<0/1>;
Opções: Ativado (1)/Desativado (0) (Padrão)		 Não
connectVia O Integration Runtime a ser usado para se conectar ao armazenamento de dados. Saiba mais na seção Pré-requisitos. Se não for especificado, ele usa o Integration Runtime padrão do Azure. Não
Propriedades de conexão adicionais
allowZeroDateTime Especificar esse valor de propriedade true permite que o valor de data "zero" especial de 0000-00-00 seja recuperado do banco de dados. Se definido como false (o padrão), as colunas de data serão retornadas como valores Data/Hora, o que significa 0000-00-00 que não pode ser recuperado.

O MySQL permite armazenar um valor 0000-00-00 "zero" como uma "data fictícia". Em alguns casos, esse recurso é mais conveniente do que usar valores NULL e usa menos dados e espaço de índice. Para desabilitar 0000-00-00 no MySQL, habilite o modo NO_ZERO_DATE. Para obter mais informações, consulte este artigo.		 Não
connectionTimeout O período time (em segundos) a aguardar para uma conexão ao servidor antes de terminar a tentativa e gerar um erro. Não
convertZeroDateTime Defina-o como true para retornar DateTime.MinValue para colunas de data ou Data/Hora que têm valores não permitidos. Não
guidFormat Determina qual tipo de coluna (se houver) deve ser lido como um GUID. Acesse este artigo para obter a descrição de cada tipo de coluna pesquisando essa propriedade.

A versão 2.0 trata Caract (36) como tipo GUID por padrão para melhorar o desempenho. O conector trata os campos Char(36) como GUIDs para facilitar o tratamento de banco de dados. Esse tratamento simplifica operações como inserir, atualizar e recuperar valores GUID, garantindo que eles sejam gerenciados consistentemente como objetos GUID no código do aplicativo em vez de cadeias de caracteres sem formatação. Esse comportamento é particularmente útil em cenários em que os GUIDs são usados como chaves primárias ou identificadores exclusivos, fornecendo melhor desempenho. Caso não precise dessa configuração padrão, configure guidFormat=none na propriedade de conexão.		 Não
sslCert O caminho para o arquivo de certificado SSL do cliente no formato de PEM. SslKey também deve ser especificado. Não
sslKey O caminho para a chave privada SSL do cliente no formato PEM. O SslCert também deve ser especificado. Não
treatTinyAsBoolean Quando definido como verdadeiro, os valores tinyint(1) são retornados como boolianos. Definir essa propriedade como falso faz com que tinyint(1) seja retornado como SByte/Byte.

A versão 2.0 trata tinyint(1.0) como tipo booliano por padrão. Para obter mais informações, consulte este artigo. Para permitir que o conector retorne tiny como numérico, defina treatTinyAsBoolean=false nas propriedades de conexão.		 Não

Exemplo:

{
    "name": "MySQLLinkedService",
    "properties": {
        "type": "MySql",
        "typeProperties": {
             "server": "<server>",
             "port": 3306,
             "database": "<database>",
             "username": "<username>",
             "password": {
                "type": "SecureString",
                "value": "<password>"
             },
             "sslmode": <sslmode>,
             "usesystemtruststore": <UseSystemTrustStore>,
             "driverVersion": "v2"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar a senha no Azure Key Vault

{
    "name": "MySQLLinkedService",
    "properties": {
        "type": "MySql",
        "typeProperties": {
            "server": "<server>",
            "port": 3306,
            "database": "<database>",
            "username": "<username>",
            "sslmode": <sslmode>,
            "usesystemtruststore": <UseSystemTrustStore>,
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            },
            "driverVersion": "v2"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Se você usar a versão 1.0, as seguintes propriedades serão compatíveis:

Propriedade Descrição Obrigatório
type A propriedade type deve ser definida como: MySql Sim
connectionString Obtenha as informações de conexão necessárias para se conectar ao Banco de Dados do Azure para MySQL.
Você também pode colocar uma senha no Azure Key Vault e extrair a configuração password da cadeia de conexão. Confira os exemplos a seguir e o artigo Armazenar credenciais no Azure Key Vault com mais detalhes.		 Sim
connectVia O Integration Runtime a ser usado para se conectar ao armazenamento de dados. Saiba mais na seção Pré-requisitos. Se não for especificado, ele usa o Integration Runtime padrão do Azure. Não

Uma cadeia de conexão válida é Server=<server>;Port=<port>;Database=<database>;UID=<username>;PWD=<password>. Mais propriedades que podem ser definidas para seu caso:

Propriedade Descrição Obrigatório
sslMode Esta opção especifica se o driver usa criptografia e verificação TLS ao se conectar ao MySQL. Por exemplo, SSLMode=<0/1/2/3/4>.
Opções: DESATIVADO (0)/PREFERENCIAL (1) (padrão)/OBRIGATÓRIO (2)/VERIFY_CA (3)/VERIFY_IDENTITY (4)		 Sim
SSLCert O caminho completo e o nome de um arquivo. pem que contém o certificado SSL usado para provar a identidade do cliente.
Para especificar uma chave privada para criptografar esse certificado antes de enviá-lo para o servidor, use a propriedade SSLKey.		 Sim, se estiver usando a verificação de SSL bidirecional.
SSLKey O caminho completo e o nome de um arquivo que contém a chave privada usada para criptografar o certificado do lado do cliente durante a verificação de SSL bidirecional. Sim, se estiver usando a verificação de SSL bidirecional.
useSystemTrustStore Esta opção especifica se deve usar um certificado de autoridade de certificação do repositório de confiança de sistema ou de um arquivo PEM especificado. Por exemplo, UseSystemTrustStore=<0/1>;
Opções: Ativado (1)/Desativado (0) (Padrão)		 Não

Exemplo:

{
    "name": "MySQLLinkedService",
    "properties": {
        "type": "MySql",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<username>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre conjuntos de dados. Esta seção fornece uma lista das propriedades com suporte pelo conjunto de dados do MySQL.

Para copiar dados do MySQL, há suporte para as seguintes propriedades:

Propriedade Descrição Obrigatório
type A propriedade type do conjunto de dados deve ser definida como: MySqlTable Sim
tableName Nome da tabela no banco de dados MySQL. Não (se "query" na fonte da atividade for especificada)

Exemplo

{
    "name": "MySQLDataset",
    "properties":
    {
        "type": "MySqlTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MySQL linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Se você estava usando o conjunto de dados com tipos RelationalTable, ele ainda tem suporte como está, mas é recomendável usar o novo de agora em diante.

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção fornece uma lista das propriedades com suporte pela fonte do MySQL.

MySQL como fonte

Para a cópia de dados do MySQL, as propriedades a seguir têm suporte na seção de origem da atividade de cópia:

Propriedade Descrição Obrigatório
type A propriedade type da fonte da atividade de cópia deve ser definida como: MySqlSource Sim
Consulta Utiliza a consulta SQL personalizada para ler os dados. Por exemplo: "SELECT * FROM MyTable". Não (se "tableName" no conjunto de dados for especificado)

Exemplo:

"activities":[
    {
        "name": "CopyFromMySQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MySQL input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MySqlSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Se você estava usando a fonte com tipos RelationalSource, ela ainda tem suporte como se encontra, mas é recomendável empregar a nova de agora em diante.

Mapeamento de tipo de dados para o MySQL

Ao copiar dados do MySQL, os seguintes mapeamentos são usados de tipos de dados do MySQL para tipos de dados provisórios usados internamente com o serviço. Consulte Mapeamentos de tipo de dados e esquema para saber mais sobre como a atividade de cópia mapeia o tipo de dados e esquema de origem para o coletor.

Tipo de dados do MySQL Tipo de dados de serviço provisório (para a versão 2.0) Tipo de dados de serviço provisório (para a versão 1.0)
bigint Int64 Int64
bigint unsigned Decimal Decimal
bit(1) UInt64 Boolean
bit(M), M>1 UInt64 Byte[]
blob Byte[] Byte[]
bool Boolean
(Se TreatTinyAsBoolean=false, será mapeado como SByte. TreatTinyAsBoolean é true por padrão)		 Int16
char String String
date Datetime Datetime
datetime Datetime Datetime
decimal Decimal Decimal, String
double Double Double
double precision Double Double
enum String String
float Single Single
int Int32 Int32
int unsigned Int64 Int64
integer Int32 Int32
integer unsigned Int64 Int64
JSON String -
long varbinary Byte[] Byte[]
long varchar String String
longblob Byte[] Byte[]
longtext String String
mediumblob Byte[] Byte[]
mediumint Int32 Int32
mediumint unsigned Int64 Int64
mediumtext String String
numeric Decimal Decimal
real Double Double
set String String
smallint Int16 Int16
smallint unsigned Int32 Int32
text String String
time TimeSpan TimeSpan
timestamp Datetime Datetime
tinyblob Byte[] Byte[]
tinyint SByte
(tinyint(1) é mapeado para Boolean)		 Int16
tinyint unsigned Int16 Int16
tinytext String String
varchar String String
year Int Int

Pesquisar propriedades de atividade

Para saber detalhes sobre as propriedades, verifique Pesquisar atividade.

Atualizar o conector MySQL

Estas são as etapas que ajudarão você a atualizar o conector MySQL:

  1. Na página Editar serviço vinculado, selecione 2.0 em Versão e configure o serviço vinculado referindo-se às Propriedades do serviço vinculado.

  2. O mapeamento de tipo de dados para a versão 2.0 é diferente do da versão 1.0. Para saber mais sobre o mapeamento de tipo de dados versão 2,0, consulte Mapeamento de tipo de dados do MySQL.

  3. A versão 2.0 dá suporte a mais versões do MySQL. Para obter mais informações, confira Funcionalidades com suporte.

Esta seção apresenta as práticas recomendadas para a versão 2.0r do conector MySQL.

Não é possível carregar a chave SSL

  • Sintomas: se você estiver usando a versão 2.0 do conector MySQL com a Chave SSL como uma propriedade de conexão, poderá se deparar com a seguinte mensagem de erro: Could not load the client key from your_pem_file: Unrecognized PEM header: -----BEGIN PRIVATE KEY-----

  • Causa: a versão 2.0 não pode descriptografar o formato PCKS#8.

  • Recomendação: converta o formato PEM em PCKS#1.

A tabela a seguir mostra as diferenças de mapeamento de tipo de dados entre o MySQL usando a versão 2.0 e a versão 1.0.

Tipo de dados do MySQL Tipo de dados de serviço provisório (usando a versão 2.0) Tipo de dados de serviço provisório (usando a versão 1.0)
bit(1) UInt64 Booliano
bit(M), M>1 UInt64 Byte[]
bool Booliano Int16
JSON String Byte[]

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados com suporte como coletores e fontes da atividade de cópia, confira os armazenamentos de dados com suporte.