Copiar e transformar dados no Azure Data Lake Storage Gen2 usando o Azure Data Factory ou o Azure Synapse Analytics

Artigo
09/12/2024

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

O Azure Data Lake Storage Gen2 (ADLS Gen2) é um conjunto de recursos dedicados à análise de Big Data, criado no armazenamento de Blobs do Azure. Você pode usá-lo para fazer interface com seus dados usando os paradigmas de sistema de arquivos e armazenamento de objetos.

Este artigo descreve como usar a atividade de cópia para copiar dados de/para o Azure Data Lake Storage Gen2 e usar o Fluxo de Dados para transformar dados no Azure Data Lake Storage Gen2. Para saber mais, leia o artigo introdutório do Azure Data Factory ou do Azure Synapse Analytics.

Dica

Para o cenário de migração do data lake ou do data warehouse, saiba mais em Migrar dados do data lake ou do data warehouse para o Azure.

Funcionalidades com suporte

Este conector do Azure Data Lake Storage Gen2 é compatível com as seguintes funcionalidades:

Funcionalidades com suporte	IR	Ponto de extremidade privado gerenciado
Atividade de cópia (origem/coletor)	① ②	✓
Fluxo de dados de mapeamento (origem/coletor)	①	✓
Atividade de pesquisa	① ②	✓
Atividade GetMetadata	① ②	✓
Excluir atividade	① ②	✓

① Runtime de integração do Azure ② Runtime de integração auto-hospedada

Para atividade de cópia, com esse conector, você pode:

Copiar dados de/para o Azure Data Lake Storage Gen2 usando chave de conta, entidade de serviço ou identidades gerenciadas para autenticações de recursos do Azure.
Copiar arquivos no estado em que se encontram ou analisar ou gerar arquivos com formatos de arquivo e codecs de compactação com suporte.
Preserve os metadados do arquivo durante a cópia.
Preserve ACLs ao copiar de Azure Data Lake Storage Gen1/Gen2.

Introdução

Dica

Para obter um passo a passo sobre como usar o conector Data Lake Storage Gen2, confira Carregar dados no Azure Data Lake Storage Gen2.

Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:

Criar um serviço vinculado do Azure Data Lake Storage Gen2 usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao Azure Data Lake Storage Gen2 na interface do usuário do portal do Azure.

Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse, selecione Serviços Vinculados e clique em Novo:
- Azure Data Factory
- Azure Synapse
Procure Azure Data Lake Storage Gen2 e selecione o conector do Azure Data Lake Storage Gen2.
Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

Detalhes da configuração do conector

As seções a seguir fornecem informações sobre propriedades que são usadas para definir entidades dos pipelines do Data Factory e do Synapse específicas do Data Lake Storage Gen2.

Propriedades do serviço vinculado

O conector do Azure Data Lake Storage Gen2 dá suporte aos seguintes tipos de autenticação. Consulte as seções correspondentes para obter detalhes:

Autenticação de chave de conta
Autenticação de assinatura de acesso compartilhado
Autenticação de entidade de serviço
Autenticação de identidade gerenciada atribuída pelo sistema
Autenticação de identidade gerenciada atribuída pelo usuário

Observação

Se você quiser usar o Azure Integration Runtime público para conectar ao Data Lake Storage Gen2, aproveitando a opção Permitir que serviços Microsoft confiáveis acessem esta conta de armazenamento habilitada no firewall do Armazenamento do Azure, use a autenticação de identidade gerenciada. Para obter mais informações sobre as configurações dos firewalls do Armazenamento do Microsoft Azure, consulte Como configurar Redes Virtuais e Firewalls de Armazenamento do Azure.
Ao usar o PolyBase ou a instrução COPY para carregar dados no Azure Synapse Analytics, se o Data Lake Storage Gen2 de origem ou de preparo estiver configurado com um ponto de extremidade de Rede Virtual do Azure, você deverá usar a autenticação de identidade gerenciada conforme exigido pelo Azure Synapse. Confira a seção autenticação de identidade gerenciada com mais pré-requisitos de configuração.

Autenticação de chave de conta

Para usar a autenticação de chave de conta de armazenamento, há suporte para as seguintes propriedades:

Propriedade	Descrição	Obrigatório
type	A propriedade type deve ser definida como AzureBlobFS.	Sim
url	Ponto de extremidade para Data Lake Storage Gen2 com o padrão de `https://<accountname>.dfs.core.windows.net`.	Sim
accountKey	Chave de conta para o Data Lake Storage Gen2. Marque este campo como um SecureString para armazená-lo com segurança ou referencie um segredo armazenado no Azure Key Vault.	Sim
connectVia	O runtime de integração a ser usado para se conectar ao armazenamento de dados. Você pode usar o Azure Integration Runtime ou um runtime de integração auto-hospedada se o seu armazenamento de dados estiver em uma rede privada. Se essa propriedade não for especificada, o Azure Integration Runtime padrão será usado.	Não

Observação

Não há suporte para o ponto de extremidade do sistema de arquivos ADLS secundário ao usar a autenticação de chave de conta. Você pode usar outros tipos de autenticação.

Exemplo:

{
    "name": "AzureDataLakeStorageGen2LinkedService",
    "properties": {
        "type": "AzureBlobFS",
        "typeProperties": {
            "url": "https://<accountname>.dfs.core.windows.net", 
            "accountkey": { 
                "type": "SecureString", 
                "value": "<accountkey>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Autenticação de assinatura de acesso compartilhado

Uma assinatura de acesso compartilhado fornece acesso delegado aos recursos da sua conta de armazenamento. Você pode usar uma assinatura de acesso compartilhado para conceder a um cliente permissões limitadas para objetos em sua conta de armazenamento por determinado tempo.

Não é preciso compartilhar as chaves de acesso da conta. A assinatura de acesso compartilhado é um URI que engloba em seus parâmetros de consulta todas as informações necessárias para o acesso autenticado a um recurso de armazenamento. Para acessar recursos de armazenamento com a assinatura de acesso compartilhado, o cliente só precisa passar a assinatura de acesso compartilhado ao construtor ou método apropriado.

Para obter mais informações sobre assinaturas de acesso compartilhado, consulte Assinaturas de acesso compartilhado: Entender o modelo de assinatura de acesso compartilhado.

Observação

O serviço agora dá suporte para assinaturas de acesso compartilhado de serviço e assinaturas de acesso compartilhado de conta. Para obter mais informações sobre assinaturas de acesso compartilhado, confira Conceder acesso limitado a recursos de Armazenamento do Microsoft Azure usando assinaturas de acesso compartilhado.
Nas configurações do conjunto de dados posteriores, o caminho da pasta é o caminho absoluto começando do nível de contêiner. Você precisa configurar um alinhado com o caminho em seu URI SAS.

Há suporte para usar a autenticação de assinatura de acesso compartilhado para as seguintes propriedades:

Propriedade	Descrição	Obrigatório
type	A propriedade `type` deve ser definida como `AzureBlobFS` (sugerido)	Sim
sasUri	Especifique o URI de assinatura de acesso compartilhado para os recursos de Armazenamento, como blob ou contêiner. Marque esse campo como `SecureString` para armazená-lo com segurança. Você também pode colocar o token SAS no Azure Key Vault para aproveitar a rotação automática e remover a parte do token. Para obter mais informações, consulte os exemplos a seguir e Credenciais do Armazenamento no Azure Key Vault.	Sim
connectVia	O runtime de integração a ser usado para se conectar ao armazenamento de dados. Use o runtime de integração do Azure ou o runtime de integração auto-hospedada (se o seu armazenamento de dados estiver em uma rede privada). Se essa propriedade não for especificada, o serviço usará o runtime de integração do Azure padrão.	No

Observação

Se você estiver usando o serviço vinculado de tipo AzureStorage, ele ainda terá suporte inalterado. Mas sugerimos que você use o novo serviço vinculado do tipo AzureDataLakeStorageGen2 no futuro.

Exemplo:

{
    "name": "AzureDataLakeStorageGen2LinkedService",
    "properties": {
        "type": "AzureBlobFS",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource e.g. https://<accountname>.blob.core.windows.net/?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar a chave de conta no Azure Key Vault

{
    "name": "AzureDataLakeStorageGen2LinkedService",
    "properties": {
        "type": "AzureBlobFS",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource without token e.g. https://<accountname>.blob.core.windows.net/>"
            },
            "sasToken": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName with value of SAS token e.g. ?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Ao criar um URI de assinatura de acesso compartilhado, considere os seguintes pontos:

Defina as permissões apropriadas de leitura/gravação em objetos com base em como o serviço vinculado (leitura, gravação, leitura/gravação) será usado.
Defina o Tempo de expiração adequadamente. Certifique-se de que o acesso aos objetos de Armazenamento não expira dentro do período ativo do pipeline.
O URI deve ser criado no contêiner ou blob correto com base na necessidade. Um URI de assinatura de acesso compartilhado a um blob permite que o pipeline do data factory ou do Synapse acesse o blob específico. Um URI de assinatura de acesso compartilhado para um contêiner de armazenamento de Blob permite que o pipeline do data factory ou do Synapse se reitere pelos blobs naquele contêiner. Para fornecer acesso a mais/menos objetos posteriormente, ou para atualizar o URI de assinatura de acesso compartilhado, lembre-se de atualizar o serviço vinculado ao novo URI.

Autenticação de entidade de serviço

Para usar a autenticação de entidade de serviço, siga estas etapas.

Registrar um aplicativo na plataforma de identidade da Microsoft. Para saber como, confira Início Rápido: registrar um aplicativo na plataforma de identidade da Microsoft. Anote estes valores; ele são usados para definir o serviço vinculado:
- ID do aplicativo
- Chave do aplicativo
- ID do locatário
Conceda a permissão adequada do principal de serviço. Veja exemplos de como a permissão funciona em Data Lake Storage Gen2 de Listas de controle de acesso em arquivos e diretórios
- Como origem: No Gerenciador de Armazenamento, conceda pelo menos a permissão de Executar para todas as pastas acima e o arquivo de sistema, junto com a permissão Leitura para os arquivos a serem copiados. Como alternativa, em Controle de acesso (IAM), conceda, pelo menos, a função de Leitor de Dados do Storage Blob.
- Como coletor: no Gerenciador de Armazenamento, conceda pelo menos a permissão de Executar para TODAS as pastas upstream e para o sistema de arquivos, junto com a permissão de Gravar para a pasta do coletor. Como alternativa, em Controle de acesso (IAM), conceda, pelo menos, a função de Colaborador de Dados do Storage Blob.

Observação

Se você usar a interface do usuário para criar e a entidade de serviço não estiver definida com a função “Leitor/Cpçaborador de Dados de Blobs de Armazenamento” no IAM, ao fazer a conexão de teste ou procurar/navegar por pastas, escolha “Testar conexão para caminho do arquivo” ou “Procurar no caminho especificado” e especifique um caminho com a permissão Ler + Executar.

Estas propriedades têm suporte para o serviço vinculado:

Propriedade	Descrição	Obrigatório
type	A propriedade type deve ser definida como AzureBlobFS.	Sim
url	Ponto de extremidade para Data Lake Storage Gen2 com o padrão de `https://<accountname>.dfs.core.windows.net`.	Sim
servicePrincipalId	Especifique a ID do cliente do aplicativo.	Sim
servicePrincipalCredentialType	O tipo de credencial a ser usada para autenticação da entidade de serviço. Os valores permitidos são ServicePrincipalKey e ServicePrincipalCert.	Sim
servicePrincipalCredential	A credencial da entidade de serviço. Ao usar ServicePrincipalKey como o tipo de credencial, especifique a chave do aplicativo. Marque este campo como um SecureString para armazená-lo com segurança ou referencie um segredo armazenado no Azure Key Vault. Quando usar ServicePrincipalCert como credencial, faça referência a um certificado no Azure Key Vault e verifique se o tipo de conteúdo do certificado é PKCS nº 12.	Sim
servicePrincipalKey	Especifique a chave do aplicativo. Marque este campo como um SecureString para armazená-lo com segurança ou referencie um segredo armazenado no Azure Key Vault. Essa propriedade ainda tem suporte no estado em que se encontra para `servicePrincipalId` + `servicePrincipalKey`. À medida que o ADF adiciona nova autenticação de certificado de entidade de serviço, o novo modelo para autenticação de entidade de serviço será `servicePrincipalId` + `servicePrincipalCredentialType` + `servicePrincipalCredential`.	Não
locatário	Especifique as informações de locatário (domínio nome ou ID do Locatário) em que o aplicativo reside. Recupere-as passando o mouse no canto superior direito do Portal do Azure.	Sim
azureCloudType	Para autenticação da entidade de serviço, especifique o tipo de ambiente em nuvem do Azure em que seu aplicativo do Microsoft Entra está registrado. Os valores permitidos são AzurePublic, AzureChina, AzureUsGovernment e AzureGermany. Por padrão, o data factory ou o ambiente de nuvem do pipeline do Synapse é usado.	Não
connectVia	O runtime de integração a ser usado para se conectar ao armazenamento de dados. Você pode usar o Azure Integration Runtime ou um runtime de integração auto-hospedada se o seu armazenamento de dados estiver em uma rede privada. Se não especificado, o Azure Integration Runtime padrão será usado.	Não

Exemplo: usar a autenticação de chave de entidade de serviço

Você também pode armazenar a chave de entidade de serviço no Azure Key Vault.

{
    "name": "AzureDataLakeStorageGen2LinkedService",
    "properties": {
        "type": "AzureBlobFS",
        "typeProperties": {
            "url": "https://<accountname>.dfs.core.windows.net", 
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalCredential": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: usar a autenticação de certificado de entidade de serviço

{
    "name": "AzureDataLakeStorageGen2LinkedService",
    "properties": {
        "type": "AzureBlobFS",
        "typeProperties": {
            "url": "https://<accountname>.dfs.core.windows.net", 
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalCert",
            "servicePrincipalCredential": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<AKV reference>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<certificate name in AKV>" 
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Autenticação de identidade gerenciada atribuída pelo sistema

Um workspace do Data Factory ou do Synapse pode ser associado a uma identidade gerenciada atribuída pelo sistema. Você pode usar essa identidade gerenciada atribuída pelo sistema diretamente para a autenticação do Data Lake Storage Gen2 da mesma maneira que no uso de sua própria entidade de serviço. Ele permite que este alocador ou workspace designado acesse e copie dados de ou para o seu Data Lake Storage Gen2.

Para usar a autenticação de identidade gerenciada atribuída pelo sistema, siga estas etapas.

Recupere a identidade gerenciada atribuída pelo sistema copiando o valor da ID de objeto de identidade gerenciada gerado com o workspace do Factory ou do Synapse.
Conceda a permissão apropriada de identidade gerenciada atribuída pelo sistema. Veja exemplos de como a permissão funciona em Data Lake Storage Gen2 de Listas de controle de acesso em arquivos e diretórios.
- Como origem: no Gerenciador de Armazenamento, conceda pelo menos a permissão de Executar para todas as pastas acima e o arquivo de sistema, junto com a permissão Leitura para os arquivos a serem copiados. Como alternativa, em Controle de acesso (IAM), conceda, pelo menos, a função de Leitor de Dados do Storage Blob.
- Como coletor: no Gerenciador de Armazenamento, conceda pelo menos a permissão de Executar para TODAS as pastas upstream e para o sistema de arquivos, junto com a permissão de Gravar para a pasta do coletor. Como alternativa, em Controle de acesso (IAM), conceda, pelo menos, a função de Colaborador de Dados do Storage Blob.

Estas propriedades têm suporte para o serviço vinculado:

Propriedade	Descrição	Obrigatório
type	A propriedade type deve ser definida como AzureBlobFS.	Sim
url	Ponto de extremidade para Data Lake Storage Gen2 com o padrão de `https://<accountname>.dfs.core.windows.net`.	Sim
connectVia	O runtime de integração a ser usado para se conectar ao armazenamento de dados. Você pode usar o Azure Integration Runtime ou um runtime de integração auto-hospedada se o seu armazenamento de dados estiver em uma rede privada. Se não especificado, o Azure Integration Runtime padrão será usado.	Não

Exemplo:

{
    "name": "AzureDataLakeStorageGen2LinkedService",
    "properties": {
        "type": "AzureBlobFS",
        "typeProperties": {
            "url": "https://<accountname>.dfs.core.windows.net", 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Autenticação de identidade gerenciada atribuída pelo usuário

Um data factory pode ser atribuído com uma ou várias identidades gerenciadas atribuídas pelo usuário. Você pode usar essa identidade gerenciada atribuída pelo usuário para autenticação do Armazenamento de Blob, que permite acessar e copiar dados de/para o Data Lake Storage Gen2. Para saber mais sobre as identidades gerenciadas para os recursos do Azure, confira o artigo Identidades gerenciadas para recursos do Azure

Para usar a autenticação de identidade gerenciada atribuída pelo usuário, siga estas etapas:

Crie uma ou várias identidades gerenciadas atribuídas ao usuário e conceda acesso ao Data Lake Storage Gen2. Veja exemplos de como a permissão funciona em Data Lake Storage Gen2 de Listas de controle de acesso em arquivos e diretórios.
- Como origem: no Gerenciador de Armazenamento, conceda pelo menos a permissão de Executar para todas as pastas acima e o arquivo de sistema, junto com a permissão Leitura para os arquivos a serem copiados. Como alternativa, em Controle de acesso (IAM), conceda, pelo menos, a função de Leitor de Dados do Storage Blob.
- Como coletor: no Gerenciador de Armazenamento, conceda pelo menos a permissão de Executar para TODAS as pastas upstream e para o sistema de arquivos, junto com a permissão de Gravar para a pasta do coletor. Como alternativa, em Controle de acesso (IAM), conceda, pelo menos, a função de Colaborador de Dados do Storage Blob.
Atribua uma ou várias identidades gerenciadas atribuídas pelo usuário a seu data factory e crie credenciais para cada identidade gerenciada atribuída pelo usuário.

Estas propriedades têm suporte para o serviço vinculado:

Propriedade	Descrição	Obrigatório
type	A propriedade type deve ser definida como AzureBlobFS.	Sim
url	Ponto de extremidade para Data Lake Storage Gen2 com o padrão de `https://<accountname>.dfs.core.windows.net`.	Sim
credenciais	Especifique a identidade gerenciada atribuída pelo usuário como o objeto da credencial.	Sim
connectVia	O runtime de integração a ser usado para se conectar ao armazenamento de dados. Você pode usar o Azure Integration Runtime ou um runtime de integração auto-hospedada se o seu armazenamento de dados estiver em uma rede privada. Se não especificado, o Azure Integration Runtime padrão será usado.	Não

Exemplo:

{
    "name": "AzureDataLakeStorageGen2LinkedService",
    "properties": {
        "type": "AzureBlobFS",
        "typeProperties": {
            "url": "https://<accountname>.dfs.core.windows.net", 
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
                }
            },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Observação

Se você usar a interface do usuário do Data Factory para criar e identidade gerenciada não estiver definida com a função "Leitor de dados de blob de armazenamento/colaborador" no IAM, ao fazer a conexão de teste ou procurar/navegar por pastas, escolha "Testar a conexão com o caminho do arquivo" ou "Procurar do caminho especificado" e especifique um caminho com a permissão Ler + Executar.

Importante

Se você usar o PolyBase ou a instrução COPY para carregar dados de Data Lake Storage Gen2 no Azure Synapse Analytics, ao usar a autenticação de identidade gerenciada para o Data Lake Storage Gen2, certifique-se de também seguir as etapas de 1 a 3 nestas diretrizes. Essas etapas registrarão seu servidor com a ID do Microsoft Entra e atribuirão a função colaborador de dados de blob de armazenamento ao servidor. O Data Factory lida com o restante. Se você configurar o Armazenamento de Blobs com um ponto de extremidade de rede virtual do Azure, você também precisará ter a função Permitir que serviços confiáveis da Microsoft acessem essa conta de armazenamento ativada no menu de configurações de firewalls e redes virtuais da conta do Armazenamento do Azure, conforme exigido pelo Azure Synapse.

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira Conjuntos de dados.

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

As propriedades a seguir têm suporte para Data Lake Storage Gen2 em configurações de location no conjunto de dados baseado em formato:

Propriedade	Descrição	Obrigatório
type	A propriedade type em `location` no conjunto de dados deve ser definida como AzureBlobFSLocation.	Sim
fileSystem	Nome do sistema de arquivos do Data Lake Storage Gen2.	Não
folderPath	O caminho para uma pasta sob o sistema de arquivos fornecido. Se você quiser usar um caractere curinga para filtrar a pasta, ignore essa configuração e especifique-o nas configurações de origem da atividade.	Não
fileName	O nome do arquivo sob o fileSystem + folderPath fornecido. Se você quiser usar um caractere curinga para filtrar os arquivos, ignore essa configuração e especifique-o nas configurações de origem da atividade.	Não

Exemplo:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, confira Copiar configurações de atividade e Pipelines e atividades. Esta seção fornece uma lista de propriedades com suporte pelo coletor e origem do Data Lake Store Gen2.

Azure Data Lake Storage Gen2 como um tipo de origem

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

Você tem várias opções para copiar dados de ADLS Gen2:

Copiar do caminho especificado no conjunto de dados.
Para filtrar usando caracteres curinga em relação ao caminho da pasta ou nome do arquivo, confira wildcardFolderPath e wildcardFileName.
Copie os arquivos definidos em um determinado arquivo de texto como conjunto de arquivos, confira fileListPath.

As propriedades a seguir têm suporte para Data Lake Storage Gen2 em configurações de storeSettings no fonte de cópia baseado em formato:

Propriedade	Descrição	Obrigatório
type	A propriedade de tipo em `storeSettings` deve ser configurada com AzureBlobFSReadSettings.	Sim
Localize os arquivos a serem copiados:
OPÇÃO 1: caminho estático	Copiar do sistema de arquivos ou caminho de pasta/arquivo especificado no conjunto de dados. Se você quiser copiar todos os arquivos de um sistema de arquivos/pasta, especifique também `wildcardFileName` como `*`.
OPÇÃO 2: curinga - wildcardFolderPath	O caminho da pasta com caracteres curinga no sistema de arquivos fornecido configurado no conjunto de dados para filtrar as pastas de origem. Os curingas permitidos são: `*` (corresponde a zero ou mais caracteres) e `?` (corresponde a zero ou caractere único); use `^` para escape se o nome de pasta atual tiver curinga ou esse caractere interno de escape. Veja mais exemplos em Exemplos de filtro de pastas e arquivos.	Não
OPÇÃO 2: curinga - wildcardFileName	O nome do arquivo com caracteres curinga sob sistema de arquivos + folderPath/wildcardFolderPath fornecido para filtrar os arquivos de origem. Os curingas permitidos são: `*` (corresponde a zero ou mais caracteres) e `?` (corresponde a zero ou caractere único); use `^` para escape se o nome de arquivo real tiver curinga ou esse caractere interno de escape. Veja mais exemplos em Exemplos de filtro de pastas e arquivos.	Sim
OPÇÃO 3: uma lista de arquivos - fileListPath	Indica a cópia de um determinado conjunto de arquivos. Aponte para um arquivo de texto que inclui a lista de arquivos que você deseja copiar com um arquivo por linha, que é o caminho relativo para o caminho configurado no conjunto de dados. Ao usar essa opção, não especifique o nome do arquivo no conjunto de dados. Veja mais exemplos em Exemplos de lista de arquivos.	Não
Configurações adicionais:
recursiva	Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Observe que quando recursiva é definida como true e o coletor é um armazenamento baseado em arquivo, uma pasta vazia ou subpasta não é copiada ou criada no coletor. Os valores permitidos são true (padrão) e false. Essa propriedade não se aplica quando você configura `fileListPath`.	Não
deleteFilesAfterCompletion	Indica se os arquivos binários serão excluídos do repositório de origem após a movimentação com êxito para o repositório de destino. A exclusão do arquivo é feita por arquivo, portanto, quando a atividade de cópia falhar, você verá que alguns arquivos já foram copiados para o destino e excluídos da origem, enquanto outros ainda permanecem no repositório de origem. Essa propriedade só é válida no cenário de cópia de arquivos binários. O valor padrão é false.	Não
modifiedDatetimeStart	Filtro de arquivos com base no atributo: Última Modificação. Os arquivos serão selecionados se a hora da última modificação for maior ou igual a `modifiedDatetimeStart` e menor que `modifiedDatetimeEnd`. A hora é aplicada ao fuso horário de UTC no formato "2018-12-01T05:00:00Z". As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo será aplicado ao conjunto de dados. Quando `modifiedDatetimeStart` tem o valor de data e hora, mas `modifiedDatetimeEnd` for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado é maior ou igual ao valor de data e hora. Quando `modifiedDatetimeEnd` tem o valor de data e hora, mas `modifiedDatetimeStart` for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado é menor que o valor de data e hora. Essa propriedade não se aplica quando você configura `fileListPath`.	Não
modifiedDatetimeEnd	Mesmo que acima.	Não
enablePartitionDiscovery	Para arquivos que são particionados, especifique se deseja analisar as partições do caminho do arquivo e adicioná-las como colunas de origem adicionais. Os valores permitidos são false (padrão) e true.	No
partitionRootPath	Quando a descoberta de partição estiver habilitada, especifique o caminho raiz absoluto para ler as pastas particionadas como colunas de dados. Se ele não for especificado, por padrão ocorrerá o seguinte: – Quando você usa o caminho do arquivo no conjunto de dados ou na lista de arquivos na origem, o caminho raiz da partição é o caminho configurado no conjunto de dados. – Quando você usa o filtro de pasta curinga, o caminho raiz da partição é o subcaminho antes do primeiro curinga. Por exemplo, supondo que você configure o caminho no conjunto de dados como "root/folder/year=2020/month=08/day=27": – Se você especifica o caminho raiz da partição como "root/folder/year=2020", a atividade de cópia gera mais duas colunas `month` e `day` com o valor "08" e "27", respectivamente, além das colunas dentro dos arquivos. – Se o caminho raiz da partição não for especificado, nenhuma coluna extra será gerada.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	Não

Exemplo:

"activities":[
    {
        "name": "CopyFromADLSGen2",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AzureBlobFSReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Data Lake Store Gen2 como um tipo de coletor

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

As propriedades a seguir têm suporte para Data Lake Storage Gen2 em configurações de storeSettings no coletor de cópia baseado em formato:

Propriedade	Descrição	Obrigatório
type	A propriedade de tipo em `storeSettings` deve ser configurada com AzureBlobFSWriteSettings.	Sim
copyBehavior	Define o comportamento de cópia quando a fonte for de arquivos de um armazenamento de dados baseado em arquivo. Valores permitidos são: – PreserveHierarchy (padrão): Preserva a hierarquia de arquivos na pasta de destino. O caminho relativo do arquivo de origem para a pasta de origem é idêntico ao caminho relativo do arquivo de destino para a pasta de destino. – FlattenHierarchy: Todos os arquivos da pasta de origem estão no primeiro nível da pasta de destino. Os arquivos de destino têm os nomes gerados automaticamente. – MergeFiles: Mescla todos os arquivos da pasta de origem em um arquivo. Se o nome do arquivo for especificado, o nome do arquivo mesclado será o nome especificado. Caso contrário, ele será um nome de arquivo gerado automaticamente.	Não
blockSizeInMB	Especifique o tamanho do bloco em MB usado para gravar dados no ADLS Gen2. Saiba mais sobre Blobs de blocos. O valor permitido é entre 4 MB e 100 MB. Por padrão, o ADF determina automaticamente o tamanho do bloco com base no tipo de armazenamento de origem e nos dados. Para cópia não binária no ADLS Gen2, o tamanho de bloco padrão é 100 MB para que caiba, no máximo, aproximadamente 4,75 TB de dados. Talvez não seja ideal quando os dados não forem grandes, especialmente quando você usar o runtime de integração auto-hospedada com rede deficiente, resultando em tempo limite de operação ou problema de desempenho. Você pode especificar explicitamente um tamanho de bloco, mas verifique se blockSizeInMB*50000 é grande o suficiente para armazenar os dados; caso contrário, haverá falha na execução da atividade de cópia.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	Não
metadata	Defina metadados personalizados ao copiar para o coletor. Cada objeto sob a matriz `metadata` representa uma coluna extra. O `name` define o nome chave dos metadados e `value` indica o valor de dados dessa chave. Se o recurso preservar atributos for usado, os metadados especificados serão unificados/substituídos pelos metadados do arquivo de origem. Os valores de dados permitidos são: - `$$LASTMODIFIED`: uma variável reservada indica armazenar a hora da última modificação dos arquivos de origem. Aplicar à fonte baseada em arquivo somente com formato binário. - Expressão - Valor estático	Não

Exemplo:

"activities":[
    {
        "name": "CopyToADLSGen2",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "AzureBlobFSWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        },
                        {
                            "name": "lastModifiedKey",
                            "value": "$$LASTMODIFIED"
                        }
                    ]
                }
            }
        }
    }
]

Exemplos de filtro de pasta e arquivo

Esta seção descreve o comportamento resultante do caminho da pasta e do nome de arquivo com filtros curinga.

folderPath	fileName	recursiva	Estrutura da pasta de origem e resultado do filtro (os arquivos em negrito são recuperados)
`Folder*`	(Vazio, usar padrão)	false	FolderA Arquivo1.csv File2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB Arquivo6.csv
`Folder*`	(Vazio, usar padrão)	true	FolderA Arquivo1.csv File2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB Arquivo6.csv
`Folder*`	`*.csv`	false	FolderA Arquivo1.csv Arquivo2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB Arquivo6.csv
`Folder*`	`*.csv`	true	FolderA Arquivo1.csv Arquivo2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB Arquivo6.csv

Exemplos de lista de arquivos

Esta seção descreve o comportamento resultante do uso do caminho da lista de arquivos na origem da atividade de cópia.

Supondo que você tenha a seguinte estrutura de pasta de origem e queira copiar os arquivos em negrito:

Exemplo de estrutura de origem	Conteúdo em FileListToCopy.txt	Configuração ADF
filesystem FolderA Arquivo1.csv Arquivo2.json Subpasta1 File3.csv File4.json File5.csv Metadados FileListToCopy.txt	File1.csv Subfolder1/File3.csv Subfolder1/File5.csv	No conjunto de dados: - Sistema de arquivos: `filesystem` - Caminho da pasta: `FolderA` Na origem da atividade de cópia: - Caminho da lista de arquivos: `filesystem/Metadata/FileListToCopy.txt` O caminho da lista de arquivos aponta para um arquivo de texto no mesmo armazenamento de dados que inclui a lista de arquivos que você deseja copiar, um arquivo por linha, com o caminho relativo do caminho configurado no conjunto de dados.

Alguns exemplos de recursive e copyBehavior

Esta seção descreve o comportamento resultante da operação de cópia para diferentes combinações de valores recursive e copyBehavior.

recursiva	copyBehavior	Estrutura de pasta de origem	Destino resultante
true	preserveHierarchy	Pasta1 Arquivo1 Arquivo2 Subpasta1 Arquivo3 Arquivo4 Arquivo5	A Pasta1 de destino é criada com a mesma estrutura da origem: Pasta1 Arquivo1 Arquivo2 Subpasta1 Arquivo3 Arquivo4 Arquivo5
true	flattenHierarchy	Pasta1 Arquivo1 Arquivo2 Subpasta1 Arquivo3 Arquivo4 Arquivo5	A Pasta1 de destino é criada com a seguinte estrutura: Pasta1 nome gerado automaticamente para o Arquivo1 nome gerado automaticamente para o Arquivo2 nome gerado automaticamente para o Arquivo3 nome gerado automaticamente para o Arquivo4 nome gerado automaticamente para o Arquivo5
true	mergeFiles	Pasta1 Arquivo1 Arquivo2 Subpasta1 Arquivo3 Arquivo4 Arquivo5	A Pasta1 de destino é criada com a seguinte estrutura: Pasta1 Os conteúdos de Arquivo1 + Arquivo2 + Arquivo3 + Arquivo4 + Arquivo5 são mesclados em um arquivo com um nome de arquivo gerado automaticamente.
false	preserveHierarchy	Pasta1 Arquivo1 Arquivo2 Subpasta1 Arquivo3 Arquivo4 Arquivo5	A Pasta1 de destino é criada com a seguinte estrutura: Pasta1 Arquivo1 Arquivo2 A Subpasta1 com Arquivo3, Arquivo4 e Arquivo5 não é selecionada.
false	flattenHierarchy	Pasta1 Arquivo1 Arquivo2 Subpasta1 Arquivo3 Arquivo4 Arquivo5	A Pasta1 de destino é criada com a seguinte estrutura: Pasta1 nome gerado automaticamente para o Arquivo1 nome gerado automaticamente para o Arquivo2 A Subpasta1 com Arquivo3, Arquivo4 e Arquivo5 não é selecionada.
false	mergeFiles	Pasta1 Arquivo1 Arquivo2 Subpasta1 Arquivo3 Arquivo4 Arquivo5	A Pasta1 de destino é criada com a seguinte estrutura: Pasta1 Os conteúdos de Arquivo1 + Arquivo2 são mesclados em um arquivo com um nome de arquivo gerado automaticamente. nome gerado automaticamente para o Arquivo1 A Subpasta1 com Arquivo3, Arquivo4 e Arquivo5 não é selecionada.

Preservar metadados durante a cópia

Ao copiar arquivos do Amazon S3/blob do Azure/Azure Data Lake Storage Gen2 para o Azure Data Lake Storage Gen2/blob do Azure, você poderá optar por preservar os metadados do arquivo junto com os dados. Saiba mais em Preservar metadados.

Preservar ACLs do Data Lake Storage Gen1/Gen2

Ao copiar arquivos do Azure Data Lake Storage Gen1/Gen2 para Gen2, você pode optar por preservar as ACLs (listas de controle de acesso) do POSIX junto com os dados. Saiba mais sobre Preservar ACLs do Data Lake Storage Gen1/Gen2 para o Gen2.

Dica

Para copiar dados do Azure Data Lake Storage Gen1 no Gen2 em geral, confira Copiar dados de Azure Data Lake Storage Gen1 no Gen2 para obter instruções detalhadas e melhores práticas.

Mapeamento de propriedades de fluxo de dados

Ao transformar dados no fluxo de dados de mapeamento, você pode ler e gravar arquivos do Azure Data Lake Storage Gen2 nos seguintes formatos:

As configurações de formato específico estão localizadas na documentação para esse formato. Para obter mais informações, consulte Transformação de origem no fluxo de dados de mapeamento e Transformação de coletor no fluxo de dados de mapeamento.

Transformação de origem

Na transformação de origem, você pode ler de um contêiner, pasta ou arquivo individual no Azure Data Lake Storage Gen2. A guia Opções de origem permite que você gerencie como os arquivos são lidos.

Captura de tela da guia de opções de origem na transformação de origem de fluxo de dados de mapeamento.

Caminho curinga: O uso de um padrão curinga instruirá o ADF a executar um loop em cada pasta e arquivo correspondentes em uma única transformação de origem. Esse é um modo eficaz de processar vários arquivos dentro de um único fluxo. Adicione vários padrões de correspondência de curingas com o sinal de + que aparece ao passar o mouse sobre o padrão de curinga existente.

Em seu contêiner de origem, escolha uma série de arquivos que correspondem a um padrão. Somente o contêiner pode ser especificado no conjunto de dados. O caminho curinga, portanto, também precisa incluir o caminho da pasta raiz.

Exemplos de caracteres curinga:

* Representa qualquer conjunto de caracteres
** Representa o aninhamento de diretório recursivo
? Substitui um caractere
[] Corresponde a um ou mais caracteres entre colchetes
/data/sales/**/*.csv Obtém todos os arquivos CSV em /data/sales
/data/sales/20??/**/ Obtém todos os arquivos no século 20
/data/sales/*/*/*.csv Obtém arquivos CSV dois níveis em /data/sales
/data/sales/2004/*/12/[XY]1?.csv Obtém todos os arquivos CSV de dezembro de 2004 que começam com X ou Y prefixado por um número de dois dígitos

Caminho raiz da partição: se você tiver pastas particionadas em sua fonte de arquivo com um formato key=value (por exemplo, year=2019), poderá atribuir o nível superior da árvore de pastas dessa partição a um nome de coluna no fluxo de dados.

Primeiro, defina um curinga para incluir todos os caminhos que são as pastas particionadas mais os arquivos folha que você deseja ler.

Captura de tela das configurações do arquivo de origem de partição na transformação de origem de fluxo de dados de mapeamento.

Use a configuração do caminho raiz da partição para definir qual é o nível superior da estrutura de pastas. Ao exibir o conteúdo de seus dados por meio de uma visualização de dados, você verá que o ADF adicionará as partições resolvidas encontradas em cada um dos níveis de pasta.

Caminho raiz da partição

Lista de arquivos: é um conjunto de arquivos. Crie um arquivo de texto que inclui uma lista de arquivos do caminho relativo a serem processados. Aponte para este arquivo de texto.

Coluna para armazenar o nome do arquivo: armazene o nome do arquivo de origem em uma coluna em seus dados. Insira um novo nome de coluna para armazenar a cadeia de caracteres de nome de arquivo.

Após a conclusão: Opte por não fazer nada com o arquivo de origem após a execução de fluxo de dados, excluir o arquivo de origem ou mover o arquivo de origem. Os caminhos para movimentação são relativos.

Para mover os arquivos de origem para outro local após o processamento, primeiro selecione "Mover" para a operação de arquivo. Em seguida, defina o diretório "de". Se você não estiver usando curingas para o caminho, a configuração "de" será a mesma pasta que a de origem.

Se você tiver um caminho de origem com curinga, sua sintaxe terá a seguinte aparência:

/data/sales/20??/**/*.csv

Você pode especificar "de" como

/data/sales

E "para" como

/backup/priorSales

Nesse caso, todos os arquivos que foram originados em /data/sales são movidos para /backup/priorSales.

Observação

As operações do arquivo são executadas somente quando você inicia o fluxo de dados de uma execução de pipeline (depuração de pipeline ou realização da execução) que usa a atividade Executar Fluxo de Dados em um pipeline. As operações de arquivo não são executadas no modo de depuração do Fluxo de Dados.

Filtrar por última modificação: você pode filtrar quais arquivos são processados especificando um intervalo de datas de quando eles foram modificados pela última vez. Todos os datetimes estão em UTC.

Habilitar a captura de dados de alterações: se for true, você receberá arquivos novos ou alterados somente da última execução. O carregamento inicial de dados de instantâneo completo sempre será obtido na primeira execução, seguido pela captura de arquivos novos ou alterados apenas nas próximas execuções. Para obter mais detalhes, confira Captura de dados de alterações.

Captura de tela que mostra Habilitar a captura de dados de alterações.

Propriedades do coletor

Na transformação do coletor, você pode gravar em um contêiner ou pasta no Azure Data Lake Storage Gen2. A guia Configurações permite que você gerencie como os arquivos são gravados.

opções de coletor

Limpe a pasta: determina se a pasta de destino é limpa ou não antes de os dados serem gravados.

Opção do nome do arquivo: determina como os arquivos de destino são nomeados na pasta de destino. As opções de nome de arquivo são:

Padrão: permitir que o Spark nomeie arquivos com base nos padrões de PART.
Padrão: insira um padrão que enumere os arquivos de saída por partição. Por exemplo, loans[n].csv criará loans1.csv, loans2.csv e assim por diante.
Por partição: insira um nome de arquivo por partição.
Como dados na coluna: defina o arquivo de saída para o valor de uma coluna. O caminho é relativo ao contêiner de conjunto de dados, não à pasta de destino. Se você tiver um caminho de pasta em seu conjunto de dados, ele será substituído.
Saída para um único arquivo: combine os arquivos de saída particionados em um único arquivo nomeado. O caminho é relativo à pasta do conjunto de dados. Lembre-se de que a operação de mesclagem pode falhar de acordo com o tamanho do nó. Essa opção não é recomendada para conjuntos de dados grandes.

Citar tudo: determina se todos os valores devem ser delimitados por aspas

`umask`

Opcionalmente, você pode definir umask para arquivos usando sinalizadores POSIX de leitura, gravação, execução para o proprietário, usuário e grupo.

Comandos de pré e pós-processamento

Opcionalmente, você pode executar comandos do sistema de arquivos Hadoop antes ou depois de escrever em um coletor ADLS Gen2. Há suporte para os seguintes comandos:

cp
mv
rm
mkdir

Exemplos:

mkdir /folder1
mkdir -p folder1
mv /folder1/*.* /folder2/
cp /folder1/file1.txt /folder2
rm -r /folder1

Há também suporte para parâmetros por meio do construtor de expressões, por exemplo:

mkdir -p {$tempPath}/commands/c1/c2 mv {$tempPath}/commands/*.* {$tempPath}/commands/c1/c2

Por padrão, as pastas são criadas como usuário/raiz. Consulte o contêiner de nível superior com “/”.

Pesquisar propriedades de atividade

Para saber detalhes sobre as propriedades, verifique Atividade de pesquisa.

Propriedades de atividade GetMetadata

Para saber detalhes sobre as propriedades, verifique Atividade GetMetadata

Excluir propriedades da atividade

Para saber mais detalhes sobre as propriedades, marque Excluir atividade

Modelos herdados

Observação

Os modelos a seguir ainda têm suporte no estado em que se encontram, para compatibilidade com versões anteriores. É recomendável usar o novo modelo mencionado nas seções acima no futuro, e a interface do usuário de criação do ADF mudou para gerar o novo modelo.

Modelo de conjunto de dados herdado

Propriedade	Descrição	Obrigatório
type	A propriedade type do conjunto de dados deve ser definida como: AzureBlobFSFile.	Sim
folderPath	Caminho para a pasta em Data Lake Storage Gen2. Se não especificado, apontará para a raiz. O filtro curinga tem suporte. Os curingas permitidos são `*` (corresponde a zero ou mais caracteres) e `?` (corresponde a zero ou caractere único). Use `^` como escape se o nome real da pasta tiver curingas ou esse caractere de escape. Exemplos: filesystem/folder/. Veja mais exemplos em Exemplos de filtro de pastas e arquivos.	Não
fileName	Filtro de nome ou curinga para os arquivos no "folderPath" especificado. Se você não especificar um valor para essa propriedade, o conjunto de dados apontará para todos os arquivos na pasta. Para filtro, os curingas permitidos são `` (corresponde a zero ou mais caracteres) e `?` (corresponde a zero ou caractere único). – Exemplo 1: `"fileName": ".csv"` – Exemplo 2: `"fileName": "???20180427.txt"` Use `^` para se seu nome de arquivo real curinga ou esse caractere de escape dentro de escape. Quando fileName não for especificado para um conjunto de dados de saída e preserveHierarchy não for especificada no coletor de atividade, a atividade de cópia gerará automaticamente o nome do arquivo com o seguinte padrão: "Data.[GUID da ID de execução da atividade].[GUID se FlattenHierarchy].[formato se configurado].[compactação se configurada] ", por exemplo: "Data.0a405f8a-93ff-4c6f-b3be-f69616f1df7a.txt.gz". Se você copiar da fonte tabular usando o nome da tabela, em vez da consulta, o nome padrão será " [nome da tabela].[formato].[compactação se configurada] ", por exemplo, "MyTable.csv".	Não
modifiedDatetimeStart	Filtro de arquivos com base no atributo Última Modificação. Os arquivos são selecionados se a hora da última modificação é maior ou igual a `modifiedDatetimeStart` e menor que `modifiedDatetimeEnd`. A hora é aplicada ao fuso horário de UTC no formato "2018-12-01T05:00:00Z". O desempenho geral da movimentação de dados será afetado ao habilitar essa configuração quando você desejar filtrar grandes quantidades de arquivos. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando `modifiedDatetimeStart` tiver o valor de datetime, mas `modifiedDatetimeEnd` for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado é maior ou igual ao valor de datetime. Quando `modifiedDatetimeEnd` tiver o valor de datetime, mas `modifiedDatetimeStart` for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado é menor que o valor de datetime.	Não
modifiedDatetimeEnd	Filtro de arquivos com base no atributo Última Modificação. Os arquivos são selecionados se a hora da última modificação é maior ou igual a `modifiedDatetimeStart` e menor que `modifiedDatetimeEnd`. A hora é aplicada ao fuso horário de UTC no formato "2018-12-01T05:00:00Z". O desempenho geral da movimentação de dados será afetado ao habilitar essa configuração quando você desejar filtrar grandes quantidades de arquivos. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando `modifiedDatetimeStart` tiver o valor de datetime, mas `modifiedDatetimeEnd` for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado é maior ou igual ao valor de datetime. Quando `modifiedDatetimeEnd` tiver o valor de datetime, mas `modifiedDatetimeStart` for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado é menor que o valor de datetime.	Não
format	Se você quiser copiar arquivos no estado em que se encontram entre repositórios baseados em arquivo (cópia binária), ignore a seção de formato nas duas definições de conjunto de dados de entrada e de saída. Se você quer analisar ou gerar arquivos com um formato específico, os seguintes tipos de formato de arquivo são compatíveis: TextFormat, JsonFormat, AvroFormat, OrcFormat e ParquetFormat. Defina a propriedade type sob format para um desses valores. Para saber mais, veja as seções Formato de texto, Formato JSON, Formato Avro, Formato ORC e Formato Parquet.	Não (somente para o cenário de cópia binária)
compactação	Especifique o tipo e o nível de compactação para os dados. Para obter mais informações, consulte Formatos de arquivo e codecs de compactação com suporte. Os tipos compatíveis são `GZip, Deflate, BZip2, and ZipDeflate`. Os níveis de suporte são Ideal e Mais rápido.	Não

Dica

Para copiar todos os arquivos em uma pasta, especifique folderPath somente.
Para copiar um único arquivo com um determinado nome, especifique folderPath com parte da pasta e fileName com nome de arquivo.
Para copiar um subconjunto de arquivos em uma pasta, especifique folderPath com parte da pasta e fileName com filtro curinga.

Exemplo:

{
    "name": "ADLSGen2Dataset",
    "properties": {
        "type": "AzureBlobFSFile",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "myfilesystem/myfolder",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Modelo de origem de atividade de cópia herdado

Propriedade	Descrição	Obrigatório
type	A propriedade type da origem da atividade de cópia deve ser definida como AzureBlobFSSource.	Sim
recursiva	Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Quando recursiva é definida como true e o coletor é um armazenamento baseado em arquivo, uma pasta vazia ou subpasta não é copiada ou criada no coletor. Os valores permitidos são true (padrão) e false.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	Não

Exemplo:

"activities":[
    {
        "name": "CopyFromADLSGen2",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<ADLS Gen2 input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureBlobFSSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Modelo do coletor de atividade de cópia herdado

Propriedade	Descrição	Obrigatório
type	A propriedade do tipo do coletor de atividade de cópia deve ser definida como AzureBlobFSSink.	Sim
copyBehavior	Define o comportamento de cópia quando a fonte for de arquivos de um armazenamento de dados baseado em arquivo. Valores permitidos são: – PreserveHierarchy (padrão): Preserva a hierarquia de arquivos na pasta de destino. O caminho relativo do arquivo de origem para a pasta de origem é idêntico ao caminho relativo do arquivo de destino para a pasta de destino. – FlattenHierarchy: Todos os arquivos da pasta de origem estão no primeiro nível da pasta de destino. Os arquivos de destino têm os nomes gerados automaticamente. – MergeFiles: Mescla todos os arquivos da pasta de origem em um arquivo. Se o nome do arquivo for especificado, o nome do arquivo mesclado será o nome especificado. Caso contrário, ele será um nome de arquivo gerado automaticamente.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	Não

Exemplo:

"activities":[
    {
        "name": "CopyToADLSGen2",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<ADLS Gen2 output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureBlobFSSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

captura de dados de alterações

O Azure Data Factory pode obter arquivos novos ou alterados somente do Azure Data Lake Storage Gen2 habilitando a opção Habilitar a captura de dados de alterações na transformação de origem do fluxo de dados de mapeamento. Com essa opção de conector, você pode ler arquivos novos ou atualizados somente e aplicar transformações antes de carregar dados transformados nos conjuntos de dados de destino de sua escolha.

Confirme se mantém o pipeline e o nome da atividade inalterados, para que o ponto de verificação sempre possa ser gravado da última execução para se obterem as alterações a partir daí. Se você alterar o nome do pipeline ou o nome da atividade, o ponto de verificação será redefinido, e você começará do início na próxima execução.

Quando você depura o pipeline, a opção Habilitar a captura de dados de alterações também funciona. Tenha em mente que o ponto de verificação será redefinido quando você atualizar o navegador durante a execução da depuração. Depois que estiver satisfeito com o resultado da execução de depuração, você poderá publicar e disparar o pipeline. Ele sempre começará do início, independentemente do ponto de verificação anterior registrado pela execução de depuração.

Na seção de monitoramento, sempre existe a possibilidade de reexecutar um pipeline. Quando você estiver fazendo isso, as alterações sempre serão provenientes do registro de ponto de verificação em sua execução de pipeline selecionada.

Para obter uma lista dos armazenamentos de dados com suporte como coletores e fontes da atividade de cópia, confira os Armazenamentos de dados com suporte.

Compartilhar via

Copiar e transformar dados no Azure Data Lake Storage Gen2 usando o Azure Data Factory ou o Azure Synapse Analytics

Funcionalidades com suporte

Introdução

Criar um serviço vinculado do Azure Data Lake Storage Gen2 usando a interface do usuário

Detalhes da configuração do conector

Propriedades do serviço vinculado

Autenticação de chave de conta

Autenticação de assinatura de acesso compartilhado

Autenticação de entidade de serviço

Autenticação de identidade gerenciada atribuída pelo sistema

Autenticação de identidade gerenciada atribuída pelo usuário

Propriedades do conjunto de dados

Propriedades da atividade de cópia

Azure Data Lake Storage Gen2 como um tipo de origem

Azure Data Lake Store Gen2 como um tipo de coletor

Exemplos de filtro de pasta e arquivo

Exemplos de lista de arquivos

Alguns exemplos de recursive e copyBehavior

Preservar metadados durante a cópia

Preservar ACLs do Data Lake Storage Gen1/Gen2

Mapeamento de propriedades de fluxo de dados

Transformação de origem

Propriedades do coletor

`umask`

Comandos de pré e pós-processamento

Pesquisar propriedades de atividade

Propriedades de atividade GetMetadata

Excluir propriedades da atividade

Modelos herdados

Modelo de conjunto de dados herdado

Modelo de origem de atividade de cópia herdado

Modelo do coletor de atividade de cópia herdado

captura de dados de alterações

Comentários

Recursos adicionais

Compartilhar via

Copiar e transformar dados no Azure Data Lake Storage Gen2 usando o Azure Data Factory ou o Azure Synapse Analytics

Funcionalidades com suporte

Introdução

Criar um serviço vinculado do Azure Data Lake Storage Gen2 usando a interface do usuário

Detalhes da configuração do conector

Propriedades do serviço vinculado

Autenticação de chave de conta

Autenticação de assinatura de acesso compartilhado

Autenticação de entidade de serviço

Autenticação de identidade gerenciada atribuída pelo sistema

Autenticação de identidade gerenciada atribuída pelo usuário

Propriedades do conjunto de dados

Propriedades da atividade de cópia

Azure Data Lake Storage Gen2 como um tipo de origem

Azure Data Lake Store Gen2 como um tipo de coletor

Exemplos de filtro de pasta e arquivo

Exemplos de lista de arquivos

Alguns exemplos de recursive e copyBehavior

Preservar metadados durante a cópia

Preservar ACLs do Data Lake Storage Gen1/Gen2

Mapeamento de propriedades de fluxo de dados

Transformação de origem

Propriedades do coletor

umask

Comandos de pré e pós-processamento

Pesquisar propriedades de atividade

Propriedades de atividade GetMetadata

Excluir propriedades da atividade

Modelos herdados

Modelo de conjunto de dados herdado

Modelo de origem de atividade de cópia herdado

Modelo do coletor de atividade de cópia herdado

captura de dados de alterações

Conteúdo relacionado

Comentários

Recursos adicionais

`umask`