Copiar e transformar dados no servidor SFTP usando o Azure Data Factory ou o Azure Synapse Analytics

Artigo
07/03/2024

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Este artigo descreve como usar a atividade de cópia para copiar dados de e para o servidor FTP seguro (SFTP) e usar o fluxo de dados para transformar dados no servidor SFTP. Para saber mais, leia o artigo introdutório do Azure Data Factory ou do Azure Synapse Analytics.

Capacidades suportadas

Este conector SFTP é suportado para os seguintes recursos:

Capacidades suportadas	IR
Atividade de cópia (origem/coletor)	(1) (2)
Mapeando o fluxo de dados (origem/coletor)	(1)
Atividade de Pesquisa	(1) (2)
Atividade GetMetadata	(1) (2)
Excluir atividade	(1) (2)

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Especificamente, o conector SFTP suporta:

Copiar arquivos de e para o servidor SFTP usando Basic, chave pública SSH ou autenticação multifator.
Copiando arquivos como estão ou analisando ou gerando arquivos com os formatos de arquivo suportados e codecs de compressão.

Pré-requisitos

Se seu armazenamento de dados estiver localizado dentro de uma rede local, uma rede virtual do Azure ou a Amazon Virtual Private Cloud, você precisará configurar um tempo de execução de integração auto-hospedado para se conectar a ele.

Se o seu armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Tempo de Execução de Integração do Azure. Se o acesso for restrito a IPs aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar o recurso de tempo de execução de integração de rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um tempo de execução de integração auto-hospedado.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções suportadas pelo Data Factory, consulte Estratégias de acesso a dados.

Começar agora

Para executar a atividade Copiar com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

Criar um serviço vinculado SFTP usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado SFTP na interface do usuário do portal do Azure.

Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e clique em Novo:
- Fábrica de Dados do Azure
- Azure Synapse
Procure por SFTP e selecione o conector SFTP.
Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades que são usadas para definir entidades específicas para SFTP.

Propriedades do serviço vinculado

As seguintes propriedades são suportadas para o serviço vinculado SFTP:

Property	Descrição	Obrigatório
tipo	A propriedade type deve ser definida como Sftp.	Sim
host	O nome ou endereço IP do servidor SFTP.	Sim
porta	A porta na qual o servidor SFTP está escutando. O valor permitido é um inteiro e o valor padrão é 22.	Não
skipHostKeyValidation	Especifique se deseja ignorar a validação da chave do host. Os valores permitidos são true e false (padrão).	Não
hostKeyFingerprint	Especifique a impressão digital da chave do host.	Sim, se o "skipHostKeyValidation" estiver definido como false.
authenticationType	Especifique o tipo de autenticação. Os valores permitidos são Basic, SshPublicKey e MultiFactor. Para obter mais propriedades, consulte a seção Usar autenticação básica. Para obter exemplos de JSON, consulte a seção Usar autenticação de chave pública SSH.	Sim
ConecteVia	O tempo de execução de integração a ser usado para se conectar ao armazenamento de dados. Para saber mais, consulte a seção Pré-requisitos . Se o tempo de execução de integração não for especificado, o serviço usará o Tempo de Execução de Integração do Azure padrão.	Não

Usar autenticação básica

Para usar a autenticação básica, defina a propriedade authenticationType como Basic e especifique as seguintes propriedades, além das propriedades genéricas do conector SFTP que foram introduzidas na seção anterior:

Property	Descrição	Obrigatório
nome de utilizador	O usuário que tem acesso ao servidor SFTP.	Sim
password	A senha do usuário (userName). Marque este campo como um SecureString para armazená-lo com segurança ou faça referência a um segredo armazenado em um cofre de chaves do Azure.	Sim

Exemplo:

{
    "name": "SftpLinkedService",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<sftp server>",
            "port": 22,
            "skipHostKeyValidation": false,
            "hostKeyFingerPrint": "ssh-rsa 2048 xx:00:00:00:xx:00:x0:0x:0x:0x:0x:00:00:x0:x0:00",
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Usar autenticação de chave pública SSH

Para usar a autenticação de chave pública SSH, defina a propriedade "authenticationType" como SshPublicKey e especifique as seguintes propriedades além das genéricas do conector SFTP introduzidas na última seção:

Property	Descrição	Obrigatório
nome de utilizador	O usuário que tem acesso ao servidor SFTP.	Sim
privateKeyPath	Especifique o caminho absoluto para o arquivo de chave privada que o tempo de execução de integração pode acessar. Isso se aplica somente quando o tipo auto-hospedado de tempo de execução de integração é especificado em "connectVia".	Especifique um ou `privateKeyPath` `privateKeyContent`.
privateKeyContent	Conteúdo de chave privada SSH codificado em Base64. A chave privada SSH deve ser o formato OpenSSH. Marque este campo como um SecureString para armazená-lo com segurança ou faça referência a um segredo armazenado em um cofre de chaves do Azure.	Especifique um ou `privateKeyPath` `privateKeyContent`.
frase secreta	Especifique a frase secreta ou a palavra-passe para desencriptar a chave privada se o ficheiro de chave ou o conteúdo da chave estiver protegido por uma frase secreta. Marque este campo como um SecureString para armazená-lo com segurança ou faça referência a um segredo armazenado em um cofre de chaves do Azure.	Sim, se o ficheiro de chave privada ou o conteúdo da chave estiver protegido por uma frase secreta.

Nota

O conector SFTP suporta uma chave OpenSSH RSA/DSA. Certifique-se de que o conteúdo do ficheiro chave começa com "-----BEGIN [RSA/DSA] PRIVATE KEY-----". Se o arquivo de chave privada for um arquivo no formato PPK, use a ferramenta PuTTY para converter do formato PPK para OpenSSH.

Exemplo 1: Autenticação SshPublicKey usando filePath de chave privada

{
    "name": "SftpLinkedService",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<sftp server>",
            "port": 22,
            "skipHostKeyValidation": true,
            "authenticationType": "SshPublicKey",
            "userName": "xxx",
            "privateKeyPath": "D:\\privatekey_openssh",
            "passPhrase": {
                "type": "SecureString",
                "value": "<pass phrase>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo 2: Autenticação SshPublicKey usando conteúdo de chave privada

{
    "name": "SftpLinkedService",
    "type": "Linkedservices",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<sftp server>",
            "port": 22,
            "skipHostKeyValidation": true,
            "authenticationType": "SshPublicKey",
            "userName": "<username>",
            "privateKeyContent": {
                "type": "SecureString",
                "value": "<base64 string of the private key content>"
            },
            "passPhrase": {
                "type": "SecureString",
                "value": "<pass phrase>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Usar autenticação multifator

Para usar a autenticação multifator, que é uma combinação de autenticações de chave pública básica e SSH, especifique o nome de usuário, a senha e as informações da chave privada descritas nas seções acima.

Exemplo: autenticação multifator

{
    "name": "SftpLinkedService",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<host>",
            "port": 22,
            "authenticationType": "MultiFactor",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "privateKeyContent": {
                "type": "SecureString",
                "value": "<base64 encoded private key content>"
            },
            "passPhrase": {
                "type": "SecureString",
                "value": "<passphrase for private key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo Conjuntos de dados.

O Azure Data Factory suporta os seguintes formatos de ficheiro. Consulte cada artigo para obter as configurações baseadas em formato.

As seguintes propriedades são suportadas para SFTP em location configurações no conjunto de dados baseado em formato:

Property	Descrição	Obrigatório
tipo	A propriedade type em `location` no conjunto de dados deve ser definida como SftpLocation.	Sim
folderPath	O caminho para a pasta. Se você quiser usar um curinga para filtrar a pasta, ignore essa configuração e especifique o caminho nas configurações da fonte de atividade.	Não
fileName	O nome do arquivo sob o folderPath especificado. Se você quiser usar um curinga para filtrar arquivos, ignore essa configuração e especifique o nome do arquivo nas configurações da fonte de atividade.	Não

Exemplo:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<SFTP linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "SftpLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriedades da atividade Copy

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades que são suportadas pela fonte SFTP.

SFTP como fonte

O Azure Data Factory suporta os seguintes formatos de ficheiro. Consulte cada artigo para obter as configurações baseadas em formato.

As seguintes propriedades são suportadas para SFTP nas storeSettings configurações na fonte de cópia baseada em formato:

Property	Descrição	Obrigatório
tipo	A propriedade type under `storeSettings` deve ser definida como SftpReadSettings.	Sim
Localize os arquivos a serem copiados
OPÇÃO 1: caminho estático	Copie do caminho da pasta/arquivo especificado no conjunto de dados. Se você quiser copiar todos os arquivos de uma pasta, especifique `wildcardFileName` adicionalmente como `*`.
OPÇÃO 2: curinga - wildcardFolderPath	O caminho da pasta com caracteres curinga para filtrar pastas de origem. Os curingas permitidos são `*` (corresponde a zero ou mais caracteres) e `?` (corresponde a zero ou a um único caractere); use `^` para escapar se o nome da pasta real tiver um curinga ou esse caractere de escape dentro. Para obter mais exemplos, consulte Exemplos de filtro de pastas e arquivos.	Não
OPÇÃO 2: curinga - wildcardFileName	O nome do arquivo com caracteres curinga sob o folderPath/wildcardFolderPath especificado para filtrar arquivos de origem. Os curingas permitidos são `*` (corresponde a zero ou mais caracteres) e `?` (corresponde a zero ou a um único caractere); use `^` para escapar se o nome do arquivo real tiver curinga ou esse caractere de escape dentro. Para obter mais exemplos, consulte Exemplos de filtro de pastas e arquivos.	Sim
OPÇÃO 3: uma lista de ficheiros - fileListPath	Indica copiar um conjunto de arquivos especificado. Aponte para um arquivo de texto que inclua uma lista de arquivos que você deseja copiar (um arquivo por linha, com o caminho relativo para o caminho configurado no conjunto de dados). Ao usar essa opção, não especifique o nome do arquivo no conjunto de dados. Para obter mais exemplos, consulte Exemplos de lista de arquivos.	Não
Definições adicionais
recursiva	Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Quando recursivo é definido como true e o coletor é um armazenamento baseado em arquivo, uma pasta ou subpasta vazia não é copiada ou criada no coletor. Os valores permitidos são true (padrão) e false. Esta propriedade não se aplica quando você configura `fileListPath`o .	Não
deleteFilesAfterCompletion	Indica se os arquivos binários serão excluídos do armazenamento de origem depois de serem movidos com êxito para o repositório de destino. A exclusão do arquivo é por arquivo, portanto, quando a atividade de cópia falhar, você verá que alguns arquivos já foram copiados para o destino e excluídos da origem, enquanto outros ainda permanecem no armazenamento de origem. Esta propriedade só é válida no cenário de cópia de arquivos binários. O valor padrão: false.	Não
modifiedDatetimeStart	Os arquivos são filtrados com base no atributo Última modificação. Os arquivos são selecionados se o tempo da última modificação for maior ou igual a `modifiedDatetimeStart` e menor que `modifiedDatetimeEnd`. A hora é aplicada ao fuso horário UTC no formato 2018-12-01T05 :00:00Z. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando `modifiedDatetimeStart` tem um valor datetime, mas `modifiedDatetimeEnd` é NULL, isso significa que os arquivos cujo último atributo modificado é maior ou igual ao valor datetime são selecionados. Quando `modifiedDatetimeEnd` tem um valor datetime, mas `modifiedDatetimeStart` é NULL, isso significa que os arquivos cujo último atributo modificado é menor que o valor datetime são selecionados. Esta propriedade não se aplica quando você configura `fileListPath`o .	Não
modifiedDatetimeEnd	Mesmo que acima.	Não
enablePartitionDiscovery	Para arquivos particionados, especifique se deseja analisar as partições do caminho do arquivo e adicioná-las como colunas de origem adicionais. Os valores permitidos são false (padrão) e true.	Não
partitionRootPath	Quando a descoberta de partições estiver habilitada, especifique o caminho raiz absoluto para ler pastas particionadas como colunas de dados. Se não for especificado, por padrão, - Quando você usa o caminho do arquivo no conjunto de dados ou na lista de arquivos na origem, o caminho da raiz da partição é o caminho configurado no conjunto de dados. - Quando você usa o filtro de pasta curinga, o caminho da raiz da partição é o subcaminho antes do primeiro curinga. Por exemplo, supondo que você configure o caminho no conjunto de dados como "root/folder/year=2020/month=08/day=27": - Se você especificar o caminho da raiz da partição como "root/folder/year=2020", a atividade de cópia gerará mais duas colunas `month` e `day` com o valor "08" e "27", respectivamente, além das colunas dentro dos arquivos. - Se o caminho raiz da partição não for especificado, nenhuma coluna extra será gerada.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas.	Não
disableChunking	Ao copiar dados do SFTP, o serviço tenta obter o comprimento do arquivo primeiro, em seguida, dividir o arquivo em várias partes e lê-los em paralelo. Especifique se o seu servidor SFTP suporta obter o comprimento do arquivo ou procurar ler a partir de um determinado deslocamento. Os valores permitidos são false (padrão), true.	Não

Exemplo:

"activities":[
    {
        "name": "CopyFromSFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "SftpReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv",
                    "disableChunking": false
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

SFTP como um coletor

O Azure Data Factory suporta os seguintes formatos de ficheiro. Consulte cada artigo para obter as configurações baseadas em formato.

As seguintes propriedades são suportadas para SFTP em storeSettings configurações em um coletor de cópia baseado em formato:

Property	Descrição	Obrigatório
tipo	A propriedade type under `storeSettings` deve ser definida como SftpWriteSettings.	Sim
copyBehavior	Define o comportamento de cópia quando a origem são arquivos de um armazenamento de dados baseado em arquivo. Os valores permitidos são: - PreserveHierarchy (padrão): Preserva a hierarquia de arquivos na pasta de destino. O caminho relativo do arquivo de origem para a pasta de origem é idêntico ao caminho relativo do arquivo de destino para a pasta de destino. - FlattenHierarchy: Todos os arquivos da pasta de origem estão no primeiro nível da pasta de destino. Os arquivos de destino têm nomes gerados automaticamente. - MergeFiles: Mescla todos os arquivos da pasta de origem para um arquivo. Se o nome do arquivo for especificado, o nome do arquivo mesclado será o nome especificado. Caso contrário, é um nome de arquivo gerado automaticamente.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas.	Não
useTempFileRename	Indique se deseja fazer upload para arquivos temporários e renomeá-los ou gravar diretamente na pasta de destino ou no local do arquivo. Por padrão, o serviço primeiro grava em arquivos temporários e, em seguida, os renomeia quando o carregamento é concluído. Essa sequência ajuda a (1) evitar conflitos que podem resultar em um arquivo corrompido se você tiver outros processos gravando no mesmo arquivo e (2) garantir que a versão original do arquivo exista durante a transferência. Se o seu servidor SFTP não suportar uma operação de renomeação, desative essa opção e certifique-se de que você não tenha uma gravação simultânea no arquivo de destino. Para obter mais informações, consulte a dica de solução de problemas no final desta tabela.	N.º O valor padrão é true.
operaçãoTimeout	O tempo de espera antes que cada solicitação de gravação no servidor SFTP atinja o tempo limite. O valor padrão é 60 min (01:00:00).	Não

Gorjeta

Se você receber o erro "UserErrorSftpPathNotFound", "UserErrorSftpPermissionDenied" ou "SftpOperationFail" quando estiver gravando dados no SFTP, e o usuário SFTP que você usa tiver as permissões adequadas, verifique se a operação de renomeação do arquivo de suporte do servidor SFTP está funcionando. Se não estiver, desative a opção Carregar com arquivo temporário (useTempFileRename) e tente novamente. Para saber mais sobre essa propriedade, consulte a tabela anterior. Se você usar um tempo de execução de integração auto-hospedado para a atividade Copiar, certifique-se de usar a versão 4.6 ou posterior.

Exemplo:

"activities":[
    {
        "name": "CopyToSFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "BinarySink",
                "storeSettings":{
                    "type": "SftpWriteSettings",
                    "copyBehavior": "PreserveHierarchy"
                }
            }
        }
    }
]

Exemplos de filtros de pastas e ficheiros

Esta seção descreve o comportamento resultante do uso de filtros curinga com caminhos de pasta e nomes de arquivo.

folderPath	fileName	recursiva	Estrutura da pasta de origem e resultado do filtro (arquivos em negrito são recuperados)
`Folder*`	(vazio, use padrão)	false	PastaA File1.csv File2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB File6.csv
`Folder*`	(vazio, use padrão)	verdadeiro	PastaA File1.csv File2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB File6.csv
`Folder*`	`*.csv`	false	PastaA File1.csv File2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB File6.csv
`Folder*`	`*.csv`	verdadeiro	PastaA File1.csv File2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB File6.csv

Exemplos de lista de ficheiros

Esta tabela descreve o comportamento resultante do uso de um caminho de lista de arquivos na fonte de atividade Copiar. Ele pressupõe que você tenha a seguinte estrutura de pasta de origem e queira copiar os arquivos que estão em negrito:

Estrutura de origem da amostra	Conteúdo em FileListToCopy.txt	Configuração do Azure Data Factory
raiz PastaA File1.csv File2.json Subpasta1 File3.csv File4.json File5.csv Metadados FileListToCopy.txt	File1.csv Subpasta1/File3.csv Subpasta1/File5.csv	No conjunto de dados: - Caminho da pasta: `root/FolderA` Na fonte da atividade Copiar: - Caminho da lista de arquivos: `root/Metadata/FileListToCopy.txt` O caminho da lista de arquivos aponta para um arquivo de texto no mesmo armazenamento de dados que inclui uma lista de arquivos que você deseja copiar (um arquivo por linha, com o caminho relativo para o caminho configurado no conjunto de dados).

Mapeando propriedades de fluxo de dados

Ao transformar dados em fluxos de dados de mapeamento, você pode ler e gravar arquivos do SFTP nos seguintes formatos:

As configurações específicas do formato estão localizadas na documentação desse formato. Para obter mais informações, consulte Transformação de origem no mapeamento de fluxo de dados e Transformação de coletor no mapeamento de fluxo de dados.

Nota

A validação de chave de host SSH não é suportada no mapeamento do fluxo de dados agora.

Nota

Para acessar o servidor SFTP local, você precisa usar o Azure Data Factory ou a Rede Virtual Gerenciada do espaço de trabalho Synapse usando um ponto de extremidade privado. Consulte este tutorial para obter etapas detalhadas.

Transformação da fonte

A tabela abaixo lista as propriedades suportadas pela fonte SFTP. Você pode editar essas propriedades na guia Opções de origem. Ao usar o conjunto de dados embutido, você verá configurações adicionais, que são as mesmas que as propriedades descritas na seção de propriedades do conjunto de dados.

Nome	Descrição	Obrigatório	Valores permitidos	Propriedade do script de fluxo de dados
Caminho curinga	O uso de um padrão curinga instruirá o ADF a percorrer cada pasta e arquivo correspondentes em uma única transformação de origem. Esta é uma maneira eficaz de processar vários arquivos dentro de um único fluxo.	Não	String[]	wildcardCaminhos
Caminho da raiz da partição	Se você tiver pastas particionadas na fonte de arquivos com um `key=value` formato (por exemplo, `year=2019`), poderá atribuir o nível superior dessa árvore de pastas de partição a um nome de coluna no fluxo de dados do fluxo de dados.	Não	String	partitionRootPath
Não permitir que nenhum arquivo seja encontrado	Se verdadeiro, um erro não é lançado se nenhum arquivo for encontrado.	Não	`true` ou `false`	ignoreNoFilesFound
Lista de arquivos	Este é um conjunto de ficheiros. Crie um arquivo de texto que inclua uma lista de arquivos de caminho relativos a serem processados. Aponte para este ficheiro de texto.	Não	`true` ou `false`	Lista de arquivos
Coluna para armazenar o nome do arquivo	Armazene o nome do arquivo de origem em uma coluna em seus dados. Insira um novo nome de coluna aqui para armazenar a cadeia de caracteres de nome de arquivo.	Não	String	rowUrlColumn
Após a conclusão	Escolha não fazer nada com o arquivo de origem depois que o fluxo de dados for executado, exclua o arquivo de origem ou mova o arquivo de origem. Os caminhos para a mudança são relativos.	Não	Eliminar: `true` ou `false` Movimentar-se: `['<from>', '<to>']`	purgeFiles moveFiles
Filtrar por última modificação	Você pode filtrar quais arquivos você processa especificando um intervalo de datas de quando eles foram modificados pela última vez. Todas as datas e horas estão em UTC.	Não	Carimbo de Data/Hora	modificadoApós modificadoAntes

Exemplo de script de origem SFTP

Quando você usa o conjunto de dados SFTP como tipo de origem, o script de fluxo de dados associado é:

source(allowSchemaDrift: true,
	validateSchema: false,
	ignoreNoFilesFound: true,
	purgeFiles: true,
	fileList: true,
	modifiedAfter: (toTimestamp(1647388800000L)),
	modifiedBefore: (toTimestamp(1647561600000L)),
	partitionRootPath: 'partdata',
	wildcardPaths:['partdata/**/*.csv']) ~> SFTPSource

Transformação do lavatório

A tabela abaixo lista as propriedades suportadas pelo coletor SFTP. Você pode editar essas propriedades na guia Configurações. Ao usar o conjunto de dados embutido, você verá configurações adicionais, que são as mesmas que as propriedades descritas na seção de propriedades do conjunto de dados.

Nome	Descrição	Obrigatório	Valores permitidos	Propriedade do script de fluxo de dados
Limpar a pasta	Determina se a pasta de destino é ou não limpa antes que os dados sejam gravados.	Não	`true` ou `false`	truncate
Opção de nome de arquivo	O formato de nomenclatura dos dados gravados. Por padrão, um arquivo por partição no formato `part-#####-tid-<guid>`.	Não	Padrão: String Por partição: String[] Arquivo de nome como dados de coluna: String Pasta de nome como dados de coluna: String Saída para um único arquivo: `['<fileName>']`	filePattern partitionFileNames rowUrlColumn rowFolderUrlColumn partitionFileNames
Citar tudo	Determina se todos os valores devem ser colocados entre aspas.	Não	`true` ou `false`	citaçãoTodos

Exemplo de script de coletor SFTP

Quando você usa o conjunto de dados SFTP como tipo de coletor, o script de fluxo de dados associado é:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	filePattern:'loans[n].csv',
	truncate: true,
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> SFTPSink

Propriedades da atividade de pesquisa

Para obter informações sobre as propriedades da atividade de pesquisa, consulte Atividade de pesquisa.

Propriedades de atividade GetMetadata

Para obter informações sobre as propriedades de atividade GetMetadata, consulte Atividade GetMetadata.

Excluir propriedades de atividade

Para obter informações sobre Excluir propriedades de atividade, consulte Excluir atividade.

Modelos antigos

Nota

Os seguintes modelos ainda são suportados, assim como para compatibilidade com versões anteriores. Recomendamos que você use o novo modelo discutido anteriormente, porque a interface do usuário de criação mudou para gerar o novo modelo.

Modelo de conjunto de dados herdado

Property	Descrição	Obrigatório
tipo	A propriedade type do conjunto de dados deve ser definida como FileShare.	Sim
folderPath	O caminho para a pasta. Há suporte para um filtro curinga. Os curingas permitidos são `*` (corresponde a zero ou mais caracteres) e `?` (corresponde a zero ou a um único caractere); use `^` para escapar se o nome do arquivo real tiver um curinga ou esse caracter de escape dentro. Exemplos: rootfolder/subfolder/, veja mais exemplos em Exemplos de filtros de pastas e ficheiros.	Sim
fileName	Nome ou filtro curinga para os arquivos sob o especificado "folderPath". Se você não especificar um valor para essa propriedade, o conjunto de dados apontará para todos os arquivos na pasta. Para filtro, os curingas permitidos são `` (corresponde a zero ou mais caracteres) e (corresponde a zero ou a um único caractere `?` ). - Exemplo 1: `"fileName": ".csv"` - Exemplo 2: `"fileName": "???20180427.txt"` Use `^` para escapar se o nome da pasta real tiver curinga ou esse caracter de escape dentro.	Não
modifiedDatetimeStart	Os arquivos são filtrados com base no atributo Última modificação. Os arquivos são selecionados se o tempo da última modificação for maior ou igual a `modifiedDatetimeStart` e menor que `modifiedDatetimeEnd`. A hora é aplicada ao fuso horário UTC no formato de 2018-12-01T05:00:00Z. O desempenho geral da movimentação de dados será afetado ao habilitar essa configuração quando você quiser fazer o filtro de arquivos de um grande número de arquivos. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando `modifiedDatetimeStart` tem um valor datetime, mas `modifiedDatetimeEnd` é NULL, isso significa que os arquivos cujo último atributo modificado é maior ou igual ao valor datetime são selecionados. Quando `modifiedDatetimeEnd` tem um valor datetime, mas `modifiedDatetimeStart` é NULL, isso significa que os arquivos cujo último atributo modificado é menor que o valor datetime são selecionados.	Não
modifiedDatetimeEnd	Os arquivos são filtrados com base no atributo Última modificação. Os arquivos são selecionados se o tempo da última modificação for maior ou igual a `modifiedDatetimeStart` e menor que `modifiedDatetimeEnd`. A hora é aplicada ao fuso horário UTC no formato de 2018-12-01T05:00:00Z. O desempenho geral da movimentação de dados será afetado ao habilitar essa configuração quando você quiser fazer o filtro de arquivos de um grande número de arquivos. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando `modifiedDatetimeStart` tem um valor datetime, mas `modifiedDatetimeEnd` é NULL, isso significa que os arquivos cujo último atributo modificado é maior ou igual ao valor datetime são selecionados. Quando `modifiedDatetimeEnd` tem um valor datetime, mas `modifiedDatetimeStart` é NULL, isso significa que os arquivos cujo último atributo modificado é menor que o valor datetime são selecionados.	Não
format	Se você quiser copiar arquivos como está entre armazenamentos baseados em arquivo (cópia binária), ignore a seção de formato nas definições de conjunto de dados de entrada e saída. Se você quiser analisar arquivos com um formato específico, os seguintes tipos de formato de arquivo são suportados: TextFormat, JsonFormat, AvroFormat, OrcFormat e ParquetFormat. Defina a propriedade type em format como um desses valores. Para obter mais informações, consulte Seções Formato de texto, Formato Json, Formato Avro, Formato Orc e Formato Parquet.	Não (apenas para o cenário de cópia binária)
compressão	Especifique o tipo e o nível de compactação dos dados. Para obter mais informações, consulte Formatos de arquivo e codecs de compactação suportados. Os tipos suportados são GZip, Deflate, BZip2 e ZipDeflate. Os níveis suportados são Ótimos e Mais Rápidos.	Não

Gorjeta

Para copiar todos os arquivos em uma pasta, especifique somente folderPath .
Para copiar um único arquivo com um nome especificado, especifique folderPath com a parte da pasta e fileName com o nome do arquivo.
Para copiar um subconjunto de arquivos em uma pasta, especifique folderPath com a parte da pasta e fileName com o filtro curinga.

Nota

Se você estava usando a propriedade fileFilter para o filtro de arquivo, ela ainda é suportada como está, mas recomendamos que você use o novo recurso de filtro adicionado a fileName a partir de agora.

Exemplo:

{
    "name": "SFTPDataset",
    "type": "Datasets",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<SFTP linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Modelo de origem da atividade de cópia herdada

Property	Descrição	Obrigatório
tipo	A propriedade type da fonte de atividade Copy deve ser definida como FileSystemSource	Sim
recursiva	Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Quando recursivo é definido como true e o coletor é um armazenamento baseado em arquivo, pastas e subpastas vazias não serão copiadas ou criadas no coletor. Os valores permitidos são true (padrão) e false	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas.	Não

Exemplo:

"activities":[
    {
        "name": "CopyFromSFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SFTP input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Para obter uma lista de armazenamentos de dados suportados como fontes e coletores pela atividade Copiar, consulte Armazenamentos de dados suportados.

Partilhar via

Copiar e transformar dados no servidor SFTP usando o Azure Data Factory ou o Azure Synapse Analytics

Capacidades suportadas

Pré-requisitos

Começar agora

Criar um serviço vinculado SFTP usando a interface do usuário

Detalhes de configuração do conector

Propriedades do serviço vinculado

Usar autenticação básica

Usar autenticação de chave pública SSH

Usar autenticação multifator

Propriedades do conjunto de dados

Propriedades da atividade Copy

SFTP como fonte

SFTP como um coletor

Exemplos de filtros de pastas e ficheiros

Exemplos de lista de ficheiros

Mapeando propriedades de fluxo de dados

Transformação da fonte

Exemplo de script de origem SFTP

Transformação do lavatório

Exemplo de script de coletor SFTP

Propriedades da atividade de pesquisa

Propriedades de atividade GetMetadata

Excluir propriedades de atividade

Modelos antigos

Modelo de conjunto de dados herdado

Modelo de origem da atividade de cópia herdada

Comentários

Recursos adicionais

Partilhar via

Copiar e transformar dados no servidor SFTP usando o Azure Data Factory ou o Azure Synapse Analytics

Capacidades suportadas

Pré-requisitos

Começar agora

Criar um serviço vinculado SFTP usando a interface do usuário

Detalhes de configuração do conector

Propriedades do serviço vinculado

Usar autenticação básica

Usar autenticação de chave pública SSH

Usar autenticação multifator

Propriedades do conjunto de dados

Propriedades da atividade Copy

SFTP como fonte

SFTP como um coletor

Exemplos de filtros de pastas e ficheiros

Exemplos de lista de ficheiros

Mapeando propriedades de fluxo de dados

Transformação da fonte

Exemplo de script de origem SFTP

Transformação do lavatório

Exemplo de script de coletor SFTP

Propriedades da atividade de pesquisa

Propriedades de atividade GetMetadata

Excluir propriedades de atividade

Modelos antigos

Modelo de conjunto de dados herdado

Modelo de origem da atividade de cópia herdada

Conteúdos relacionados

Comentários

Recursos adicionais