Copie e transforme dados no Microsoft Fabric Lakehouse usando o Azure Data Factory ou o Azure Synapse Analytics

Artigo
12/18/2024

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

O Microsoft Fabric Lakehouse é uma plataforma de arquitetura de dados para armazenar, gerenciar e analisar dados estruturados e não estruturados em um único local. Para obter acesso contínuo aos dados em todos os mecanismos de computação no Microsoft Fabric, acesse Lakehouse e Delta Tables para saber mais. Por padrão, os dados são gravados na Lakehouse Table em V-Order, e você pode ir para Delta Lake table optimization e V-Order para obter mais informações.

Este artigo descreve como usar a atividade de cópia para copiar dados de e para o Microsoft Fabric Lakehouse e usar o fluxo de dados para transformar dados no Microsoft Fabric Lakehouse. Para saber mais, leia o artigo introdutório do Azure Data Factory ou do Azure Synapse Analytics.

Capacidades suportadas

Este conector Microsoft Fabric Lakehouse é suportado para os seguintes recursos:

Capacidades suportadas	IR
Atividade de cópia (origem/coletor)	(1) (2)
Mapeando o fluxo de dados (origem/coletor)	(1)
Atividade de Pesquisa	(1) (2)
Atividade GetMetadata	(1) (2)
Excluir atividade	(1) (2)

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Começar agora

Para executar a atividade Copiar com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

Criar um serviço vinculado do Microsoft Fabric Lakehouse usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado do Microsoft Fabric Lakehouse na interface do usuário do portal do Azure.

Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e, em seguida, selecione Novo:
- Fábrica de Dados do Azure
- Azure Synapse
Procure o Microsoft Fabric Lakehouse e selecione o conector.
Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas do Microsoft Fabric Lakehouse.

Propriedades do serviço vinculado

O conector do Microsoft Fabric Lakehouse suporta os seguintes tipos de autenticação. Consulte as seções correspondentes para obter detalhes:

Autenticação do principal de serviço

Autenticação do principal de serviço

Para usar a autenticação da entidade de serviço, siga estas etapas.

Registre um aplicativo na plataforma Microsoft Identity e adicione um segredo do cliente. Depois, anote esses valores, que você usa para definir o serviço vinculado:
- ID do aplicativo (cliente), que é o ID da entidade de serviço no serviço vinculado.
- Valor secreto do cliente, que é a chave principal do serviço no serviço vinculado.
- ID de Inquilino do
Conceda à entidade de serviço pelo menos a função de Colaborador no espaço de trabalho do Microsoft Fabric. Siga estes passos:
1. Vá para o espaço de trabalho do Microsoft Fabric, selecione Gerenciar acesso na barra superior. Em seguida, selecione Adicionar pessoas ou grupos.
2. No painel Adicionar pessoas , insira o nome da entidade de serviço e selecione a entidade de serviço na lista suspensa.
  
  Nota
  
  A entidade de serviço não aparecerá na lista Adicionar pessoas, a menos que as configurações de locatário do Power BI habilitem o acesso das entidades de serviço às APIs de malha.
3. Especifique a função como Colaborador ou superior (Administrador, Membro) e selecione Adicionar.
4. A entidade de serviço é exibida no painel Gerenciar acesso .

Estas propriedades são suportadas para o serviço vinculado:

Property	Descrição	Obrigatório
tipo	A propriedade type deve ser definida como Lakehouse.	Sim
workspaceId	A ID do espaço de trabalho do Microsoft Fabric.	Sim
artifactId	A ID do objeto Microsoft Fabric Lakehouse.	Sim
tenant	Especifique as informações do locatário (nome de domínio ou ID do locatário) sob as quais seu aplicativo reside. Recupere-o passando o mouse no canto superior direito do portal do Azure.	Sim
servicePrincipalId	Especifique o ID do cliente do aplicativo.	Sim
servicePrincipalCredentialType	O tipo de credencial a ser usado para autenticação da entidade de serviço. Os valores permitidos são ServicePrincipalKey e ServicePrincipalCert.	Sim
servicePrincipalCredential	A credencial da entidade de serviço. Ao usar ServicePrincipalKey como o tipo de credencial, especifique o valor de segredo do cliente do aplicativo. Marque este campo como SecureString para armazená-lo com segurança ou faça referência a um segredo armazenado no Cofre de Chaves do Azure. Ao usar ServicePrincipalCert como credencial, faça referência a um certificado no Cofre da Chave do Azure e verifique se o tipo de conteúdo do certificado é PKCS #12.	Sim
ConecteVia	O tempo de execução de integração a ser usado para se conectar ao armazenamento de dados. Você pode usar o tempo de execução de integração do Azure ou um tempo de execução de integração auto-hospedado se seu armazenamento de dados estiver em uma rede privada. Se não for especificado, o tempo de execução de integração padrão do Azure será usado.	Não

Exemplo: usando a autenticação de chave da entidade de serviço

Você também pode armazenar a chave principal do serviço no Cofre de Chaves do Azure.

{
    "name": "MicrosoftFabricLakehouseLinkedService",
    "properties": {
        "type": "Lakehouse",
        "typeProperties": {
            "workspaceId": "<Microsoft Fabric workspace ID>",
            "artifactId": "<Microsoft Fabric Lakehouse object ID>",
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalCredential": {
                "type": "SecureString",
                "value": "<service principal key>"
            }   
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

O conector Microsoft Fabric Lakehouse suporta dois tipos de conjuntos de dados, que são o conjunto de dados Microsoft Fabric Lakehouse Files e o conjunto de dados Microsoft Fabric Lakehouse Table. Consulte as seções correspondentes para obter detalhes.

Conjunto de dados Microsoft Fabric Lakehouse Files
Conjunto de dados Microsoft Fabric Lakehouse Table

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte Conjuntos de dados.

Conjunto de dados Microsoft Fabric Lakehouse Files

O conector Microsoft Fabric Lakehouse suporta os seguintes formatos de arquivo. Consulte cada artigo para obter as configurações baseadas em formato.

As seguintes propriedades são suportadas em location configurações no conjunto de dados Microsoft Fabric Lakehouse Files baseado em formato:

Property	Descrição	Obrigatório
tipo	A propriedade type sob `location` no conjunto de dados deve ser definida como LakehouseLocation.	Sim
folderPath	O caminho para uma pasta. Se você quiser usar um curinga para filtrar pastas, ignore essa configuração e especifique-a nas configurações da fonte de atividade.	Não
fileName	O nome do arquivo em determinado folderPath. Se você quiser usar um curinga para filtrar arquivos, ignore essa configuração e especifique-a nas configurações da fonte de atividade.	Não

Exemplo:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Microsoft Fabric Lakehouse linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "LakehouseLocation",
                "fileName": "<file name>",
                "folderPath": "<folder name>"
            },
            "columnDelimiter": ",",
            "compressionCodec": "gzip",
            "escapeChar": "\\",
            "firstRowAsHeader": true,
            "quoteChar": "\""
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ]
    }
}

Conjunto de dados Microsoft Fabric Lakehouse Table

As seguintes propriedades são suportadas para o conjunto de dados Microsoft Fabric Lakehouse Table:

Property	Descrição	Obrigatório
tipo	A propriedade type do conjunto de dados deve ser definida como LakehouseTable.	Sim
esquema	Nome do esquema. Se não for especificado, o valor padrão será `dbo`.	Não
tabela	O nome da sua tabela. O nome da tabela deve ter pelo menos um caractere, sem '/' ou '\', sem pontos à direita e sem espaços à esquerda ou à direita.	Sim

Exemplo:

{ 
    "name": "LakehouseTableDataset", 
    "properties": {
        "type": "LakehouseTable",
        "linkedServiceName": { 
            "referenceName": "<Microsoft Fabric Lakehouse linked service name>", 
            "type": "LinkedServiceReference" 
        }, 
        "typeProperties": { 
            "schema": "<schema_name>",
            "table": "<table_name>"   
        },
        "schema": [< physical schema, optional, retrievable during authoring >]
    } 
}

Propriedades da atividade Copy

As propriedades da atividade de cópia para o conjunto de dados Microsoft Fabric Lakehouse Files e o conjunto de dados Microsoft Fabric Lakehouse Table são diferentes. Consulte as seções correspondentes para obter detalhes.

Arquivos do Microsoft Fabric Lakehouse na atividade Copiar
Tabela do Microsoft Fabric Lakehouse na atividade Copiar

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte Copiar configurações de atividade e Pipelines e atividades.

Arquivos do Microsoft Fabric Lakehouse na atividade Copiar

Para usar o tipo de conjunto de dados do Microsoft Fabric Lakehouse Files como fonte ou coletor na atividade Copiar, vá para as seções a seguir para obter as configurações detalhadas.

Arquivos do Microsoft Fabric Lakehouse como um tipo de origem

O conector Microsoft Fabric Lakehouse suporta os seguintes formatos de arquivo. Consulte cada artigo para obter as configurações baseadas em formato.

Você tem várias opções para copiar dados do Microsoft Fabric Lakehouse usando o conjunto de dados Microsoft Fabric Lakehouse Files:

Copie do caminho especificado no conjunto de dados.
Filtro curinga em relação ao caminho da pasta ou nome do arquivo, consulte wildcardFolderPath e wildcardFileName.
Copie os arquivos definidos em um determinado arquivo de texto como conjunto de arquivos, consulte fileListPath.

As propriedades a seguir estão em storeSettings configurações na fonte de cópia baseada em formato ao usar o conjunto de dados Microsoft Fabric Lakehouse Files:

Property	Descrição	Obrigatório
tipo	A propriedade type under `storeSettings` deve ser definida como LakehouseReadSettings.	Sim
Localize os ficheiros a copiar:
OPÇÃO 1: caminho estático	Copie do caminho da pasta/arquivo especificado no conjunto de dados. Se você quiser copiar todos os arquivos de uma pasta, especifique `wildcardFileName` adicionalmente como `*`.
OPÇÃO 2: curinga - wildcardFolderPath	O caminho da pasta com caracteres curinga para filtrar pastas de origem. Os curingas permitidos são: `*` (corresponde a zero ou mais caracteres) e `?` (corresponde a zero ou caractere único); use `^` para escapar se o nome da pasta real tiver curinga ou esse caractere de escape dentro. Veja mais exemplos em Exemplos de filtros de pastas e ficheiros.	Não
OPÇÃO 2: curinga - wildcardFileName	O nome do arquivo com caracteres curinga em determinado folderPath/wildcardFolderPath para filtrar arquivos de origem. Os curingas permitidos são: `*` (corresponde a zero ou mais caracteres) e `?` (corresponde a zero ou caractere único); use `^` para escapar se o nome do arquivo real tiver curinga ou esse caractere de escape dentro. Veja mais exemplos em Exemplos de filtros de pastas e ficheiros.	Sim
OPÇÃO 3: uma lista de ficheiros - fileListPath	Indica para copiar um determinado conjunto de arquivos. Aponte para um arquivo de texto que inclua uma lista de arquivos que você deseja copiar, um arquivo por linha, que é o caminho relativo para o caminho configurado no conjunto de dados. Ao usar essa opção, não especifique o nome do arquivo no conjunto de dados. Veja mais exemplos em Exemplos de lista de arquivos.	Não
Configurações adicionais:
recursiva	Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Quando recursivo é definido como true e o coletor é um armazenamento baseado em arquivo, uma pasta ou subpasta vazia não é copiada ou criada no coletor. Os valores permitidos são true (padrão) e false. Esta propriedade não se aplica quando você configura `fileListPath`o .	Não
deleteFilesAfterCompletion	Indica se os arquivos binários serão excluídos do armazenamento de origem depois de serem movidos com êxito para o repositório de destino. A exclusão do arquivo é por arquivo, portanto, quando a atividade de cópia falha, você vê que alguns arquivos já foram copiados para o destino e excluídos da origem, enquanto outros ainda permanecem no armazenamento de origem. Esta propriedade só é válida no cenário de cópia de arquivos binários. O valor padrão: false.	Não
modifiedDatetimeStart	Filtro de arquivos com base no atributo: Última modificação. Os arquivos serão selecionados se o tempo da última modificação for maior ou igual a `modifiedDatetimeStart` e menor que `modifiedDatetimeEnd`. A hora é aplicada ao fuso horário UTC no formato "2018-12-01T05:00:00Z". As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando `modifiedDatetimeStart` tem valor datetime, mas `modifiedDatetimeEnd` é NULL, significa que os arquivos cujo último atributo modificado é maior ou igual ao valor datetime serão selecionados. Quando `modifiedDatetimeEnd` tem valor datetime, mas `modifiedDatetimeStart` é NULL, significa que os arquivos cujo último atributo modificado é menor que o valor datetime serão selecionados. Esta propriedade não se aplica quando você configura `fileListPath`o .	Não
modifiedDatetimeEnd	Mesmo que acima.	Não
enablePartitionDiscovery	Para arquivos particionados, especifique se deseja analisar as partições do caminho do arquivo e adicioná-las como outras colunas de origem. Os valores permitidos são false (padrão) e true.	Não
partitionRootPath	Quando a descoberta de partições estiver habilitada, especifique o caminho raiz absoluto para ler pastas particionadas como colunas de dados. Se não for especificado, por padrão, - Quando você usa o caminho do arquivo no conjunto de dados ou na lista de arquivos na origem, o caminho da raiz da partição é o caminho configurado no conjunto de dados. - Quando você usa o filtro de pasta curinga, o caminho da raiz da partição é o subcaminho antes do primeiro curinga. Por exemplo, supondo que você configure o caminho no conjunto de dados como "root/folder/year=2020/month=08/day=27": - Se você especificar o caminho raiz da partição como "root/folder/year=2020", a atividade de cópia gerará mais duas colunas `month` e `day` com o valor "08" e "27", respectivamente, além das colunas dentro dos arquivos. - Se o caminho raiz da partição não for especificado, nenhuma coluna extra será gerada.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas.	Não

Exemplo:

"activities": [
    {
        "name": "CopyFromLakehouseFiles",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "storeSettings": {
                    "type": "LakehouseReadSettings",
                    "recursive": true,
                    "enablePartitionDiscovery": false
                },
                "formatSettings": {
                    "type": "DelimitedTextReadSettings"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Microsoft Fabric Lakehouse Files como um tipo de coletor

O conector Microsoft Fabric Lakehouse suporta os seguintes formatos de arquivo. Consulte cada artigo para obter as configurações baseadas em formato.

As propriedades a seguir estão em storeSettings configurações no coletor de cópia baseado em formato ao usar o conjunto de dados Microsoft Fabric Lakehouse Files:

Property	Descrição	Obrigatório
tipo	A propriedade type under `storeSettings` deve ser definida como LakehouseWriteSettings.	Sim
copyBehavior	Define o comportamento de cópia quando a origem são arquivos de um armazenamento de dados baseado em arquivo. Os valores permitidos são: - PreserveHierarchy (padrão): Preserva a hierarquia de arquivos na pasta de destino. O caminho relativo do arquivo de origem para a pasta de origem é idêntico ao caminho relativo do arquivo de destino para a pasta de destino. - FlattenHierarchy: Todos os arquivos da pasta de origem estão no primeiro nível da pasta de destino. Os arquivos de destino têm nomes gerados automaticamente. - MergeFiles: Mescla todos os arquivos da pasta de origem para um arquivo. Se o nome do arquivo for especificado, o nome do arquivo mesclado será o nome especificado. Caso contrário, é um nome de arquivo gerado automaticamente.	Não
blockSizeInMB	Especifique o tamanho do bloco em MB usado para gravar dados no Microsoft Fabric Lakehouse. Saiba mais sobre Blobs de bloco. O valor permitido está entre 4 MB e 100 MB. Por padrão, o ADF determina automaticamente o tamanho do bloco com base no tipo de armazenamento de origem e nos dados. Para cópia não binária no Microsoft Fabric Lakehouse, o tamanho de bloco padrão é de 100 MB para caber no máximo aproximadamente 4,75 TB de dados. Pode não ser ideal quando seus dados não são grandes, especialmente quando você usa o Self-hosted Integration Runtime com uma rede fraca, resultando em tempo limite de operação ou problema de desempenho. Você pode especificar explicitamente um tamanho de bloco, enquanto garante que blockSizeInMB*50000 seja grande o suficiente para armazenar os dados, caso contrário, a execução da atividade de cópia falhará.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas.	Não
do IdP	Defina metadados personalizados quando copiar para coletor. Cada objeto sob a `metadata` matriz representa uma coluna extra. O `name` define o nome da chave de metadados e indica o `value` valor de dados dessa chave. Se o recurso preservar atributos for usado, os metadados especificados serão unidos/substituídos pelos metadados do arquivo de origem. Os valores de dados permitidos são: - `$$LASTMODIFIED`: uma variável reservada indica para armazenar a hora da última modificação dos arquivos de origem. Aplique apenas à fonte baseada em arquivo com formato binário. - Expressão - Valor estático	Não

Exemplo:

"activities": [
    {
        "name": "CopyToLakehouseFiles",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings": {
                    "type": "LakehouseWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        }
                    ]
                },
                "formatSettings": {
                    "type": "ParquetWriteSettings"
                }
            }
        }
    }
]

Exemplos de filtros de pastas e ficheiros

Esta seção descreve o comportamento resultante do caminho da pasta e do nome do arquivo com filtros curinga.

folderPath	fileName	recursiva	Estrutura da pasta de origem e resultado do filtro (arquivos em negrito são recuperados)
`Folder*`	(Vazio, use padrão)	false	PastaA File1.csv File2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB File6.csv
`Folder*`	(Vazio, use padrão)	verdadeiro	PastaA File1.csv File2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB File6.csv
`Folder*`	`*.csv`	false	PastaA File1.csv File2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB File6.csv
`Folder*`	`*.csv`	verdadeiro	PastaA File1.csv File2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB File6.csv

Exemplos de lista de ficheiros

Esta seção descreve o comportamento resultante do uso do caminho da lista de arquivos na fonte de atividade de cópia.

Supondo que você tenha a seguinte estrutura de pastas de origem e queira copiar os arquivos em negrito:

Estrutura de origem da amostra	Conteúdo em FileListToCopy.txt	Configuração do ADF
sistema de ficheiros PastaA File1.csv File2.json Subpasta1 File3.csv File4.json File5.csv Metadados FileListToCopy.txt	File1.csv Subpasta1/File3.csv Subpasta1/File5.csv	No conjunto de dados: - Caminho da pasta: `FolderA` Na fonte da atividade de cópia: - Caminho da lista de arquivos: `Metadata/FileListToCopy.txt` O caminho da lista de arquivos aponta para um arquivo de texto no mesmo armazenamento de dados que inclui uma lista de arquivos que você deseja copiar, um arquivo por linha com o caminho relativo para o caminho configurado no conjunto de dados.

Alguns exemplos recursivos e copyBehavior

Esta seção descreve o comportamento resultante da operação de cópia para diferentes combinações de valores recursivo e copyBehavior.

recursiva	copyBehavior	Estrutura da pasta de origem	Alvo resultante
verdadeiro	preserveHierarchy	Pasta1 Ficheiro1 Ficheiro2 Subpasta1 Ficheiro3 Ficheiro4 Ficheiro5	A Folder1 de destino é criada com a mesma estrutura da origem: Pasta1 Ficheiro1 Ficheiro2 Subpasta1 Ficheiro3 Ficheiro4 Ficheiro5
verdadeiro	achatarHierarquia	Pasta1 Ficheiro1 Ficheiro2 Subpasta1 Ficheiro3 Ficheiro4 Ficheiro5	A Folder1 de destino é criada com a seguinte estrutura: Pasta1 nome gerado automaticamente para File1 nome gerado automaticamente para File2 nome gerado automaticamente para File3 nome gerado automaticamente para File4 nome gerado automaticamente para File5
verdadeiro	mesclarArquivos	Pasta1 Ficheiro1 Ficheiro2 Subpasta1 Ficheiro3 Ficheiro4 Ficheiro5	A Folder1 de destino é criada com a seguinte estrutura: Pasta1 File1 + File2 + File3 + File4 + File5 conteúdo são mesclados em um arquivo com um nome de arquivo gerado automaticamente.
false	preserveHierarchy	Pasta1 Ficheiro1 Ficheiro2 Subpasta1 Ficheiro3 Ficheiro4 Ficheiro5	A Folder1 de destino é criada com a seguinte estrutura: Pasta1 Ficheiro1 Ficheiro2 Subfolder1 com File3, File4 e File5 não é coletada.
false	achatarHierarquia	Pasta1 Ficheiro1 Ficheiro2 Subpasta1 Ficheiro3 Ficheiro4 Ficheiro5	A Folder1 de destino é criada com a seguinte estrutura: Pasta1 nome gerado automaticamente para File1 nome gerado automaticamente para File2 Subfolder1 com File3, File4 e File5 não é coletada.
false	mesclarArquivos	Pasta1 Ficheiro1 Ficheiro2 Subpasta1 Ficheiro3 Ficheiro4 Ficheiro5	A Folder1 de destino é criada com a seguinte estrutura: Pasta1 O conteúdo de File1 + File2 é mesclado em um arquivo com um nome de arquivo gerado automaticamente. nome gerado automaticamente para File1 Subfolder1 com File3, File4 e File5 não é coletada.

Tabela do Microsoft Fabric Lakehouse na atividade Copiar

Para usar o conjunto de dados Microsoft Fabric Lakehouse Table como um conjunto de dados de origem ou coletor na atividade Copiar, vá para as seções a seguir para obter as configurações detalhadas.

Microsoft Fabric Lakehouse Table como um tipo de origem

Para copiar dados do Microsoft Fabric Lakehouse usando o conjunto de dados Microsoft Fabric Lakehouse Table, defina a propriedade type na fonte de atividade Copy como LakehouseTableSource. As seguintes propriedades são suportadas na seção Copiar fonte de atividade:

Property	Descrição	Obrigatório
tipo	A propriedade type da fonte Copy Activity deve ser definida como LakehouseTableSource.	Sim
carimbo de data/horaAsOf	O carimbo de data/hora para consultar um instantâneo mais antigo.	Não
versãoAsOf	A versão para consultar um instantâneo mais antigo.	Não

Exemplo:

"activities":[
    {
        "name": "CopyFromLakehouseTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft Fabric Lakehouse Table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "LakehouseTableSource",
                "timestampAsOf": "2023-09-23T00:00:00.000Z",
                "versionAsOf": 2
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Microsoft Fabric Lakehouse Table como um tipo de pia

Para copiar dados para o Microsoft Fabric Lakehouse usando o conjunto de dados Microsoft Fabric Lakehouse Table, defina a propriedade type no coletor Copy Activity como LakehouseTableSink. As seguintes propriedades são suportadas na seção Copiar coletor de atividade:

Property	Descrição	Obrigatório
tipo	A propriedade type da fonte Copy Activity deve ser definida como LakehouseTableSink.	Sim

Nota

Os dados são gravados na Lakehouse Table em V-Order por padrão. Para obter mais informações, vá para Otimização da tabela Delta Lake e V-Order.

Exemplo:

"activities":[
    {
        "name": "CopyToLakehouseTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Microsoft Fabric Lakehouse Table output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "LakehouseTableSink",
                "tableActionOption ": "Append"
            }
        }
    }
]

Mapeando propriedades de fluxo de dados

Ao transformar dados em mapeamento de fluxo de dados, você pode ler e gravar em arquivos ou tabelas no Microsoft Fabric Lakehouse. Consulte as seções correspondentes para obter detalhes.

Arquivos do Microsoft Fabric Lakehouse no mapeamento do fluxo de dados
Tabela do Microsoft Fabric Lakehouse no mapeamento do fluxo de dados

Para obter mais informações, consulte a transformação de origem e a transformação de coletor no mapeamento de fluxos de dados.

Arquivos do Microsoft Fabric Lakehouse no mapeamento do fluxo de dados

Para usar o conjunto de dados do Microsoft Fabric Lakehouse Files como um conjunto de dados de origem ou coletor no fluxo de dados de mapeamento, vá para as seções a seguir para obter as configurações detalhadas.

Arquivos do Microsoft Fabric Lakehouse como um tipo de fonte ou coletor

O conector Microsoft Fabric Lakehouse suporta os seguintes formatos de arquivo. Consulte cada artigo para obter as configurações baseadas em formato.

Para usar o conector baseado em arquivo Fabric Lakehouse no tipo de conjunto de dados embutido, você precisa escolher o tipo de conjunto de dados embutido certo para seus dados. Você pode usar DelimitedText, Avro, JSON, ORC ou Parquet, dependendo do seu formato de dados.

Tabela do Microsoft Fabric Lakehouse no mapeamento do fluxo de dados

Para usar o conjunto de dados Microsoft Fabric Lakehouse Table como um conjunto de dados de origem ou coletor no fluxo de dados de mapeamento, vá para as seções a seguir para obter as configurações detalhadas.

Microsoft Fabric Lakehouse Table como um tipo de origem

Não há propriedades configuráveis nas opções de origem.

Nota

O suporte CDC para a fonte da tabela Lakehouse não está disponível no momento.

Microsoft Fabric Lakehouse Table como um tipo de pia

As seguintes propriedades são suportadas na seção Coletor de Fluxos de Dados de Mapeamento:

Nome	Descrição	Obrigatório	Valores permitidos	Propriedade do script de fluxo de dados
Método de atualização	Quando você seleciona "Permitir inserção" sozinho ou quando grava em uma nova tabela delta, o destino recebe todas as linhas de entrada, independentemente do conjunto de políticas de linha. Se seus dados contiverem linhas de outras políticas de Linha, elas precisarão ser excluídas usando uma transformação de Filtro anterior. Quando todos os métodos Update são selecionados, uma Mesclagem é executada, onde as linhas são inseridas/excluídas/atualizadas/atualizadas de acordo com as Políticas de Linha definidas usando uma transformação Alter Row anterior.	sim	`true` ou `false`	inserível suprimido Atualizável atualizável
Escrita otimizada	Obtenha uma taxa de transferência mais alta para a operação de gravação otimizando o embaralhamento interno nos executores do Spark. Como resultado, você pode notar menos partições e arquivos de tamanho maior	não	`true` ou `false`	optimizedWrite: verdadeiro
Auto Compacto	Após a conclusão de qualquer operação de gravação, o Spark executará automaticamente o `OPTIMIZE` comando para reorganizar os dados, resultando em mais partições, se necessário, para um melhor desempenho de leitura no futuro	não	`true` ou `false`	autoCompact: verdadeiro
Esquema de mesclagem	A opção Mesclar esquema permite a evolução do esquema, ou seja, todas as colunas que estão presentes no fluxo de entrada atual, mas não na tabela Delta de destino, são adicionadas automaticamente ao seu esquema. Esta opção é suportada em todos os métodos de atualização.	não	`true` ou `false`	mergeSchema: verdadeiro

Exemplo: Microsoft Fabric Lakehouse Pia de mesa

sink(allowSchemaDrift: true, 
    validateSchema: false, 
    input( 
        CustomerID as string,
        NameStyle as string, 
        Title as string, 
        FirstName as string, 
        MiddleName as string,
        LastName as string, 
        Suffix as string, 
        CompanyName as string,
        SalesPerson as string, 
        EmailAddress as string, 
        Phone as string, 
        PasswordHash as string, 
        PasswordSalt as string, 
        rowguid as string, 
        ModifiedDate as string 
    ), 
    deletable:false, 
    insertable:true, 
    updateable:false, 
    upsertable:false, 
    optimizedWrite: true, 
    mergeSchema: true, 
    autoCompact: true, 
    skipDuplicateMapInputs: true, 
    skipDuplicateMapOutputs: true) ~> CustomerTable

Para o conector baseado em tabela Fabric Lakehouse no tipo de conjunto de dados embutido, você só precisa usar Delta como tipo de conjunto de dados. Isso permitirá que você leia e escreva dados de tabelas Fabric Lakehouse.

Propriedades da atividade de pesquisa

Para saber detalhes sobre as propriedades, verifique Atividade de pesquisa.

Propriedades de atividade GetMetadata

Para saber detalhes sobre as propriedades, verifique a atividade GetMetadata

Excluir propriedades de atividade

Para saber detalhes sobre as propriedades, marque Excluir atividade

Para obter uma lista de armazenamentos de dados suportados como fontes e coletores pela atividade de cópia, consulte Armazenamentos de dados suportados.

Partilhar via

Copie e transforme dados no Microsoft Fabric Lakehouse usando o Azure Data Factory ou o Azure Synapse Analytics

Capacidades suportadas

Começar agora

Criar um serviço vinculado do Microsoft Fabric Lakehouse usando a interface do usuário

Detalhes de configuração do conector

Propriedades do serviço vinculado

Autenticação do principal de serviço

Propriedades do conjunto de dados

Conjunto de dados Microsoft Fabric Lakehouse Files

Conjunto de dados Microsoft Fabric Lakehouse Table

Propriedades da atividade Copy

Arquivos do Microsoft Fabric Lakehouse na atividade Copiar

Arquivos do Microsoft Fabric Lakehouse como um tipo de origem

Microsoft Fabric Lakehouse Files como um tipo de coletor

Exemplos de filtros de pastas e ficheiros

Exemplos de lista de ficheiros

Alguns exemplos recursivos e copyBehavior

Tabela do Microsoft Fabric Lakehouse na atividade Copiar

Microsoft Fabric Lakehouse Table como um tipo de origem

Microsoft Fabric Lakehouse Table como um tipo de pia

Mapeando propriedades de fluxo de dados

Arquivos do Microsoft Fabric Lakehouse no mapeamento do fluxo de dados

Arquivos do Microsoft Fabric Lakehouse como um tipo de fonte ou coletor

Tabela do Microsoft Fabric Lakehouse no mapeamento do fluxo de dados

Microsoft Fabric Lakehouse Table como um tipo de origem

Microsoft Fabric Lakehouse Table como um tipo de pia

Propriedades da atividade de pesquisa

Propriedades de atividade GetMetadata

Excluir propriedades de atividade

Comentários

Recursos adicionais

Partilhar via

Copie e transforme dados no Microsoft Fabric Lakehouse usando o Azure Data Factory ou o Azure Synapse Analytics

Capacidades suportadas

Começar agora

Criar um serviço vinculado do Microsoft Fabric Lakehouse usando a interface do usuário

Detalhes de configuração do conector

Propriedades do serviço vinculado

Autenticação do principal de serviço

Propriedades do conjunto de dados

Conjunto de dados Microsoft Fabric Lakehouse Files

Conjunto de dados Microsoft Fabric Lakehouse Table

Propriedades da atividade Copy

Arquivos do Microsoft Fabric Lakehouse na atividade Copiar

Arquivos do Microsoft Fabric Lakehouse como um tipo de origem

Microsoft Fabric Lakehouse Files como um tipo de coletor

Exemplos de filtros de pastas e ficheiros

Exemplos de lista de ficheiros

Alguns exemplos recursivos e copyBehavior

Tabela do Microsoft Fabric Lakehouse na atividade Copiar

Microsoft Fabric Lakehouse Table como um tipo de origem

Microsoft Fabric Lakehouse Table como um tipo de pia

Mapeando propriedades de fluxo de dados

Arquivos do Microsoft Fabric Lakehouse no mapeamento do fluxo de dados

Arquivos do Microsoft Fabric Lakehouse como um tipo de fonte ou coletor

Tabela do Microsoft Fabric Lakehouse no mapeamento do fluxo de dados

Microsoft Fabric Lakehouse Table como um tipo de origem

Microsoft Fabric Lakehouse Table como um tipo de pia

Propriedades da atividade de pesquisa

Propriedades de atividade GetMetadata

Excluir propriedades de atividade

Conteúdos relacionados

Comentários

Recursos adicionais