Compartilhar via

Formato Iceberg no Azure Data Factory e no Azure Synapse Analytics

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Siga este artigo quando quiser gravar dados no formato Iceberg.

O formato Iceberg é compatível com os seguintes conectores:

Você pode usar o conjunto de dados do Iceberg na atividade Copiar.

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre Conjuntos de Dados. Esta seção fornece uma lista de propriedades compatíveis com o conjunto de dados do formato Iceberg.

Propriedade Descrição Obrigatório
tipo A propriedade tipo do conjunto de dados precisa ser definida como Iceberg. Sim
local Configurações de local dos arquivos. Cada conector baseado em arquivo tem seu próprio tipo de local e propriedades com suporte em location. Sim

Veja abaixo um exemplo de um conjunto de dados do Iceberg no Azure Data Lake Storage Gen2:

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção fornece uma lista das propriedades compatíveis com o coletor do Iceberg.

O Iceberg como um coletor

As propriedades a seguir têm suporte na seção do *coletor* da atividade Copy.

Propriedade Descrição Obrigatório
tipo A propriedade tipo de fonte da atividade Copiar precisa ser definida como IcebergSink. Sim
formatSettings Um grupo de propriedades. Consulte abaixo a tabela configurações de gravação do Iceberg. Não
storeSettings Um grupo de propriedades sobre como gravar dados em um armazenamento de dados. Cada conector baseado em arquivo tem suas próprias configurações de gravação com suporte em storeSettings. Não

Configurações de gravação do Iceberg com suporte em formatSettings:

Propriedade Descrição Obrigatório
tipo O tipo de formatSettings precisa ser definido como IcebergWriteSettings. Sim

Aqui estão alguns conectores e formatos comuns relacionados ao formato de texto delimitado:

Conteúdo relacionado