Partilhar via

Formato Iceberg no Azure Data Factory e Azure Synapse Analytics

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Siga este artigo quando quiser escrever os dados no formato Iceberg.

O formato Iceberg é suportado para os seguintes conectores:

Você pode usar o conjunto de dados Iceberg na atividade Copiar.

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo Conjuntos de dados. Esta seção fornece uma lista de propriedades suportadas pelo conjunto de dados do formato Iceberg.

Property Descrição Obrigatório
tipo A propriedade type do conjunto de dados deve ser definida como Iceberg. Sim
localização Configurações de localização do(s) arquivo(s). Cada conector baseado em arquivo tem seu próprio tipo de local e propriedades suportadas em location. Sim

Abaixo está um exemplo do conjunto de dados Iceberg no Azure Data Lake Storage Gen2:

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Propriedades da atividade Copy

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades suportadas pelo dissipador de Iceberg.

Iceberg como afundamento

As propriedades a seguir são suportadas na seção de atividade de cópia *sink* .

Property Descrição Obrigatório
tipo A propriedade type da fonte de atividade de cópia deve ser definida como IcebergSink. Sim
formatConfigurações Um grupo de propriedades. Consulte a tabela de configurações de gravação do Iceberg abaixo. Não
storeSettings Um grupo de propriedades sobre como gravar dados em um armazenamento de dados. Cada conector baseado em arquivo tem suas próprias configurações de gravação suportadas em storeSettings. Não

Configurações de gravação do Iceberg suportadas emformatSettings:

Property Descrição Obrigatório
tipo O tipo de formatSettings deve ser definido como IcebergWriteSettings. Sim

Aqui estão alguns conectores e formatos comuns relacionados ao formato de texto delimitado:

Conteúdos relacionados