Solucionar problemas de erros de ingestão ou dados corrompidos

Artigo
11/20/2024

Observação

Em 1º de setembro de 2023, mesclamos e renomeamos o Dynamics 365 Marketing e o Dynamics 365 Customer Insights. O Dynamics 365 Marketing agora se chama Dynamics 365 Customer Insights - Journeys. O Dynamics 365 Customer Insights agora se chama Dynamics 365 Customer Insights - Data. Para obter mais informações, consulte Perguntas frequentes sobre o Dynamics 365 Customer Insights.

Este artigo apresenta motivos comuns para erros de ingestão de dados ou dados corrompidos ao usar o Azure Data Lake Storage ou o Power Query no Microsoft Dynamics 365 Customer Insights - Dados.

Erros de ingestão ou dados corrompidos com o Azure Data Lake Storage

Durante a ingestão de dados, alguns dos motivos mais comuns pelos quais um registro pode ser considerado corrompido incluem:

Os tipos de dados e os valores de campo não correspondem entre o arquivo de origem e o esquema.
O número de colunas no arquivo de origem não corresponde ao esquema.
Os campos contêm caracteres que fazem com que as colunas se desviem em relação ao esquema esperado. Por exemplo, aspas formatadas incorretamente, aspas sem escape, caracteres de nova linha ou caracteres com tabulações.
Os arquivos de partição estão ausentes.
datetime, dateou datetimeoffset não seguem o formato padrão.

Incompatibilidade de esquema ou tipo de dados

Se os dados não estiverem em conformidade com o esquema, o processo de ingestão será concluído com erros.

Para resolver esse problema, corrija os dados de origem ou o esquema e assimile novamente os dados.

Os arquivos de partição estão ausentes

Se o processo de assimilação for bem-sucedido sem nenhum registro corrompido, mas você não conseguir ver nenhum dado, edite seu arquivo model.json ou manifest.json para garantir que as partições sejam especificadas. Depois, atualize a fonte de dados.
Se a ingestão de dados ocorrer ao mesmo tempo em que as fontes de dados estão sendo atualizadas durante uma atualização automática de agendamento, os arquivos de partição podem estar vazios ou indisponíveis para o processo do sistema. Para alinhar com o agendamento de atualização upstream, altere o agendamento de atualização do sistema ou o agendamento de atualização da fonte de dados. Alinhe a sincronização para que as atualizações não ocorram todas de uma só vez.

Os campos de data e hora estão no formato errado

Os datetime campos na tabela não estão no formato ISO 8601 ou en-US . O formato padrão datetime no Dynamics 365 Customer Insights - Dados é en-US. Todos os datetime campos em uma tabela devem estar no mesmo formato. O Customer Insights oferece suporte a outros formatos, desde que anotações ou características sejam feitas no nível de origem ou de tabela no modelo ou manifest.json. Por exemplo:

Model.json

  "annotations": [
    {
      "name": "ci:CustomTimestampFormat",
      "value": "yyyy-MM-dd'T'HH:mm:ss:SSS"
    },
    {
      "name": "ci:CustomDateFormat",
      "value": "yyyy-MM-dd"
    }
  ]

Em um arquivo manifest.json , o datetime formato pode ser especificado no nível da tabela ou no nível do atributo. No nível da tabela, use "exhibitsTraits" na tabela em *.manifest.cdm.json para definir o datetime formato. No nível do atributo, use "appliedTraits" no atributo em tablename.cdm.json.

Manifest.json no nível da tabela

"exhibitsTraits": [
    {
        "traitReference": "is.formatted.dateTime",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd'T'HH:mm:ss"
            }
        ]
    },
    {
        "traitReference": "is.formatted.date",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd"
            }
        ]
    }
]

table.json no nível do atributo

   {
      "name": "PurchasedOn",
      "appliedTraits": [
        {
          "traitReference": "is.formatted.date",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-dd"
            }
          ]
        },
        {
          "traitReference": "is.formatted.dateTime",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-ddTHH:mm:ss"
            }
          ]
        }
      ],
      "attributeContext": "POSPurchases/attributeContext/POSPurchases/PurchasedOn",
      "dataFormat": "DateTime"
    }

Erros de ingestão ou dados corrompidos com Power Query

Os valores de data e hora são analisados incorretamente ou ocorre uma falha de análise

A incompatibilidade mais comum dos tipos de dados ocorre quando um campo de data não está definido para o formato de data correto. Essa incompatibilidade pode ser causada pelos dados de origem formatados incorretamente ou por uma localidade incorreta.

Sintomas do problema de localidade incorreta:

Quando os dados de origem não podem ser analisados pela localidade usada, ocorre uma falha de ingestão. Por exemplo, se "29/08/2023" for analisado com "MM/DD/AAAA", a ingestão falhará porque não pode analisar o mês 29.
Quando os dados de origem são analisados com êxito usando uma localidade incorreta, os valores de data e hora estão incorretos. Por exemplo, os dados de origem são formatados como "MM/DD/AAAA", enquanto a localidade padrão usada para analisar os dados durante a ingestão usa "DD/MM/AAAA". Como resultado, "8 de dezembro de 2023" é ingerido como "12 de agosto de 2023".

Resolução

Para corrigir um formato incorreto, atualize os dados de origem e assimile novamente.
Para corrigir uma localidade incorreta, altere o tipo de todos os campos de data e hora para usar a localidade correta usando Alterar tipo>Usando localidade nas transformações do Power Query. Por exemplo:

Para obter mais informações, consulte Localidade do documento ou do projeto.

Compartilhar via