Устранение ошибок приема или повреждения данных

Статья
06/03/2024

Примечание.

1 сентября 2023 г. мы объединили и переименовали Dynamics 365 Marketing и Dynamics 365 Customer Insights. Dynamics 365 Marketing теперь называется Dynamics 365 Customer Insights - Journeys. Dynamics 365 Customer Insights теперь называется Dynamics 365 Customer Insights - Data. Для получения дополнительных сведений см. раздел Вопросы и ответы по Dynamics 365 Customer Insights.

В этой статье приводятся распространенные причины ошибок приема данных или повреждения данных при использовании Azure Data Lake Storage или Power Query в Microsoft Dynamics 365 Customer Insights — Data.

Ошибки приема или повреждения данных с помощью Azure Data Lake Storage

Во время приема данных некоторые из наиболее распространенных причин, по которым запись может считаться поврежденной, включают:

Типы данных и значения полей не совпадают между исходным файлом и схемой.
Количество столбцов в исходном файле не соответствует схеме.
Поля содержат символы, из-за которых столбцы перекашиваются по сравнению с ожидаемой схемой. Например, неправильно отформатированные кавычки, незаключенные кавычки, символы новой строки или символы табуляции.
Отсутствуют файлы секционирования.
datetime, dateили datetimeoffset поля не соответствуют стандартному формату.

Несоответствие схемы или типа данных

Если данные не соответствуют схеме, процесс приема завершается с ошибками.

Чтобы устранить эту проблему, исправьте исходные данные или схему и повторное прием данных.

Файлы разделов отсутствуют

Если процесс приема успешно выполнен без поврежденных записей, но вы не видите никаких данных, измените файл model.json или manifest.json , чтобы убедиться, что разделы указаны. Затем обновите источник данных.
Если прием данных происходит одновременно с обновлением источников данных во время автоматического обновления расписания, файлы секций могут быть пустыми или недоступными для системного процесса. Чтобы согласовать с расписанием обновления восходящего потока, измените расписание обновления системы или расписание обновления для источника данных. Подберите моменты времени так, чтобы обновления не происходили одновременно.

Поля datetime находятся в неправильном формате

Поля datetime в таблице не указаны в формате ISO 8601 или en-US формате. Формат по умолчанию datetime в Dynamics 365 Customer Insights — данные en-US. datetime Все поля таблицы должны находиться в одном формате. Customer Insights поддерживает другие форматы, предоставляемые заметками или чертами, на исходном или табличном уровне в модели или manifest.json. Например:

Model.json

  "annotations": [
    {
      "name": "ci:CustomTimestampFormat",
      "value": "yyyy-MM-dd'T'HH:mm:ss:SSS"
    },
    {
      "name": "ci:CustomDateFormat",
      "value": "yyyy-MM-dd"
    }
  ]

В файле datetime manifest.json формат можно указать на уровне таблицы или атрибуте. На уровне таблицы используйте "exhibitsTraits" таблицу в *.manifest.cdm.json для определения datetime формата. На уровне атрибута используйте "appliedTraits" атрибут в tablename.cdm.json.

Manifest.json на уровне таблицы

"exhibitsTraits": [
    {
        "traitReference": "is.formatted.dateTime",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd'T'HH:mm:ss"
            }
        ]
    },
    {
        "traitReference": "is.formatted.date",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd"
            }
        ]
    }
]

table.json на уровне атрибута

   {
      "name": "PurchasedOn",
      "appliedTraits": [
        {
          "traitReference": "is.formatted.date",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-dd"
            }
          ]
        },
        {
          "traitReference": "is.formatted.dateTime",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-ddTHH:mm:ss"
            }
          ]
        }
      ],
      "attributeContext": "POSPurchases/attributeContext/POSPurchases/PurchasedOn",
      "dataFormat": "DateTime"
    }

Ошибки приема или повреждения данных с помощью Power Query

Значения datetime анализируются неправильно или происходит сбой синтаксического анализа

Наиболее распространенное несоответствие типов данных возникает, когда для поля даты задан неправильный формат даты. Это несоответствие может быть вызвано неправильно отформатированными исходными данными или неправильным языковым стандартом.

Симптомы неправильной проблемы языкового стандарта:

Если исходные данные не могут быть проанализированы используемым языковым стандартом, происходит сбой приема. Например, если "29.08.2023" анализируется с "MM/DD/ГГГГ", прием завершается ошибкой, так как не удается проанализировать месяц 29.
При успешном анализе исходных данных с использованием неправильного языкового стандарта значения даты и времени неверны. Например, исходные данные форматируются как MM/DD/ГГГГ, а языковой стандарт по умолчанию, используемый для синтаксического анализа данных во время приема, использует "DD/MM/ГГГГ". В результате "8 декабря 2023 года" показано, как "12 августа 2023 года".

Решение

Чтобы исправить неправильный формат, обновите исходные данные и повторное прием.
Чтобы исправить неправильный языковой стандарт, измените тип всех полей даты и времени, чтобы использовать правильный языковой стандарт с помощью типа>"Изменение" с помощью языкового стандарта в преобразованиях Power Query. Например:

Дополнительные сведения см. в разделе "Языковой стандарт документа или проекта".

Поделиться через