Solución de problemas de errores de ingesta o datos dañados

Artículo
06/03/2024

Nota:

El 1 de septiembre de 2023, combinamos y cambiamos el nombre de Dynamics 365 Marketing y Dynamics 365 Customer Insights. Dynamics 365 Marketing ahora se denomina Dynamics 365 Customer Insights : Recorridos. Dynamics 365 Customer Insights ahora se denomina Dynamics 365 Customer Insights : datos. Para obtener más información, consulte Preguntas más frecuentes sobre Dynamics 365 Customer Insights.

En este artículo se presentan razones comunes para errores de ingesta de datos o datos dañados al usar Azure Data Lake Storage o Power Query en Microsoft Dynamics 365 Customer Insights - Data.

Errores de ingesta o datos dañados con Azure Data Lake Storage

Durante la ingesta de datos, algunas de las razones más comunes por las que un registro puede considerarse dañado son:

Los tipos de datos y los valores de campo no coinciden entre el archivo de origen y el esquema.
El número de columnas del archivo de origen no coincide con el esquema.
Los campos contienen caracteres que hacen que las columnas se sesgar en comparación con el esquema esperado. Por ejemplo, comillas con formato incorrecto, comillas sin escape, caracteres de nueva línea o caracteres con tabulación.
Faltan archivos de partición.
datetime, dateo datetimeoffset los campos no siguen el formato estándar.

Error de coincidencia de esquema o tipo de datos

Si los datos no se ajustan al esquema, el proceso de ingesta se completa con errores.

Para solucionar este problema, corrija los datos de origen o el esquema y vuelva a ingerir los datos.

Faltan archivos de partición

Si el proceso de ingesta se realiza correctamente sin registros dañados, pero no puede ver ningún dato, edite el archivo model.json o manifest.json para asegurarse de que se especifican particiones. A continuación, actualice el origen de datos.
Si la ingesta de datos se produce al mismo tiempo que los orígenes de datos se actualizan durante una actualización de programación automática, los archivos de partición pueden estar vacíos o no están disponibles para el proceso del sistema. Para alinearse con la programación de actualización ascendente, cambie la programación de actualización del sistema o la programación de actualización del origen de datos. Alinee el tiempo para que las actualizaciones no se produzcan a la vez.

Los campos datetime tienen un formato incorrecto

Los datetime campos de la tabla no tienen el formato ISO 8601 o en-US . El formato predeterminado datetime en Dynamics 365 Customer Insights- Data es en-US. Todos los datetime campos de una tabla deben tener el mismo formato. Customer Insights admite otros formatos proporcionados que las anotaciones o rasgos se realizan en el nivel de origen o tabla en el modelo o manifest.json. Por ejemplo:

Model.json

  "annotations": [
    {
      "name": "ci:CustomTimestampFormat",
      "value": "yyyy-MM-dd'T'HH:mm:ss:SSS"
    },
    {
      "name": "ci:CustomDateFormat",
      "value": "yyyy-MM-dd"
    }
  ]

En un archivo manifest.json , el datetime formato se puede especificar en el nivel de tabla o en el nivel de atributo. En el nivel de tabla, use "exhibitsTraits" en la tabla en *.manifest.cdm.json para definir el datetime formato. En el nivel de atributo, use "appliedTraits" en el atributo en tablename.cdm.json.

Manifest.json en el nivel de tabla

"exhibitsTraits": [
    {
        "traitReference": "is.formatted.dateTime",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd'T'HH:mm:ss"
            }
        ]
    },
    {
        "traitReference": "is.formatted.date",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd"
            }
        ]
    }
]

table.json en el nivel de atributo

   {
      "name": "PurchasedOn",
      "appliedTraits": [
        {
          "traitReference": "is.formatted.date",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-dd"
            }
          ]
        },
        {
          "traitReference": "is.formatted.dateTime",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-ddTHH:mm:ss"
            }
          ]
        }
      ],
      "attributeContext": "POSPurchases/attributeContext/POSPurchases/PurchasedOn",
      "dataFormat": "DateTime"
    }

Errores de ingesta o datos dañados con Power Query

Los valores datetime se analizan incorrectamente o se produce un error de análisis.

La falta de coincidencia del tipo de datos más común se produce cuando un campo de fecha no está establecido en el formato de fecha correcto. Esta falta de coincidencia puede deberse a que los datos de origen con formato incorrecto o una configuración regional incorrecta.

Síntomas del problema de configuración regional incorrecta:

Cuando la configuración regional usada no puede analizar los datos de origen, se produce un error de ingesta. Por ejemplo, si "29/08/2023" se analiza con "MM/DD/AAAA", se produce un error en la ingesta porque no puede analizar el mes 29.
Cuando los datos de origen se analizan correctamente mediante una configuración regional incorrecta, los valores datetime son incorrectos. Por ejemplo, los datos de origen tienen el formato "MM/DD/AAAA", mientras que la configuración regional predeterminada que se usa para analizar los datos durante la ingesta usa "DD/MM/AAAA". Como resultado, "8 de diciembre de 2023" se ingiere como "12 de agosto de 2023".

Solución

Para corregir un formato incorrecto, actualice los datos de origen y vuelva a ingerir.
Para corregir una configuración regional incorrecta, cambie el tipo de todos los campos datetime para usar la configuración regional correcta mediante Cambiar tipo>mediante la configuración regional en las transformaciones de Power Query. Por ejemplo:

Para obtener más información, vea Configuración regional de documentos o proyectos.

Compartir a través de