Solución de errores de ingesta o datos dañados

Artículo
11/20/2024

Nota:

El 1 de septiembre de 2023, nos fusionamos y cambiamos el nombre de Dynamics 365 Marketing y Dynamics 365 Customer Insights. Dynamics 365 Marketing se llama ahora Dynamics 365 Customer Insights - Journeys. Dynamics 365 Customer Insights ahora se llama Dynamics 365 Customer Insights - Data. Para obtener más información, consulte Preguntas más frecuentes sobre Dynamics 365 Customer Insights.

En este artículo se presentan motivos comunes para errores de ingesta de datos o datos dañados al usar Azure Data Lake Storage o Power Query en Microsoft Dynamics 365 Customer Insights - Data.

Errores de ingesta o datos dañados con Azure Data Lake Storage

Durante la ingesta de datos, algunas de las razones más comunes por las que un registro puede considerarse corrupto incluyen:

Los tipos de datos y los valores de campo no coinciden entre el archivo de origen y el esquema.
El número de columnas del archivo de origen no coincide con el esquema.
Los campos contienen caracteres que hacen que las columnas estén sesgadas en comparación con el esquema esperado. Por ejemplo, comillas con formato incorrecto, comillas sin escape, caracteres de nueva línea o caracteres con tabulaciones.
Faltan archivos de partición.
datetimeLos campos , dateo datetimeoffset no siguen el formato estándar.

Discrepancia de esquema o tipo de datos

Si los datos no se ajustan al esquema, el proceso de ingesta se completa con errores.

Para solucionar este problema, corrija los datos de origen o el esquema y vuelva a ingerir los datos.

Faltan archivos de partición

Si el proceso de ingesta se realiza correctamente sin registros dañados, pero no puede ver ningún dato, edite el archivo model.json o manifest.json para asegurarse de que se especifican particiones. Luego actualice el origen de datos.
Si la ingesta de datos se produce al mismo tiempo que los orígenes de datos se actualizan durante una actualización automática de la programación, es posible que los archivos de partición estén vacíos o no estén disponibles para el proceso del sistema. Para alinearse con el programa de actualización ascendente, cambie el calendario de actualización del sistema o el programa de actualización para origen de datos. Alinee el tiempo para que las actualizaciones no se produzcan todas a la vez.

Los campos Datetime tienen el formato incorrecto

Los datetime campos de la tabla no están en el formato ISO 8601 o en-US . El formato predeterminado datetime en Dynamics 365 Customer Insights: los datos son en-US. Todos los datetime campos de una tabla deben tener el mismo formato. Customer Insights admite otros formatos que se proporcionan anotaciones o rasgos en el nivel de origen o tabla del modelo o manifest.json. Por ejemplo:

Model.json

  "annotations": [
    {
      "name": "ci:CustomTimestampFormat",
      "value": "yyyy-MM-dd'T'HH:mm:ss:SSS"
    },
    {
      "name": "ci:CustomDateFormat",
      "value": "yyyy-MM-dd"
    }
  ]

En un archivo manifest.json , el datetime formato se puede especificar en el nivel de tabla o en el nivel de atributo. En el nivel de tabla, use "exhibitsTraits" en la tabla en *.manifest.cdm.json para definir el datetime formato. En el nivel de atributo, use "appliedTraits" en el atributo en tablename.cdm.json.

Manifest.json a nivel de tabla

"exhibitsTraits": [
    {
        "traitReference": "is.formatted.dateTime",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd'T'HH:mm:ss"
            }
        ]
    },
    {
        "traitReference": "is.formatted.date",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd"
            }
        ]
    }
]

table.json en el nivel de atributo

   {
      "name": "PurchasedOn",
      "appliedTraits": [
        {
          "traitReference": "is.formatted.date",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-dd"
            }
          ]
        },
        {
          "traitReference": "is.formatted.dateTime",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-ddTHH:mm:ss"
            }
          ]
        }
      ],
      "attributeContext": "POSPurchases/attributeContext/POSPurchases/PurchasedOn",
      "dataFormat": "DateTime"
    }

Errores de ingesta o datos dañados con Power Query

Los valores datetime se analizan incorrectamente o se produce un error de análisis.

La discrepancia de tipo de datos más común ocurre cuando un campo de fecha no se establece en el formato de fecha correcto. Esta falta de coincidencia puede deberse a los datos de origen con formato incorrecto o a una configuración regional incorrecta.

Síntomas del problema incorrecto de configuración regional:

Cuando la configuración regional utilizada no puede analizar los datos de origen, se produce un error de ingesta. Por ejemplo, si "29/08/2023" se analiza con "MM/DD/AAAA", se produce un error en la ingesta porque no puede analizar el mes 29.
Cuando los datos de origen se analizan correctamente mediante una configuración regional incorrecta, los valores datetime son incorrectos. Por ejemplo, los datos de origen tienen el formato "MM/DD/AAAA", mientras que la configuración regional predeterminada usada para analizar los datos durante la ingesta usa "DD/MM/AAAA". Como resultado, "8 de diciembre de 2023" se ingiere como "12 de agosto de 2023".

Solución

Para corregir un formato incorrecto, actualice los datos de origen y vuelva a ingerirlos.
Para corregir una configuración regional incorrecta, cambie el tipo de todos los campos datetime para usar la configuración regional correcta mediante Cambiar tipo>Mediante configuración regional en las transformaciones de Power Query. Por ejemplo:

Para obtener más información, consulte Configuración regional de documentos o proyectos.

Compartir a través de