Solución de problemas de calidad de datos

Nota:

El Catálogo de datos de Microsoft Purview está cambiando su nombre a Catálogo unificado de Microsoft Purview. Todas las características permanecerán iguales. Verá el cambio de nombre cuando la nueva experiencia de gobernanza de datos de Microsoft Purview esté disponible con carácter general en su región. Compruebe el nombre en su región.

Todas las preguntas, síntomas de errores se describen con una posible resolución a continuación:

Por qué veo un error de origen no válido en el trabajo de análisis.

• Puede haber dos razones por las que vea este error:
  • La tabla delta no existe en la ubicación
  • Los datos del archivo no están en un formato delta válido.

Estoy configurando exámenes de calidad de datos para las tablas delta de Fabric. Veo todos los recursos de datos en la vista de calidad de datos, seleccioné un recurso y aplicó reglas para el examen de calidad de datos, pero el examen no se realiza correctamente.

• Puede haber varias razones por las que se produce un error en el examen de la calidad de los datos:
  • Los datos de las tablas no tienen el formato delta correcto. Asegúrese de que los datos están en formato delta.
  • Asegúrese de que el examen del mapa de datos se ejecutó correctamente, si no es así, vuelva a ejecutar el examen del mapa de datos.
  • Elimine las ejecuciones de calidad de datos anteriores para el recurso de datos.

Por qué veo este mensaje de error: No se puede usar ninguna conexión. ¿Intentas crear la conexión primero?

• Para generar perfiles de datos o para ejecutar el examen de calidad de datos, primero debe configurar la conexión del origen de datos. Esta alerta desaparece después de crear una conexión de origen de datos.

¿Por qué el recuento total de datos generados por perfiles muestra menos que el número total de mi tabla delta Azure Data Lake Storage Gen2?

• Calidad de datos de Microsoft Purview usa un tamaño de muestra de 1 millón para la generación de perfiles. Este ejemplo se toma aleatoriamente. Si la tabla delta tiene más de un millón de registros, el recuento total no coincidirá.

¿Por qué veo que falta una acción sobre la puntuación de calidad de datos para un producto de datos?, veo la puntuación en el producto de datos al examinar la vista del producto de datos.

• Cuando se creó la acción, no había ninguna puntuación de calidad de datos para ese producto de datos. El examen de calidad de los datos se ejecutó después de crear la acción y publicar la puntuación del producto de datos. Se recomienda cerrar la acción una vez realizada la corrección para evitar confusiones.

La creación de reglas de calidad de datos a partir de "Sugerir reglas" produce un error sobre una columna de "fecha" al intentar agregar las 30 reglas sugeridas

• Esto se debe a que el tipo de datos de esquema es un estado no admitido en la vista de esquema de calidad de datos. Para cambiar el tipo de datos a la fecha , seleccione el botón de alternancia de administración de esquemas y guárdelo. Después de cambiar el tipo de datos, debería poder agregar la regla.

Al intentar agregar todas las reglas sugeridas, se produce un error sobre "ObserverId ya existe".

• Lo más probable es que la misma regla o idéntica ya se haya agregado a una columna. Cuando intenta agregar la misma regla o idéntica a una columna, la aplicación produce este mensaje de error.

¿Por qué mi trabajo programado se omite en lugar de ejecutarse? Veo omitido para trabajos de análisis de calidad de datos

• El trabajo de DQ tiene una funcionalidad para comprobar y ejecutar DQ solo si ha habido cambios desde la última ejecución, que se realiza para comprobar el historial delta. Omitido simplemente significa que no ha habido ningún cambio en los datos desde la última ejecución y no se realiza la ejecución de Spark para DQ. Omitido!= Error

Cuando selecciono la pestaña datos de perfil, veo el número de columnas preseleccionadas. ¿Puedo cambiar las columnas seleccionadas?

• Calidad de datos de Microsoft Purview usa una solución de generación de perfiles asistida por inteligencia artificial. Las columnas preseleccionadas se seleccionan mediante la inteligencia artificial de generación de perfiles de datos de Microsoft Purview. Puede anular la selección de las columnas preseleccionadas y volver a seleccionar en función de la importancia crítica de las columnas y seleccionar Guardar y ejecutar para ejecutar la generación de perfiles.

¿Por qué no puedo seleccionar algunos de los recursos de datos de la página de lista de recursos de calidad de datos para generar perfiles y examinarlos?

• Puede haber algunas razones:
  • Esos recursos de datos se publican desde orígenes de datos no admitidos
  • No se admite el formato de archivo de esos recursos de datos.

¿Por qué se produce un error en el trabajo de generación de perfiles para los orígenes de datos admitidos?

• Compruebe el esquema para asegurarse de que no hay ningún nombre de columna con espacios. La versión actual no admite el nombre de columna con espacios. Nuestros ingenieros están trabajando en para publicar una revisión.

¿Por qué no puedo ejecutar el examen de calidad de datos y la generación de perfiles de datos para archivos CSV, parquet y de texto?

• Calidad de datos de Microsoft Purview actualmente solo admite el formato delta de parquet. Purview Data Quality no admite CSV, texto y parquet (sin delta).

¿Por qué no veo la regla de actualización de calidad de datos en la lista de reglas?

• No se admite la actualización de la calidad de los datos para las tablas de Azure SQL. Si el recurso de datos es una tabla Azure SQL, la regla de actualización no se mostrará para seleccionar y aplicar al recurso de datos.

Error en el trabajo de examen de DQ. Veo un mensaje de error "Error interno del servicio, vuelva a intentarlo o póngase en contacto con el soporte técnico de Microsoft". ¿Qué debo hacer para solucionar problemas?

• Puede haber muchas razones por las que se produce un error en el examen con este mensaje de error:
  • El usuario no está autorizado para realizar la operación actual para el área de trabajo a la que el usuario está intentando acceder para el examen de calidad de datos.
  • Código de error 403, lo que significa que el acceso a los orígenes de datos está prohibido temporalmente.
  • Se ha concedido acceso al origen de datos para la identidad administrada (MSI).
  • La identidad administrada de Purview (MSI) necesita acceso de colaborador al área de trabajo de Microsoft Fabric. Si no se ha proporcionado el acceso de colaborador para msi de Microsoft Purview al área de trabajo de Microsoft Fabric, se produce un error en el examen de calidad de los datos.

¿Por qué recibo un error de formato delta aunque esté usando el formato delta?

• Se admite Spark 3.4 Delta 2.4. Asegúrese de que usa delta lake versión 2.4.

Por qué veo el error cuando seleccioné un recurso de datos de referencia para configurar la regla de búsqueda de tablas

• El motivo es que ha seleccionado un recurso de datos que no forma parte de un producto de datos vinculado o al que se hace referencia en el mismo dominio de gobernanza. Para seleccionar el recurso de datos adecuado:

  • Haga clic en seleccionar tabla de referencia (vea la captura de pantalla siguiente)

    

  • Cancelar la selección actual (vea la captura de pantalla siguiente)

    

  • Después de cancelar la selección actual, seleccione otro recurso.

¿Cómo puedo configurar el acceso al origen de datos para Microsoft Purview MSI?

• Esta es la guía de configuración de MSI. Encontrará los detalles en este documento.

Todos nuestros orígenes de datos están detrás del punto de conexión privado (en la red virtual), ¿Puede Purview acceder a los datos de la red virtual para el examen de la calidad de los datos?

• Sí, Purview admite la red virtual administrada para el examen de DQ. Aquí encontrará el documento de configuración de la red virtual administrada de Purview.

¿Dónde puedo encontrar una buena documentación sobre la función de expresión para crear reglas personalizadas?

• Encontrará las referencias y ejemplos de documentación en la página Regla de calidad de datos.

¿Por qué se produce un error en el examen de DQ para la tabla de Fabric Lakehouse?

• La compatibilidad con el mapa de datos de Purview para fabric Lakehouse está en versión preliminar privada. Es necesario permitir la lista del inquilino de Purview en el mapa de datos de Purview y Fabric One Lake para habilitar el examen DQ de tabla de Fabric Lakehouse con Purview DQ. Póngase en contacto con el equipo de su cuenta de Microsoft para permitir la lista de permitidos del inquilino para el soporte técnico de Fabric Lakehouse.