Supervisión de la población del mapa de datos en Microsoft Purview
En Microsoft Purview, puede examinar varios tipos de orígenes de datos y ver el estado del examen con el tiempo. También puede conectar otros servicios con Microsoft Purview y ver las tendencias de los recursos o relaciones ingeridos. En este artículo se describe cómo supervisar y obtener una vista ocular de la población del mapa de datos.
Supervisar ejecuciones de exámenes
Abra el portal de gobernanza de Microsoft Purview:
- Vaya directamente a https://web.purview.azure.com la cuenta de Microsoft Purview y selecciónela.
- Abra el Azure Portal, busque y seleccione la cuenta de Microsoft Purview. Seleccione el botón del portal de gobernanza de Microsoft Purview .
Abra la cuenta de Microsoft Purview y seleccione Mapa de datos ->Supervisión. Debe tener el rol de administrador de origen de datos en cualquier colección para acceder a esta página. Y puede ver las ejecuciones de examen que pertenecen a las colecciones en las que tiene privilegios de administrador del origen de datos.
Los KPI de alto nivel muestran el total de ejecuciones de examen en un período. El período de tiempo es predeterminado en los últimos 30 días, también puede elegir seleccionar los últimos siete días. En función del filtro de tiempo seleccionado, puede ver que la distribución de correcta, completada con excepciones, error, cancelada y en curso se ejecuta por semana o por día en el gráfico. Es el estado de ejecución de examen de un extremo a otro, incluidas las fases de detección e ingesta. Obtenga más información sobre los detalles de estado en la sección detalles de la ejecución del examen .
En la parte inferior del gráfico, hay un vínculo Ver más para que pueda explorar más. El vínculo abre la página Estado del examen . Aquí puede ver un nombre de examen y el número de veces que tiene el estado correcto, completado con excepciones, error o cancelación en el período de tiempo. También puede filtrar la lista por tipos de origen.
Puede explorar aún más un examen específico seleccionando el nombre del examen. Se conecta a la página del historial de exámenes, donde puede encontrar la lista de ejecuciones de examen con más detalles de ejecución.
Puede hacer clic en el identificador de ejecución para obtener más información sobre los detalles de la ejecución del examen.
Limitaciones conocidas:
Actualmente, esta experiencia de supervisión no incluye la siguiente información. Puede comprobar los detalles correspondientes de la ejecución del examen.
- No se tratan las ejecuciones de análisis de extracción de linaje para Azure SQL Database.
- En el caso de los exámenes del área de trabajo de Azure Synapse Analytics, la suscripción o el grupo de recursos de Azure y la cuenta de AWS, solo captura el estado o el recuento de la ejecución del examen primario, pero no las ejecuciones de exámenes secundarios por recurso.
Detalles de la ejecución del examen
Puede navegar para examinar el historial de ejecución de un examen determinado desde diferentes lugares:
- Vaya a Mapa de datos ->Supervisión como se describe en la sección Supervisión de ejecuciones de examen.
- Vaya a Mapa de datos ->Orígenes -> seleccione el origen de datos deseado -> vea Exámenes, Exámenes recientes o Exámenes con errores recientes.
- Vaya a Mapa de datos ->Colecciones -> seleccione la colección deseada ->Exámenes -> seleccione el nombre del examen que desea ver más.
La retención del historial de ejecución del examen es de 90 días.
Puede hacer clic en el identificador de ejecución para obtener más información sobre los detalles de la ejecución del examen:
En la sección superior se proporciona información general sobre la ejecución del examen, incluida la siguiente información:
- Id. de ejecución: GUID que se usa para identificar esta ejecución de examen determinada.
- Tipo de examen: examen manual o programado.
- Tipo de ejecución: examen completo o incremental.
- Conjunto de reglas de examen: conjunto de reglas de examen utilizado en la ejecución, si procede.
- Estado de ejecución del examen: estado general del examen. Combina la detección de metadatos y el estado de las fases de ingesta.
- Duración de la ejecución del examen: la duración de la ejecución de un extremo a otro y la hora de inicio y finalización.
La sección de detección de metadatos resume las métricas de la fase de detección que Purview conecta al origen, extrae los metadatos o linaje y clasifica los datos.
Estado de detección:
Estado Descripción Completado La detección de metadatos se realiza correctamente. Completado con excepciones La detección de metadatos se completa, mientras que se produce un error en alguna operación subyacente que puede provocar que falten recursos, metadatos o clasificación en el resultado del examen. Puede ver los detalles en los registros de excepciones. Error Se produce un error en la detección de metadatos. Para comprobar los detalles del error, haga clic en el vínculo "Más información" situado junto a él. Cancelado El usuario cancela la ejecución del examen. En curso La detección de metadatos se está ejecutando en curso. En cola La detección de metadatos está esperando el recurso de Integration Runtime disponible.
Si usa integration runtime autohospedado, tenga en cuenta que cada nodo puede ejecutar una serie de exámenes simultáneos al mismo tiempo en función de la especificación del equipo (CPU y memoria). Hay más exámenes en estado en cola.Sofocada Se está limitando la detección de metadatos. Esto significa que esta cuenta de Microsoft Purview en este momento tiene más ejecuciones de examen en curso que el número máximo de simultáneos permitido. Obtenga más información sobre el límite aquí. Esta ejecución de examen en particular está en espera y se ejecutará una vez que finalicen los demás exámenes en curso. La ejecución del examen no se cobra durante el estado "Limitado" o "En cola".
Activos detectados: el número de recursos enumerados desde el origen. Para los exámenes completos e incrementales, incluye todos los recursos del ámbito configurado, independientemente de si son recursos existentes o recursos recién creados o actualizados desde la última ejecución del examen. Mientras que para el examen incremental, los metadatos detallados solo se extraen para los recursos recién creados o actualizados, además.
Activos clasificados: el número de recursos muestreados para clasificar los datos, independientemente de si los recursos tienen o no una clasificación coincidente. Es un subconjunto de los recursos detectados en función del mecanismo de muestreo. Para el examen incremental, solo se pueden seleccionar los recursos recién creados o actualizados para la clasificación.
Duración: la duración de la fase de detección y la hora de inicio y finalización.
En la sección ingesta de metadatos se resumen las métricas de la fase de ingesta que Purview rellena el mapa de datos con los metadatos y la relación identificados.
Estado de ingesta:
Estado Descripción Completado Todos los recursos y relaciones se ingieren correctamente en el mapa de datos. Completado con excepciones (anterior "Parcialmente completado") Parcialmente, los recursos y las relaciones se ingieren correctamente en el mapa de datos, mientras que algunos producen errores. Puede ver los detalles en los registros de excepciones. Error Se produce un error en la fase de ingesta. Cancelado El usuario cancela la ejecución del examen, por lo que la ingesta se cancela a lo largo de. En curso La ingesta se está ejecutando en curso. En cola La ingesta está esperando el recurso de servicio disponible o esperando a que el examen detecte metadatos. Activos ingeridos: el número de recursos ingeridos en el mapa de datos. Para el examen incremental, solo incluye los recursos recién creados o actualizados, en cuyo caso puede ser menor que el recuento de "recursos detectados". Al examinar el origen basado en archivos, es el recuento de recursos sin procesar antes de la agregación del conjunto de recursos.
Relaciones ingeridas: el número de relaciones ingeridas en el mapa de datos. Incluye linaje y otras relaciones como relaciones de clave externa.
Duración: la duración de la ingesta y la hora de inicio y finalización.
Ver el registro de excepciones (versión preliminar)
Importante
Esta característica está actualmente en versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen términos legales adicionales que se aplican a las características de Azure que están en versión beta, en versión preliminar o que aún no se han publicado en disponibilidad general.
Cuando algunos recursos o relaciones no se detectan desde el origen o no se pueden ingerir en el mapa de datos durante la ejecución del examen. Por ejemplo, el estado termina como completado con excepciones, puede:
- Seleccione el examen.
- Seleccione el identificador de ejecución de un examen con errores o excepciones.
- Seleccione el botón Descargar registro en el panel de detalles de la ejecución del examen . Proporciona los archivos de registro de excepciones que capturan los detalles de los errores.
Registro de fase de detección
En la tabla siguiente se muestra el esquema de un archivo de registro de fase de detección.
| Columna | Descripción |
|---|---|
| TimeStamp | Marca de tiempo UTC cuando se produce la operación de detección. |
| ErrorCode | Código de error de la excepción. |
| OperationName | Contiene los siguientes valores: - Enumerar: indica la operación de enumerar los objetos secundarios en un ámbito determinado, por ejemplo, enumerar las carpetas o archivos de un contenedor, enumerar las tablas de una base de datos. Cuando se produce un error, los objetos secundarios del elemento de operación no se incluyen en el resultado del examen. - GetMetadata: indica la operación de extraer los metadatos de un objeto, por ejemplo, tabla, archivo, etc. Cuando se produce un error, es posible que el recurso del elemento de operación no contenga metadatos completos. - SampleResourceSet: indica la operación de muestreo del archivo más reciente que coincide con el patrón del conjunto de recursos al examinar orígenes de datos basados en archivos. Cuando se produce un error, el conjunto de recursos al que pertenece el elemento de operación puede perder la clasificación o el esquema. - ReadData: indica la operación de recuperar datos de ejemplo del origen. Cuando se produce un error, el elemento de operación no se clasifica. Si es un origen basado en archivos, también puede perder el esquema. - Clasificar: indica la operación de aplicar las clasificaciones. Cuando se produce un error, el elemento de operación puede perder la clasificación. - GenerateAsset: indica la operación de convertir los metadatos detectados en un recurso de Microsoft Purview. Cuando se produce un error, normalmente debido a un error del sistema, el recurso del elemento de operación no aparece finalmente en el mapa de datos. |
| OperationItem | Identificador del recurso o relación con errores, normalmente con el nombre completo. |
| Mensaje | Más información sobre qué recurso o relación no se pudo detectar debido a qué motivo. |
Limitaciones conocidas:
- El registro de fase de detección se admite cuando se usa Azure Integration Runtime o Managed Virtual Network integration runtime para el examen.
- El registro de fase de detección se admite al examinar orígenes de datos de Azure o Power BI.
- Actualmente, es posible que no capture todas las excepciones que se produjeron durante la ejecución del examen.
Registro de fase de ingesta
En la tabla siguiente se muestra el esquema de un archivo de registro de fase de ingesta.
| Columna | Descripción |
|---|---|
| TimeStamp | Marca de tiempo UTC cuando se produce la operación de ingesta. |
| ErrorCode | Código de error de la excepción. |
| OperationItem | Identificador del recurso o relación con errores, normalmente con el nombre completo. |
| Mensaje | Más información sobre qué recurso o relación no se pudo ingerir debido a qué motivo. Si hay un error de ingesta para el conjunto de recursos, puede aplicarse a varios recursos que coincidan con el mismo patrón de nomenclatura y el mensaje incluye el recuento afectado. |
Supervisión de vínculos
Puede conectar otros servicios con Microsoft Purview para establecer un "vínculo", lo que hace que los metadatos y el linaje de los recursos de ese servicio estén disponibles para Microsoft Purview. Actualmente, el vínculo es compatible con Azure Data Factory y Azure Synapse Analytics.
Para supervisar los recursos y la relación ingeridos a través de los vínculos:
Vaya a su cuenta de Microsoft Purview:> abra el portal de gobernanza de Microsoft Purview ->Mapa de datos ->Supervisión ->Vínculos. Debe tener el rol de administrador de origen de datos en cualquier recopilación para acceder a la pestaña Supervisión. Y puede ver los resultados que pertenecen a las colecciones en las que tiene privilegios de administrador del origen de datos. Se necesita permiso para la recopilación raíz para supervisar los vínculos de Azure Data Factory y Azure Synapse Analytics.
Puede ver los KPI de alto nivel, incluido el número total de orígenes, el número de recursos ingeridos y la relación (linaje), seguidos de gráficos de tendencias a lo largo del tiempo. Puede aplicar más filtros a lo siguiente para restringir los resultados:
- Tipo de origen
- Nombre de origen
- Intervalo de fechas: el valor predeterminado es de 30 días. También puede elegir los últimos siete días o un intervalo de fechas personalizado. La retención es de 45 días.
Las métricas se notifican hasta la fecha y hora que se muestra en la esquina superior derecha. Y la agregación se produce cada hora.
En la parte inferior del gráfico, hay un vínculo Ver más para que pueda explorar más. En la página Estado de vínculo , puede ver una lista de nombres de origen junto con el tipo de origen, los recursos ingeridos, la relación ingerida y la hora de la última fecha de ejecución. Los filtros de la página anterior se transfieren y puede filtrar aún más la lista por tipo de origen, nombre de origen y intervalo de fechas.
Puede explorar en profundidad cada origen para ver los detalles del siguiente nivel haciendo clic en el nombre de origen. Por ejemplo, para Azure Data Factory, muestra cómo cada actividad de canalización notifica los recursos y la relación con Microsoft Purview, con el nombre en el formato de
<pipeline_name>/<activity_name>.
Limitaciones conocidas
- Para Azure Data Factory y Azure Synapse Analytics, actualmente esta supervisión de vínculos captura los recursos y la relación generados a partir de la actividad de copia, pero no el flujo de datos y las actividades de SSIS.
- La agregación y el filtro de fecha están en hora UTC.
Los exámenes ya no se ejecutan
Si el examen de Microsoft Purview se usó para ejecutarse correctamente, pero ahora se produce un error, compruebe lo siguiente:
- Compruebe primero el mensaje de error para ver los detalles del error.
- ¿Han cambiado las credenciales del recurso o se han girado? Si es así, debe actualizar para que el examen use las credenciales correctas.
- ¿Es un Azure Policy impedir las actualizaciones de las cuentas de Almacenamiento? Si es así, siga la guía de etiquetas de excepción de Microsoft Purview para crear una excepción para las cuentas de Microsoft Purview.
- ¿Usa un entorno de ejecución de integración autohospedado? Compruebe que está actualizado con el software más reciente y que está conectado a la red.