Monitorizar a população de mapas de dados no Microsoft Purview
No Microsoft Purview, pode analisar vários tipos de origens de dados e ver a análise status ao longo do tempo. Também pode ligar outros serviços ao Microsoft Purview e ver as tendências dos recursos/relações ingeridos. Este artigo descreve como monitorizar e obter uma visão geral da população do mapa de dados.
Monitorar execuções de verificação
Abra o portal de governação do Microsoft Purview ao:
- Navegue diretamente para https://web.purview.azure.com e selecione a sua conta do Microsoft Purview.
- Abrir o portal do Azure, procurar e selecionar a conta do Microsoft Purview. Selecionar o botão portal de governação do Microsoft Purview .
Abra a sua conta do Microsoft Purview e selecione Mapa de dados ->Monitorização. Tem de ter a função de administrador da Origem de dados em qualquer coleção para aceder a esta página. Além disso, pode ver as execuções de análise que pertencem às coleções nas quais tem privilégios de administrador da origem de dados.
Os KPIs de alto nível mostram o total de execuções de análise num período. O período de tempo é predefinido nos últimos 30 dias. Também pode optar por selecionar os últimos sete dias. Com base no filtro de tempo selecionado, pode ver a distribuição de com êxito, concluída com exceções, com falhas, cancelada e em curso, a análise é executada por semana ou por dia no gráfico. É a execução de análise ponto a ponto status incluindo as fases de deteção e ingestão. Saiba mais sobre os detalhes status na secção detalhes da execução de análise.
Na parte inferior do gráfico, existe uma ligação Ver mais para explorar mais. A ligação abre a página analisar status. Aqui, pode ver um nome de análise e o número de vezes que status de com êxito, concluído com exceções, com falhas ou cancelado no período de tempo. Também pode filtrar a lista por tipos de origem.
Pode explorar ainda mais uma análise específica ao selecionar o nome da análise. Liga-o à página do histórico de análises, onde pode encontrar a lista de execuções de análise com mais detalhes de execução.
Pode clicar no ID de execução para marcar mais informações sobre os detalhes da execução da análise.
Limitações conhecidas:
Atualmente, esta experiência de monitorização não inclui as seguintes informações. Pode marcar os detalhes da execução da análise correspondente.
- As execuções de análise de extração de linhagem para SQL do Azure Base de Dados não estão abrangidas.
- Para análises da área de trabalho do Azure Synapse Analytics, da subscrição/grupo de recursos do Azure e da conta do AWS, apenas captura a status/contagem da execução da análise principal, mas não as execuções de análise subordinadas" por recurso.
Analisar detalhes da execução
Pode navegar para analisar o histórico de execuções de uma determinada análise a partir de locais diferentes:
- Aceda a Mapa de dados –>Monitorização, conforme descrito na secção Monitorizar execuções de análise.
- Aceda a Mapa de dados ->Origens -> selecione a origem de dados pretendida -> veja Análises, Análises recentes ou Análises recentes falhadas.
- Aceda a Mapa de dados –>Coleções –> selecione a coleção pretendida –>Análises –> selecione o nome da análise que pretende ver mais.
A retenção do histórico de execuções de análise é de 90 dias.
Pode clicar no ID de execução para marcar mais informações sobre os detalhes da execução da análise:
A secção na parte superior fornece uma descrição geral da execução da análise, incluindo as seguintes informações:
- ID de execução: um GUID utilizado para identificar esta execução de análise específica.
- Tipo de análise: análise manual ou agendada.
- Tipo de execução: análise completa ou incremental.
- Conjunto de regras de análise: o conjunto de regras de análise utilizado na execução, se aplicável.
- Execução de análise status: status de análise geral. Combina as fases de deteção e ingestão de metadados status.
- Duração da execução da análise: a duração da execução ponto a ponto e a hora de início/fim.
A secção de deteção de metadados resume as métricas da fase de deteção que o Purview liga à origem, extrai os metadados/linhagem e classifica os dados.
Status de deteção:
Status Descrição Concluído A deteção de metadados é bem-sucedida. Concluído com exceções A deteção de metadados é concluída, enquanto alguma operação subjacente falha que pode causar recursos, metadados ou classificação em falta no resultado da análise. Pode ver os detalhes nos registos de exceções. Falhou A deteção de metadados falha. Pode marcar os detalhes do erro ao clicar na ligação "Mais informações" junto à mesma. Cancelado A execução da análise é cancelada pelo utilizador. Em Curso A deteção de metadados está em execução. Na fila A deteção de metadados está à espera do recurso de runtime de integração disponível.
Se utilizar o runtime de integração autoalojado, tenha em atenção que cada nó pode executar várias análises simultâneas ao mesmo tempo, consoante a especificação do computador (CPU e memória). Existem mais análises no status em fila.Limitado A deteção de metadados está a ser limitada. Significa que, neste momento, esta conta do Microsoft Purview tem mais execuções de análise contínuas do que a contagem máxima de simultâneos permitida. Saiba mais sobre o limite aqui. Esta execução de análise específica está em espera e será executada assim que as outras análises em curso estiverem concluídas. A execução da análise não é cobrada durante o status "Limitado" ou "Em fila".
Recursos detetados: o número de recursos enumerados a partir da origem. Para análises completas e incrementais, inclui todos os recursos no âmbito configurado, independentemente de serem recursos existentes ou recursos recentemente criados/atualizados desde a última execução da análise. Durante a análise incremental, os metadados detalhados são extraídos apenas para recursos recentemente criados ou atualizados adicionalmente.
Recursos classificados: o número de recursos amostrados para classificar os dados, independentemente de os recursos terem ou não uma classificação correspondente. É um subconjunto dos recursos detetados com base no mecanismo de amostragem. Para análise incremental, apenas os recursos recentemente criados ou atualizados podem ser selecionados para classificação.
Duração: a duração da fase de deteção e a hora de início/fim.
A secção Ingestão de metadados resume as métricas para a fase de ingestão que o Purview preenche o mapa de dados com os metadados identificados e a relação.
Status de ingestão:
Status Descrição Concluído Todos os recursos e relações são ingeridos no mapa de dados com êxito. Concluído com exceções (anterior "Parcialmente concluído") Parte dos recursos e relações são ingeridos no mapa de dados com êxito, enquanto alguns falham. Pode ver os detalhes nos registos de exceções. Falhou A fase de ingestão falha. Cancelado A execução da análise é cancelada pelo utilizador, pelo que a ingestão é cancelada. Em Curso A ingestão está em execução. Na fila A ingestão está à espera do recurso de serviço disponível ou a aguardar que a análise detete metadados. Recursos ingeridos: o número de recursos ingeridos no mapa de dados. Para análise incremental, inclui apenas os recursos recentemente criados ou atualizados, caso em que pode ser menor do que a contagem de "recursos detetados". Ao analisar a origem baseada em ficheiros, é a contagem de recursos não processados antes da agregação do conjunto de recursos.
Relações ingeridas: o número de relações ingeridas no mapa de dados. Inclui linhagem e outras relações, como relações de chave externa.
Duração: a duração da ingestão e a hora de início/fim.
Ver o registo de exceções (pré-visualização)
Importante
Este recurso está atualmente no modo de visualização. Os Termos de Utilização Suplementares das Pré-visualizações do Microsoft Azure incluem termos legais adicionais que se aplicam às funcionalidades do Azure que estão em versão beta, em pré-visualização ou que ainda não foram lançadas para disponibilidade geral.
Quando alguns recursos ou relações não conseguem detetar a partir da origem ou falham ao ingerir no mapa de dados durante a execução da análise. Por exemplo, status acabar como concluído com exceções, pode:
- Selecione a análise.
- Selecione o ID de execução de uma análise com falhas ou exceções.
- Selecione o botão Transferir registo no painel de detalhes da execução da análise . Fornece-lhe os ficheiros de registo de exceções que capturam os detalhes das falhas.
Registo da fase de deteção
A tabela seguinte mostra o esquema de um ficheiro de registo da fase de deteção.
| Coluna | Descrição |
|---|---|
| TimeStamp | O carimbo de data/hora UTC quando a operação de deteção ocorre. |
| ErrorCode | Código de erro da exceção. |
| OperationName | Contém os seguintes valores: - Enumerar: indica a operação de enumeração dos objetos subordinados num determinado âmbito, por exemplo, listar as pastas/ficheiros num contentor e listar as tabelas numa base de dados. Quando ocorre uma falha, os objetos subordinados do item de operação não são incluídos no resultado da análise. - GetMetadata: indica a operação de extração dos metadados de um objeto, por exemplo, tabela, ficheiro, etc. Quando ocorre uma falha, o elemento do item de operação pode não conter metadados completos. - SampleResourceSet: indica a operação de amostragem do ficheiro mais recente que corresponde ao padrão do conjunto de recursos quando analisa origens de dados baseadas em ficheiros. Quando ocorre uma falha, o conjunto de recursos ao qual o item de operação pertence pode falhar a classificação/esquema. - ReadData: indica a operação de obtenção de dados de exemplo da origem. Quando ocorre uma falha, o item de operação não é classificado. Se for uma origem baseada em ficheiros, também poderá falhar o esquema. - Classificar: indica a operação de aplicação das classificações. Quando ocorre uma falha, o item de operação pode falhar a classificação. - GenerateAsset: indica a operação de conversão dos metadados detetados no recurso do Microsoft Purview. Quando ocorre uma falha, normalmente devido a um erro do sistema, o elemento do item de operação não aparece finalmente no mapa de dados. |
| OperationItem | Identificador do ativo/relação com falha, normalmente utilizando o nome completamente qualificado. |
| Mensagem | Mais informações sobre o recurso/relação que não foi detetado devido a que motivo. |
Limitações conhecidas:
- O registo da fase de deteção é suportado quando utiliza o runtime de integração do Azure ou o Runtime de integração do Managed Rede Virtual para análise.
- O registo da fase de deteção é suportado quando analisa origens de dados do Azure ou do Power BI.
- Atualmente, pode não capturar todas as exceções ocorridas durante a execução da análise.
Registo da fase de ingestão
A tabela seguinte mostra o esquema de um ficheiro de registo da fase de ingestão.
| Coluna | Descrição |
|---|---|
| TimeStamp | O carimbo de data/hora UTC quando a operação de ingestão ocorre. |
| ErrorCode | Código de erro da exceção. |
| OperationItem | Identificador do ativo/relação com falha, normalmente utilizando o nome completamente qualificado. |
| Mensagem | Mais informações sobre o recurso/relação que não ingeriu devido a que motivo. Se existir uma falha de ingestão para o conjunto de recursos, pode aplicar-se a múltiplos recursos que correspondam ao mesmo padrão de nomenclatura e a mensagem inclui a contagem afetada. |
Monitorizar ligações
Pode ligar outros serviços ao Microsoft Purview para estabelecer uma "ligação", que disponibiliza os metadados e a linhagem dos recursos desse serviço ao Microsoft Purview. Atualmente, a ligação é suportada para o Azure Data Factory e o Azure Synapse Analytics.
Para monitorizar os recursos e a relação ingerida através das ligações:
Aceda à sua conta do Microsoft Purview -> abra o portal de governação do Microsoft Purview ->Mapa de dados ->Monitorização ->Ligações. Tem de ter a função de administrador da Origem de dados em qualquer coleção para aceder ao separador Monitorização. Além disso, pode ver os resultados que pertencem às coleções nas quais tem privilégio de administrador de origem de dados. É necessária permissão na coleção de raiz para monitorizar as ligações Azure Data Factory e Azure Synapse Analytics.
Pode ver os KPIs de alto nível, incluindo o número total de origens, o número de recursos ingeridos e a relação (linhagem), seguido de gráficos mais populares ao longo do tempo. Pode aplicar mais filtros no seguinte para restringir os resultados:
- Tipo de origem
- Nome da origem
- Intervalo de datas: a predefinição é de 30 dias. Também pode escolher os últimos sete dias ou um intervalo de datas personalizado. A retenção é de 45 dias.
As métricas são comunicadas até à data e hora apresentada no canto superior direito. E a agregação acontece de hora a hora.
Na parte inferior do gráfico, existe uma ligação Ver mais para explorar mais. Na página Ligação status, pode ver uma lista de nomes de origem juntamente com o tipo de origem, os recursos ingeridos, a relação ingerida e a hora da última execução. Os filtros na página anterior são transportados e pode filtrar ainda mais a lista por tipo de origem, nome de origem e intervalo de datas.
Pode desagregar para cada origem para ver os detalhes do nível seguinte ao clicar no nome da origem. Por exemplo, para Azure Data Factory, mostra como cada atividade de pipeline comunica os recursos e a relação com o Microsoft Purview, com o nome no formato .
<pipeline_name>/<activity_name>
Limitações conhecidas
- Para o Azure Data Factory e o Azure Synapse Analytics, atualmente esta monitorização de ligação captura os recursos e a relação gerados a partir da atividade de cópia, mas não o fluxo de dados e as atividades do SSIS.
- O filtro de agregação e data encontra-se na hora UTC.
As análises já não são executadas
Se a análise do Microsoft Purview tiver sido executada com êxito, mas agora estiver a falhar, marcar estas ações:
- Verifique primeiro a mensagem de erro para ver os detalhes da falha.
- As credenciais do recurso foram alteradas ou rodadas? Se for o caso, terá de atualizar para que a análise utilize as credenciais corretas.
- Um Azure Policy está a impedir atualizações para contas de Armazenamento? Se for o caso, siga o guia de etiquetas de exceção do Microsoft Purview para criar uma exceção para contas do Microsoft Purview.
- Está a utilizar um runtime de integração autoalojado? Verifique se está atualizado com o software mais recente e se está ligado à sua rede.