Secção 2: Configurar e registar os seus dados
Observação
O Catálogo de Dados do Microsoft Purview está a alterar o nome para Catálogo Unificado do Microsoft Purview. Todas as funcionalidades permanecerão iguais. Verá o nome mudar quando a nova experiência de Governação de Dados do Microsoft Purview estiver geralmente disponível na sua região. Verifique o nome na sua região.
Se não tiver origens de dados disponíveis para análise, pode seguir estes passos para implementar totalmente um exemplo do Azure Data Lake Stroage (ADLS Gen2).
Dica
Se já tiver uma origem de dados no mesmo inquilino que a sua conta do Microsoft Purview, avance para a próxima parte desta secção para analisar os seus recursos.
Num imobiliário, encontra muitos sistemas diferentes em utilização para diferentes aplicações de dados. Existem ambientes de relatórios como Recursos de Infraestrutura e Snowflake onde as equipas utilizam cópias de dados para criar soluções analíticas e alimentar os seus relatórios e dashboards. Existem sistemas de dados operacionais que alimentam as equipas ou os clientes das aplicações para concluir processos empresariais que recolhem ou adicionam dados com base nas decisões tomadas durante o processo.
Para criar um património de dados mais realista, a recomendação é mostrar muitas origens de dados no catálogo, que podem abranger a amplitude de utilizações de dados diferentes que qualquer empresa possa ter. Os tipos de dados necessários para alimentar um caso de utilização podem ser muito diferentes com os utilizadores empresariais que precisam de relatórios e dashboards, os analistas precisam de dimensões e factos em conformidade para criar relatórios, cientistas de dados ou engenheiros de dados precisam de dados de origem não processados provenientes diretamente do sistema que recolhe todos estes dados e mais permitem que diferentes utilizadores vejam a importância de encontrar, compreender e aceder a dados no mesmo local.
Para outros tutoriais para adicionar dados ao seu património, pode seguir estes guias:
- Tutorial do Fabric Lakehouse – fornece a base de um ambiente de relatórios
- base de dados do SQL do Azure (Exemplo) – fornece um exemplo bem estruturado de um arquivo de dados operacional
Pré-requisitos
- Subscrição no Azure: Criar a Sua Conta Gratuita do Azure Hoje
- Microsoft Entra ID do seu inquilino: Microsoft Entra ID Governance
- Uma Conta do Microsoft Purview
- Administração acesso à conta do Microsoft Purview (esta é a predefinição se tiver criado a conta do Microsoft Purview. Permissões na nova pré-visualização do portal do Microsoft Purview | Microsoft Learn)
- Todos os recursos; O Microsoft Purview, a sua origem de dados e Microsoft Entra ID têm de estar no mesmo inquilino da cloud.
Passos para configurar o seu património de dados
Criar e preencher uma conta de armazenamento
- Siga este guia para criar uma conta de armazenamento: Criar uma conta de armazenamento para Azure Data Lake Storage Gen2
- Crie contentores para o seu novo data lake:
- Navegue para a página Descrição geral da nossa Conta de Armazenamento.
- Selecione o separador Contentores na secção Armazenamento de dados.
- Selecione o botão + Contentor
- Atribua o nome "bronze" e selecione o botão Criar
- Repita estes passos para criar um contentor "gold"
- Transfira alguns dados CSV de exemplo do data.gov: Vacinação Covid-19 E Tendências de Casos por Grupo Etário, Estados Unidos
- Carregue o CSV para o contentor com o nome "bronze" na conta de armazenamento que criou.
- Selecione o contentor com o nome "bronze" e selecione o botão Carregar .
- Procure a localização onde guardou o CSV e selecione o ficheiro covid-19_Vaccination_Case _Trends .
- Selecione Carregar.
Criar um Azure Data Factory
Este passo irá demonstrar como os dados se movem entre camadas de um data lake de medalhão e garantir que os dados estão num formato padronizado que os consumidores esperam utilizar. Este é um passo de pré-requisito para executar a Qualidade dos Dados.
Siga este guia para criar um Azure Data Factory: Criar um Azure Data Factory
Copie os dados do CSV no contentor "bronze" para o contentor "gold" como uma tabela de formato Delta com este guia de Azure Data Factory: Transformar dados com um fluxo de dados de mapeamento
Abra a experiência Azure Data Factory (ADF) a partir do portal do Azure ao selecionar o botão Iniciar estúdio no separador Descrição geral do recurso do ADF criado.
Selecione o separador Autor no estúdio do ADF.
Selecione o + botão e escolha Fluxo de dados no menu pendente.
Atribua o nome "CSVtoDeltaC19VaxTrends" ao fluxo de dados.
Selecione Adicionar Origem na caixa vazia.
Defina Definições de origem como:
- Nome do fluxo de saída: "C19csv"
- Descrição: deixe em branco
- Tipo de origem: Inline
- Tipo de conjunto de dados inline: Texto Delimitado
- Serviço Ligado: selecione o data lake onde armazenou o csv
Defina opções de Origem como:
- Modo de ficheiro: Ficheiro
- Caminho do ficheiro: /bronze/ Covid-19_Vaccination_Case _Trends
- Não permitir ficheiros encontrados: deixe desmarcado
- Captura de dados alterados: deixar desmarcada
- Tipo de compressão: Nenhum
- Codificação: Predefinição(UTF-8)
- Delimitador de colunas: Vírgula (,)
- Delimitador de linhas: Predefinição(\r, \n ou\r\n)
- Caráter de aspas: aspas duplas (")
- Caráter de escape: Barra invertida ()
- Primeira linha como cabeçalho: SELECIONADO
- Deixe o resto como predefinições
Selecione o pequeno + Junto à origem criada e selecione Sink
Crie o sink onde o formato e a localização dos dados a armazenar para mover os dados de um csv em "bronze" para uma tabela delta em "gold".
- Defina os valores sink (deixe todas as definições como predefinição, a menos que seja especificado)
- Tipo de sink: Inline
- Tipo de conjunto de dados inline: Delta
- Serviço ligado: o mesmo data lake utilizado na origem, porque vamos armazenar num contentor diferente.
Defina os Valores de definição (deixe todas as definições como predefinição, a menos que seja especificado)
- Caminho da pasta: Gold/Covid19 Vaccine and Case Trends
Tem de introduzir o valor porque este nome é a forma como queremos que os dados sejam armazenados e não existem para selecionar.
Selecione Validar, esta ação verifica o fluxo de dados e fornece instruções para corrigir eventuais erros.
Selecione Publicar tudo.
Selecione o + botão e selecione pipeline no menu pendente
Atribua o nome "CSV ao Delta C19 Vax Trends" ao pipeline
Selecione o fluxo de dados criado nos passos anteriores CSV para Delta (C19VaxTrends) e arraste e largue-o no separador de pipeline aberto.
Selecione Validar
Selecione Publicar
Selecione Depurar (utilizar o runtime de atividade) para executar o pipeline.
Dica
Se ocorrerem erros em espaços ou carateres inadequados para o formato delta: abra o CSV transferido e faça correções. Em seguida, recarregue e substitua o CSV na zona de bronze. Em seguida, volte a executar o pipeline.
Navegue para o contentor gold no data lake e deverá agora ver a nova tabela Delta criada durante o pipeline.
Analisar os recursos
Se ainda não analisou recursos de dados no seu Mapa de Dados do Microsoft Purview, pode seguir estes passos para preencher o mapa de dados.
A análise de origens no seu património de dados recolherá automaticamente os metadados dos recursos de dados (tabelas, ficheiros, pastas, relatórios, etc.) nessas origens. Ao registar uma origem de dados e ao criar a análise, estabelece a propriedade técnica sobre as origens e recursos que são apresentados no catálogo e garante que tem controlo sobre quem pode aceder aos metadados no Microsoft Purview. Ao registar e armazenar origens e recursos ao nível do domínio, serão armazenados no nível mais elevado da hierarquia de acesso. Normalmente, é melhor criar algumas coleções onde irá analisar os metadados do recurso e estabelecer a hierarquia de acesso correta para esses dados.
-
Forneça acesso de leitor para a Identidade Gerida (MSI) do Microsoft Purview ao data lake ou a outro arquivo de dados.
Dica
O MSI é o nome da conta da instância do Microsoft Purview.
Se optou por utilizar o Microsoft Fabric ou o SQL, pode utilizar estes guias para fornecer acesso:
Registar o data lake e analisar os seus recursos
No Mapa de Dados do Microsoft Purview no separador domínios, selecione as Atribuições de funções para o domínio (será o nome da conta do Microsoft Purview):
- Adicione-se como administrador da origem de dados e curador de dados ao domínio.
- Selecione o ícone de pessoa junto à função Administrador da origem de dados.
- Pesquise o seu nome tal como está no Microsoft Entra ID (pode exigir que introduza o seu nome completo escrito exatamente como está no Microsoft Entra ID).
- Selecione OK.
- Repita estes passos para o curador de dados.
- Adicione-se como administrador da origem de dados e curador de dados ao domínio.
Registar o data lake:
- Selecione o separador Origens de dados .
- Selecione Registrar.
- Selecione o tipo de armazenamento Azure Data Lake Storage Gen2.
Indique os detalhes para ligar:
- Subscrição (opcional)
- Nome da Origem de Dados (este será o nome da origem do ADLS Gen2)
- Coleção onde os metadados de recursos devem ser armazenados (opcional)
- Selecione Registar
Assim que o registo da origem de dados estiver concluído, pode configurar a análise. O registo significa que o Microsoft Purview está ligado à origem de dados e colocou-o na coleção correta para propriedade. Em seguida, a análise irá ler os metadados da origem e preencher os recursos no mapa de dados.
Selecione a origem que registou no separador origens de dados
Selecione nova análise e forneça os detalhes:
- Utilizar o runtime de integração predefinido para esta análise
- A credencial deve ser MICROSOFT Purview MSI (sistema)
- O nível de análise é Deteção Automática
- Selecione uma coleção ou utilize o domínio (a coleção tem de ser a mesma coleção ou coleção subordinada do local onde a origem de dados foi registada)
- Selecione Continuar
Dica
Neste momento, o Microsoft Purview irá testar a ligação para validar uma análise. Se não tiver concedido acesso ao leitor MSI do Microsoft Purview na origem de dados, este falhará. Se não for o proprietário da origem de dados ou tiver acesso de utilizador contribuidor a análise falhará, uma vez que espera ter autorização para criar a ligação.
Agora, selecione apenas o contentor "gold" onde colocámos a tabela delta na secção building data do tutorial. Isto impedirá a análise de quaisquer outros recursos de dados que estejam no arquivo de dados.
- Se tiver apenas um marcar azul junto a ouro, pode deixar verificações junto a tudo, uma vez que analisará a origem completa e ainda criará os recursos que iremos utilizar e muito mais.
- Selecione Continuar
No ecrã selecionar um conjunto de regras de análise, deve utilizar o conjunto de regras de análise predefinido.
Selecione Continuar
Ao definir um acionador de análise, irá definir a frequência da análise para que, à medida que continuar a adicionar recursos de dados ao contentor dourado do lago, continue a preencher o mapa de dados. Selecione Uma Vez.
Selecione Continuar.
Selecione Guardar e Executar. Esta ação irá criar uma análise que só irá ler os metadados do contentor dourado do data lake e preencher a tabela que iremos utilizar na Catálogo de Dados do Microsoft Purview nas secções seguintes. Se selecionar guardar apenas, este não executará a análise e não verá os recursos. Assim que a análise estiver em execução, verá a análise que criou com uma Última execução status de Colocação em Fila. Quando a leitura da análise estiver concluída, os recursos estão prontos para a secção seguinte. Esta operação pode demorar alguns minutos ou horas consoante o número de recursos que tem na sua origem.