Master Gerenciamento de Dados with Semarchy (Mestre Gerenciamento de Dados com Semarchy)
Observação
O Catálogo de Dados do Microsoft Purview está a alterar o nome para Catálogo Unificado do Microsoft Purview. Todas as funcionalidades permanecerão iguais. Verá o nome mudar quando a nova experiência de Governação de Dados do Microsoft Purview estiver geralmente disponível na sua região. Verifique o nome na sua região.
As organizações modernas geram grandes quantidades de dados, muitas vezes a partir de várias origens diferentes. A Semarchy Data Platform é o hub de dados inteligente para integração de dados, master gestão de dados (MDM), gestão de dados de referência (RDM), gestão de dados de aplicações (ADM), integração de dados, qualidade e governação. Semarchy Gerenciamento de Dados (xDM) traz uma agilidade extrema para definir e implementar aplicações de gestão de dados e lançá-las para produção.
Esta arquitetura demonstra como incluir o Master Gerenciamento de Dados (MDM) no ecossistema do Azure para permitir qualidade, validação, correspondência, eliminação de duplicados, criação, curadoria e colaboração para os seus recursos de dados críticos.
Arquitetura
A arquitetura seguinte ilustra a arquitetura e o fluxo de dados semarchy xDM.
Fluxo de Dados
Os metadados e o fluxo de dados incluem os seguintes passos:
Integração de dados de origem a partir de sistemas de origem identificados:
- Esta integração utiliza Azure Data Factory, Semarchy xDI (componente de integração de dados do Semarchy) ou a sua solução de integração.
- semarchy xDM expõe pontos finais SQL ou REST para integração em lote e em tempo real.
- Os dados recebidos podem ser criados com a Semarchy xDM Discovery e revistos para ajudar a definir as regras e a estrutura do modelo de dados master.
- Em qualquer altura, os pontos finais REST também podem ser utilizados pelas aplicações para interagir (ler/escrever) com os master dados geridos no xDM e utilizar xDM como respetivos master back-end de dados.
Certificação Automática de Dados
- Os dados são submetidos a um melhoramento, uniformização e validação de qualidade através de uma combinação de regras, plug-ins, modelos de IA (incluindo o Azure Machine Learning e o Azure OpenAI) e serviços de terceiros. o semarchy xDM suporta estes processos de qualidade automatizados com a reciclagem de dados e incorpora correções de utilizador para garantir uma qualidade de dados ideal.
- Os processos de correspondência, intercalação e sobrevivência são realizados automaticamente através da combinação de automatização sofisticada com decisões de utilizador informadas, para produzir registos dourados consolidados precisos e fiáveis.
- Os registos dourados produzidos pela funcionalidade do processo de certificação completam a linhagem para os sistemas de origem, o controlo de alterações do utilizador e a historização opcional. Isto garante a integridade dos dados, a rastreabilidade e o controlo de registos históricos abrangente.
As Aplicações Gerenciamento de Dados personalizadas estão disponíveis para os utilizadores:
- Autenticar através de Microsoft Entra ID,
- Navegue e pesquise dados certificados com rastreabilidade completa em cada fase de certificação, juntamente com a historização abrangente,
- Gerir e organizar dados:
- Os utilizadores podem criar e importar novos dados,
- rever e corrigir erros,
- corresponder e intercalar manualmente registos com opções de substituição,
- e executar eliminações suaves ou duras conforme necessário,
- Colabore com fluxos de trabalho do Data-Driven.
A distribuição de dados dourados para aplicações operacionais e analíticas dos consumidores, como o Azure Synapse Analytics, o Power BI, o Azure Machine Learning e o Azure OpenAI, garante uma integração e utilização ininterruptas entre plataformas:
- Esta integração utiliza Azure Data Factory, Semarchy xDI ou a sua solução de integração.
- O Semarchy xDM fornece pontos finais SQL e REST incorporados e Notificações de Dados para propagação baseada em eventos no Barramento de Serviço do Azure.
Sincronize metadados xDM com o Microsoft Purview para obter visibilidade e linhagem abrangentes de todo o fluxo de dados master.
Componentes
Esta arquitetura envolve os seguintes componentes.
Componentes Principais
- O Semarchy xDM é uma plataforma sem código que permite às equipas de dados desenvolver rapidamente soluções personalizadas de gestão de dados master, oferecendo uma vasta gama de capacidades para ecossistemas de dados complexos.
- A Base de Dados do Azure para SQL Server e PostgreSQL são bases de dados totalmente geridas como um serviço com capacidades incorporadas, como elevada disponibilidade e inteligência. Armazenam os metadados da Semarquia e master os data hubs geridos no xDM. O processamento de dados é realizado na camada da base de dados, garantindo o melhor desempenho e escalabilidade.
- Microsoft Entra ID, para autenticação de utilizador e início de sessão único na plataforma Semarchy.
- O Azure Key Vault é um serviço cloud que fornece armazenamento seguro para segredos. Pode utilizá-la para encriptar, desencriptar e armazenar segredos (palavras-passe, por exemplo) utilizados no xDM.
Componentes de IA
- O Azure Machine Learning é um serviço cloud para acelerar e gerir projetos de machine learning (ML). Semarchy xDM pode utilizar modelos personalizados do Azure Machine Learning nos processos de certificação do hub de dados.
- O Azure OpenAI é um conjunto de serviços de IA que fornece acesso aos poderosos modelos de linguagem da OpenAI. O Semarchy xDM inclui plug-ins incorporados que utilizam estes modelos de linguagem para enriquecer e certificar dados, por exemplo, para geração, resumo ou tradução de conteúdos.
Componentes de Governação
- O Microsoft Purview é uma solução de governação de dados que fornece uma ampla visibilidade sobre os patrimónios de dados no local e na cloud. O Semarchy xDM integra-se com o Microsoft Purview para fornecer informações sobre o Semarchy Data Hubs como produtos de dados e linhagem de dados master ponto a ponto.
Sistemas de Origem e de Consumidor Entre outros, esta arquitetura inclui os seguintes sistemas a partir dos quais recolhe master dados a serem geridos em Semarchy xDM ou para os quais envia dados dourados produzidos pela Semarchy xDM.
- Azure Synapse Analytics é um armazém de dados na cloud rápido, flexível e fidedigno que utiliza uma arquitetura de processamento paralelo em massa. Os Data Hubs da Semarchy atuam como fornecedores de metadados certificados para Azure Synapse.
- O Power BI é um conjunto de análise de negócios que fornece informações em toda a sua organização. Pode utilizar o Power BI para criar dashboards e relatórios sobre as métricas semarchy Discovery e os Hubs de Dados do Semarchy.
Detalhes do Cenário
As iniciativas orientadas por dados, como transformação digital, business intelligence ou projetos de IA, requerem dados precisos e fiáveis. O Gerenciamento de Dados principal é um passo essencial para fornecer estes dados limpo e precisos.
Um caso de utilização comum para uma solução mdm é consolidar master dados de múltiplas origens, ao mesmo tempo que permite a criação e gestão colaborativa deste master dados para servir aplicações analíticas e operacionais com dados dourados.
Conceber aplicações de dados
O Semarchy xDM Gerenciamento de Dados Applications fornece a todos os utilizadores uma experiência personalizada para aceder e gerir os respetivos dados. Através destas aplicações, master registos de dados são apresentados em interfaces totalmente personalizáveis, suportando operações de gestão, criação e gestão de dados. Os utilizadores com diferentes funções e personas colaboram no Data-Driven Fluxos de Trabalho para gerir dados. O poder do Semarchy xDM reside na flexibilidade na conceção das suas aplicações de dados, permitindo-lhes adaptarem-se aos seus domínios, organização e necessidades empresariais.
Integrar e certificar dados de master
Os dados organizados em sistemas de origem externa, como a Gestão de Relações com Clientes (CRM), o Planeamento de Recursos empresariais (ERP) ou outros sistemas (conhecidos como editores) são enviados para os hubs de dados do Semarchy xDM através de uma camada de integração, como Azure Data Factory ou Semarchy xDI.
À medida que as alterações de dados aparecem no data hub, através de carregamentos de dados ou criação, passam por todo o processo de certificação, durante o qual são enriquecidos, padronizados, validados para qualidade de dados e, em seguida, correspondem e intercalam os registos.
Consumir dados do hub
Os dados podem ser emitidos ou consumidos a partir de Semarchy xDM com pontos finais da API REST ou através do SQL. As alterações efetuadas aos dados através do data hub também podem ser propagadas em tempo real para sistemas a jusante através de notificações de dados.
Considerações
A Plataforma de Dados da Semarchy tem várias funcionalidades que abordam os problemas de fiabilidade, segurança, otimização de custos, excelência operacional e eficiência de desempenho. Pode encontrar mais informações sobre a excelência arquitetónica neste artigo sobre os pilares ** das arquiteturas do Azure bem arquitetadas.**
Confiabilidade
A fiabilidade garante que a sua aplicação cumpre as promessas que faz aos seus clientes. Para obter mais informações, veja Descrição geral do pilar de fiabilidade.
O Semarchy xDM é executado nativamente na Base de Dados Serviço de Kubernetes do Azure e SQL do Azure, que oferece capacidades de configuração inicial para suportar a elevada disponibilidade.
Segurança
Proteções de segurança contra ataques intencionais e utilização indevida dos seus valiosos dados e sistemas. Para obter mais informações, consulte Descrição geral da segurança na página do Microsoft Learn.
O Semarchy xDM autentica os utilizadores através da respetiva camada de gestão de identidades que suporta o mapeamento de funções, a pesquisa e a sincronização de perfis. Fornece suporte nativo para vários IDPs, incluindo Microsoft Entra ID. Também inclui funcionalidades de segurança avançadas, como privilégios detalhados para proteger o acesso e as operações.
Eficiência de Desempenho
A eficiência de desempenho é a capacidade do seu sistema de dimensionar e satisfazer eficazmente as necessidades dos utilizadores. Para obter mais informações, veja a página de aprendizagem Eficiência de Desempenho no Microsoft Learn.
O Semarchy xDM é executado nativamente na Base de Dados Serviço de Kubernetes do Azure e SQL do Azure. Pode configurar Serviço de Kubernetes do Azure para aumentar e aumentar verticalmente. Pode implementar e configurar SQL do Azure Base de Dados para equilibrar o desempenho, a escalabilidade e os custos.
Otimização de Custos
A otimização de custos envolve encontrar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, veja a página de aprendizagem Otimização de Custos no Microsoft Learn.
Os custos de execução consistem na licença de subscrição de software Semarchy e no consumo do Azure. Contacte a Semarchy para obter mais informações.
Implementar este cenário
Para implementar este cenário:
- Implemente Semarchy xDM com o Azure Kubernetes Services.
- Configure a Gestão de Segredos para utilizar o Azure Key Vault.
- Configurar a Autenticação com Microsoft Entra ID.
- Estruturar e implementar o modelo de dados master personalizado no xDM
- Integre os seus dados no xDM com Azure Data Factory.
Contribuidores para este documento
- David Cox
- Cedric Blanc
- François-Xavier Nicolas (FX)