Master Administración de datos con Semarchy
Nota:
El Catálogo de datos de Microsoft Purview está cambiando su nombre a Catálogo unificado de Microsoft Purview. Todas las características permanecerán iguales. Verá el cambio de nombre cuando la nueva experiencia de gobernanza de datos de Microsoft Purview esté disponible con carácter general en su región. Compruebe el nombre en su región.
Las organizaciones modernas generan grandes cantidades de datos, a menudo de numerosos orígenes dispares. Semarchy Data Platform es el centro de datos inteligente para la integración de datos, la administración de datos maestros (MDM), la administración de datos de referencia (RDM), la administración de datos de aplicaciones (ADM), la integración de datos, la calidad y la gobernanza. Semarchy Administración de datos (xDM) aporta una agilidad extrema para definir e implementar aplicaciones de administración de datos y liberarlas en producción.
Esta arquitectura muestra cómo incluir master Administración de datos (MDM) en el ecosistema de Azure para habilitar la calidad, validación, coincidencia, desduplicación, creación, conservación y colaboración para los recursos de datos críticos.
Arquitectura
La arquitectura siguiente muestra la arquitectura y el flujo de datos de Semarchy xDM.
Data Flow
Los metadatos y el flujo de datos incluyen los pasos siguientes:
Integración de datos de origen desde sistemas de origen identificados:
- Esta integración usa Azure Data Factory, Semarchy xDI (componente de integración de datos de Semarchy) o la solución de integración.
- semarchy xDM expone puntos de conexión de SQL o REST para la integración por lotes y en tiempo real.
- Los datos entrantes se pueden generar perfiles con semarchy xDM Discovery y revisarse para ayudar a definir la estructura y las reglas del modelo de datos maestros.
- En cualquier momento, las aplicaciones también pueden usar los puntos de conexión REST para interactuar (lectura y escritura) con los datos maestros administrados en xDM y usar xDM como back-end de datos maestros.
Certificación automática de datos
- Los datos se someten al enriquecimiento, la estandarización y la validación de calidad a través de una combinación de reglas, complementos, modelos de inteligencia artificial (incluidos Azure Machine Learning y Azure OpenAI) y servicios de terceros. semarchy xDM admite estos procesos de calidad automatizados con reciclaje de datos e incorpora correcciones de usuario para garantizar una calidad de datos óptima.
- Los procesos de coincidencia, combinación y supervivencia se llevan a cabo automáticamente mediante la combinación de automatización sofisticada con decisiones informadas del usuario, para generar registros dorados consolidados precisos y confiables.
- Los registros dorados generados por el proceso de certificación incluyen linaje completo para los sistemas de origen, seguimiento de cambios del usuario y historización opcional. Esto garantiza la integridad de los datos, la trazabilidad y el seguimiento completo de registros históricos.
Las aplicaciones de Administración de datos personalizadas están disponibles para que los usuarios:
- Autentíquese mediante Microsoft Entra ID,
- Examinar y buscar datos certificados con trazabilidad completa a través de cada fase de certificación, junto con una historización completa,
- Administrar y mantener los datos:
- Los usuarios pueden crear e importar nuevos datos,
- revisar y corregir errores,
- coincidencia manual y combinación de registros con opciones de invalidación,
- y realizar eliminaciones temporales o rígidas según sea necesario,
- Colabore con flujos de trabajo de Data-Driven.
La distribución de datos golden para aplicaciones operativas y analíticas de consumidor, como Azure Synapse Analytics, Power BI, Azure Machine Learning y Azure OpenAI, garantiza la integración y el uso ininterrumpidos entre plataformas:
- Esta integración usa Azure Data Factory, Semarchy xDI o la solución de integración.
- Semarchy xDM proporciona puntos de conexión de SQL y REST integrados, y notificaciones de datos para la propagación basada en eventos en Azure Service Bus.
Sincronice los metadatos xDM con Microsoft Purview para obtener una visibilidad completa y un linaje de todo el flujo de datos maestros.
Componentes
Esta arquitectura implica los siguientes componentes.
Componentes principales
- Semarchy xDM es una plataforma sin código que permite a los equipos de datos desarrollar rápidamente soluciones personalizadas de administración de datos maestros, ofreciendo una amplia gama de funcionalidades para ecosistemas de datos complejos.
- Azure Database for SQL Server y PostgreSQL son bases de datos totalmente administradas como servicio con funcionalidades integradas, como alta disponibilidad e inteligencia. Almacenan tanto los metadatos de Semarchy como los centros de datos maestros administrados en xDM. El procesamiento de datos se realiza en la capa de base de datos, lo que garantiza el mejor rendimiento y escalabilidad.
- Microsoft Entra ID, para la autenticación de usuarios y el inicio de sesión único en la plataforma de Semarchy.
- Azure Key Vault es un servicio en la nube que proporciona almacenamiento seguro para secretos. Puede usarlo para cifrar, descifrar y almacenar secretos (contraseñas, por ejemplo) que se usan en xDM.
Componentes de IA
- Azure Machine Learning es un servicio en la nube para acelerar y administrar proyectos de aprendizaje automático (ML). Semarchy xDM puede usar modelos personalizados de Azure Machine Learning en los procesos de certificación del centro de datos.
- Azure OpenAI es un conjunto de servicios de inteligencia artificial que proporcionan acceso a los potentes modelos de lenguaje de OpenAI. Semarchy xDM incluye complementos integrados que usan estos modelos de lenguaje para enriquecer y certificar datos, por ejemplo, para la generación de contenido, el resumen o la traducción.
Componentes de gobernanza
- Microsoft Purview es una solución de gobernanza de datos que proporciona una amplia visibilidad sobre los patrimonios de datos locales y en la nube. Semarchy xDM se integra con Microsoft Purview para proporcionar información sobre Semarchy Data Hubs como productos de datos y linaje de datos maestros de un extremo a otro.
Sistemas de origen y consumidor Entre otros, esta arquitectura incluye los siguientes sistemas desde los que se recopilan datos maestros que se van a administrar en Semarchy xDM, o a los que se envían datos dorados producidos por Semarchy xDM.
- Azure Synapse Analytics es un almacenamiento de datos en la nube rápido, flexible y de confianza que usa una arquitectura de procesamiento paralelo masivo. Semarchy Data Hubs actúa como proveedor de metadatos certificados para Azure Synapse.
- Power BI es un conjunto de análisis empresarial que proporciona información en toda la organización. Puede usar Power BI para crear paneles e informes sobre las métricas de Semarchy Discovery y Semarchy Data Hubs.
Detalles del escenario
Las iniciativas basadas en datos, como la transformación digital, la inteligencia empresarial o los proyectos de inteligencia artificial requieren datos precisos y confiables. La Administración de datos maestra es un paso esencial para ofrecer estos datos limpios y precisos.
Un caso de uso común de una solución MDM es consolidar los datos maestros de varios orígenes, a la vez que se permite la creación y administración colaborativa de estos datos maestros para atender aplicaciones analíticas y operativas con datos dorados.
Diseño de aplicaciones de datos
Semarchy xDM Administración de datos Applications proporciona a todos los usuarios una experiencia personalizada para acceder a sus datos y administrarlos. A través de estas aplicaciones, los registros de datos maestros se muestran en interfaces totalmente personalizables, lo que admite operaciones de administración, creación y administración de datos. Los usuarios con diferentes roles y personas colaboran en flujos de trabajo de Data-Driven para administrar datos. La eficacia de Semarchy xDM radica en la flexibilidad en el diseño de las aplicaciones de datos, lo que les permite adaptarse a sus dominios, organización y necesidades empresariales.
Integración y certificación de datos maestros
Los datos mantenidos en sistemas de origen externos, como Customer Relationship Management (CRM), Enterprise Resource Planning (ERP) u otros sistemas (conocidos como publicadores) se insertan en los centros de datos de Semarchy xDM a través de una capa de integración, como Azure Data Factory o Semarchy xDI.
A medida que los cambios de datos aparecen en el centro de datos, a través de cargas de datos o creación, pasa por todo el proceso de certificación, durante el cual se enriquece, se estandariza, se valida para la calidad de los datos y, a continuación, se comparan y combinan los registros.
Consumo de datos desde el centro
Los datos se pueden insertar o consumir desde Semarchy xDM mediante puntos de conexión de API REST o a través de SQL. Los cambios realizados en los datos a través del centro de datos también se pueden propagar en tiempo real a los sistemas de bajada mediante notificaciones de datos.
Consideraciones
La Plataforma de datos de Semarchy tiene varias características que abordan los problemas de confiabilidad, seguridad, optimización de costos, excelencia operativa y eficiencia del rendimiento. Puede encontrar más información sobre la excelencia arquitectónica en este artículo sobre los ** pilares de marcos de Azure bien diseñados.**
Confiabilidad
La confiabilidad garantiza que la aplicación cumpla las promesas que realiza a los clientes. Para obtener más información, consulte Información general sobre el pilar de confiabilidad.
Semarchy xDM se ejecuta de forma nativa en Azure Kubernetes Service y Azure SQL Database, que ofrece funcionalidades integradas para admitir la alta disponibilidad.
Seguridad
Protección de seguridad contra ataques intencionados y uso indebido de sus valiosos datos y sistemas. Para obtener más información, vea Información general sobre la seguridad en la página de Microsoft Learn.
Semarchy xDM autentica a los usuarios a través de su capa de administración de identidades que admite la asignación de roles, la búsqueda y la sincronización de perfiles. Proporciona compatibilidad nativa con varios IDP, incluidos Microsoft Entra ID. También incluye características de seguridad avanzadas, como privilegios específicos para proteger el acceso y las operaciones.
Eficiencia del rendimiento
La eficiencia del rendimiento es la capacidad del sistema para escalar y satisfacer eficazmente las necesidades del usuario. Para obtener más información, consulte la página de información sobre eficiencia del rendimiento en Microsoft Learn.
Semarchy xDM se ejecuta de forma nativa en Azure Kubernetes Service y Azure SQL Database. Puede configurar Azure Kubernetes Service para escalar y reducir horizontalmente. Puede implementar y configurar Azure SQL Database para equilibrar el rendimiento, la escalabilidad y los costos.
Optimización de costos
La optimización de costos implica encontrar formas de reducir gastos innecesarios y mejorar la eficiencia operativa. Para obtener más información, consulte la página de aprendizaje Optimización de costos en Microsoft Learn.
Los costos de ejecución constan de la licencia de suscripción de software de Semarchy y el consumo de Azure. Póngase en contacto con Semarchy para obtener más información.
Implementación de este escenario
Para implementar este escenario:
- Implemente Semarchy xDM mediante Azure Kubernetes Services.
- Configure Secrets Management para usar Azure Key Vault.
- Configure la autenticación con Microsoft Entra ID.
- Diseño e implementación del modelo de datos maestros personalizado en xDM
- Integre los datos en xDM mediante Azure Data Factory.
Colaboradores de este documento
- David Cox
- Cedric Blanc
- François-Xavier Nicolas (FX)