Semarchy와 마스터 데이터 관리
최신 조직은 종종 다양한 이질적인 원본에서 대량의 데이터를 생성합니다. Semarchy Data Platform은 데이터 통합, MDM(master 데이터 관리), RDM(참조 데이터 관리), ADM(애플리케이션 데이터 관리), 데이터 통합, 품질 및 거버넌스를 위한 지능형 데이터 허브입니다. xDM(Semarchy 데이터 관리)은 데이터 관리 애플리케이션을 정의 및 구현하고 프로덕션에 릴리스하기 위한 매우 민첩성을 제공합니다.
이 아키텍처는 중요한 데이터 자산에 대한 품질, 유효성 검사, 일치, 중복 제거, 작성, 큐레이션 및 협업을 사용하도록 Azure 에코시스템에 MDM(마스터 데이터 관리)을 포함하는 방법을 보여 줍니다.
아키텍처
다음 아키텍처는 Semarchy xDM 아키텍처 및 데이터 흐름을 보여 줍니다.
Data Flow
메타데이터 및 데이터 흐름에는 다음 단계가 포함됩니다.
식별된 원본 시스템에서 원본 데이터 통합:
- 이 통합은 Azure Data Factory, Semarchy xDI(Semarchy의 데이터 통합 구성 요소) 또는 통합 솔루션을 사용합니다.
- semarchy xDM은 일괄 처리 및 실시간 통합을 위해 SQL 또는 REST 엔드포인트를 노출합니다.
- 들어오는 데이터는 Semarchy xDM 검색을 사용하여 프로파일링하고 master 데이터 모델 구조 및 규칙을 정의하는 데 도움이 되도록 검토할 수 있습니다.
- 언제든지 REST 엔드포인트를 애플리케이션에서 사용하여 xDM에서 관리되는 master 데이터와 상호 작용(읽기/쓰기)하고 xDM을 master 데이터 백 엔드로 사용할 수 있습니다.
자동 데이터 인증
- 데이터는 규칙, 플러그 인, AI 모델(Azure Machine Learning 및 Azure OpenAI 포함) 및 타사 서비스의 조합을 통해 보강, 표준화 및 품질 유효성 검사를 거칩니다. semarchy xDM은 데이터 재활용을 통해 이러한 자동화된 품질 프로세스를 지원하고 사용자 수정 사항을 통합하여 최적의 데이터 품질을 보장합니다.
- 매칭, 병합 및 생존 프로세스는 정교한 자동화와 정보에 입각한 사용자 결정을 결합하여 정확하고 신뢰할 수 있는 통합 골든 레코드를 생성하여 자동으로 수행됩니다.
- 인증 프로세스에 의해 생성된 골든 레코드는 원본 시스템에 대한 전체 계보, 사용자 변경 내용 추적 및 선택적 히스토라이제이션을 특징으로 합니다. 이렇게 하면 데이터 무결성, 추적 가능성 및 포괄적인 기록 레코드 추적이 보장됩니다.
사용자 지정 데이터 관리 애플리케이션은 사용자가 다음을 수행할 수 있습니다.
- Microsoft Entra ID 통해 인증
- 포괄적인 히스토라이제이션과 함께 각 인증 단계를 통해 완전한 추적성으로 인증된 데이터를 찾아보고 검색합니다.
- 데이터 관리 및 큐레이팅:
- 사용자는 새 데이터를 작성하고 가져올 수 있습니다.
- 오류 검토 및 수정
- 재정의 옵션을 사용하여 레코드를 수동으로 일치시키고 병합합니다.
- 및 는 필요에 따라 일시적 또는 하드 삭제를 수행합니다.
- Data-Driven 워크플로를 사용하여 공동 작업합니다.
Azure Synapse Analytics, Power BI, Azure Machine Learning 및 Azure OpenAI와 같은 소비자 운영 및 분석 애플리케이션에 골든 데이터 배포는 플랫폼 간에 중단 없는 통합 및 사용을 보장합니다.
- 이 통합에서는 Azure Data Factory, Semarchy xDI 또는 통합 솔루션을 사용합니다.
- Semarchy xDM은 기본 제공 SQL 및 REST 엔드포인트와 Azure Service Bus 이벤트 기반 전파를 위한 데이터 알림을 제공합니다.
xDM 메타데이터를 Microsoft Purview와 동기화하여 전체 master 데이터 흐름의 포괄적인 가시성과 계보를 얻습니다.
구성 요소
이 아키텍처에는 다음 구성 요소가 포함됩니다.
핵심 구성 요소
- Semarchy xDM은 데이터 팀이 사용자 지정된 master 데이터 관리 솔루션을 신속하게 개발할 수 있는 코드 없는 플랫폼으로, 복잡한 데이터 에코시스템을 위한 다양한 기능을 제공합니다.
- azure Database for SQL Server 및 PostgreSQL은 고가용성 및 인텔리전스와 같은 기본 제공 기능을 갖춘 완전 관리형 데이터베이스입니다. Semarchy 메타데이터와 xDM에서 관리되는 master 데이터 허브를 모두 저장합니다. 데이터 처리는 데이터베이스 계층에서 수행되어 최상의 성능과 확장성을 보장합니다.
- Microsoft Entra ID 사용자 인증 및 Semarchy 플랫폼에 대한 Single Sign-On을 위한 것입니다.
- Azure Key Vault 비밀에 대한 보안 스토리지를 제공하는 클라우드 서비스입니다. xDM에서 사용되는 비밀(예: 암호)을 암호화, 암호 해독 및 저장하는 데 사용할 수 있습니다.
AI 구성 요소
- Azure Machine Learning 은 ML(기계 학습) 프로젝트를 가속화하고 관리하기 위한 클라우드 서비스입니다. Semarchy xDM은 데이터 허브 인증 프로세스에서 사용자 지정된 Azure Machine Learning 모델을 사용할 수 있습니다.
- Azure OpenAI는 OpenAI 의 강력한 언어 모델에 대한 액세스를 제공하는 AI 서비스 제품군입니다. Semarchy xDM에는 콘텐츠 생성, 요약 또는 번역과 같은 데이터를 보강하고 인증하기 위해 이러한 언어 모델을 사용하는 기본 제공 플러그 인이 포함되어 있습니다.
거버넌스 구성 요소
- Microsoft Purview 는 온-프레미스 및 클라우드 데이터 자산에 대한 광범위한 가시성을 제공하는 데이터 거버넌스 솔루션입니다. Semarchy xDM은 Microsoft Purview와 통합되어 데이터 제품 및 엔드 투 엔드 master 데이터 계보로 Semarchy Data Hubs에 대한 인사이트를 제공합니다.
원본 및 소비자 시스템 그 중에서도 이 아키텍처에는 Semarchy xDM에서 관리할 master 데이터를 수집하거나 Semarchy xDM에서 생성된 골든 데이터를 보내는 다음 시스템이 포함됩니다.
- Azure Synapse Analytics는 대규모 병렬 처리 아키텍처를 사용하는 빠르고 유연하며 신뢰할 수 있는 클라우드 데이터 웨어하우스입니다. Semarchy Data Hubs는 Azure Synapse 인증된 메타데이터 공급자 역할을 합니다.
- Power BI는 organization 전체에서 인사이트를 제공하는 비즈니스 분석 제품군입니다. Power BI를 사용하여 Semarchy Discovery 메트릭 및 Semarchy Data Hubs를 기반으로 대시보드 및 보고서를 빌드할 수 있습니다.
시나리오 세부 정보
디지털 변환, 비즈니스 인텔리전스 또는 AI 프로젝트와 같은 데이터 기반 이니셔티브에는 정확하고 신뢰할 수 있는 데이터가 필요합니다. 마스터 데이터 관리 이 클린 정확한 데이터를 제공하는 데 필수적인 단계입니다.
MDM 솔루션의 일반적인 사용 사례는 여러 원본의 master 데이터를 통합하는 동시에 이 master 데이터의 공동 작성 및 관리를 통해 분석 및 운영 애플리케이션에 골든 데이터를 제공하는 것입니다.
데이터 애플리케이션 디자인
Semarchy xDM 데이터 관리 애플리케이션은 모든 사용자에게 데이터에 액세스하고 관리할 수 있는 사용자 지정 환경을 제공합니다. 이러한 애플리케이션을 통해 master 데이터 레코드는 데이터 관리, 작성 및 관리 작업을 지원하는 완전히 사용자 지정 가능한 인터페이스에 표시됩니다. 역할과 가상 사용자가 서로 다른 사용자는 Data-Driven 워크플로에서 공동 작업하여 데이터를 관리합니다. Semarchy xDM의 기능은 데이터 애플리케이션을 유연하게 설계하여 도메인, organization 및 비즈니스 요구 사항에 맞게 조정할 수 있도록 합니다.
master 데이터 통합 및 인증
CRM(고객 관계 관리), ERP(Enterprise Resource Planning) 또는 기타 시스템(게시자라고 함)과 같은 외부 원본 시스템에서 큐레이팅된 데이터는 Azure Data Factory 또는 Semarchy xDI와 같은 통합 계층을 통해 Semarchy xDM의 데이터 허브로 푸시됩니다.
데이터 허브에 데이터 변경 내용이 표시되면 데이터 로드 또는 작성을 통해 전체 인증 프로세스를 통과하며, 그 동안 데이터 품질에 대한 보강, 표준화, 유효성 검사, 레코드 일치 및 병합이 수행됩니다.
허브에서 데이터 사용
REST API 엔드포인트를 사용하거나 SQL을 통해 Semarchy xDM으로 데이터를 푸시하거나 사용할 수 있습니다. 데이터 허브를 통한 데이터 변경 내용은 데이터 알림을 사용하여 다운스트림 시스템으로 실시간으로 전파될 수도 있습니다.
고려 사항
Semarchy Data Platform에는 안정성, 보안, 비용 최적화, 운영 우수성 및 성능 효율성 문제를 해결하는 몇 가지 기능이 있습니다. 아키텍처 우수성에 대한 자세한 내용은 잘 설계된 Azure 프레임워크의 ** 핵심 요소에 대한 이 문서에서 찾을 수 있습니다.**
안정성
안정성을 통해 애플리케이션이 고객에게 약속을 이행할 수 있습니다. 자세한 내용은 안정성 핵심 요소 개요를 참조하세요.
Semarchy xDM은 고가용성을 지원하는 기본 제공 기능을 제공하는 Azure Kubernetes Service 및 Azure SQL Database에서 기본적으로 실행됩니다.
보안
보안은 의도적인 공격과 귀중한 데이터 및 시스템의 오용으로부터 보호합니다. 자세한 내용은 Microsoft Learn 페이지의 보안 개요를 참조하세요.
Semarchy xDM은 역할 매핑, 조회 및 프로필 동기화를 지원하는 ID 관리 계층을 통해 사용자를 인증합니다. Microsoft Entra ID 포함하여 여러 IDP에 대한 기본 지원을 제공합니다. 또한 액세스 및 작업을 보호하기 위한 세분화된 권한과 같은 고급 보안 기능도 포함됩니다.
성능 효율성
성능 효율성은 사용자 요구를 스케일링하고 효과적으로 충족하는 시스템의 기능입니다. 자세한 내용은 Microsoft learn의 성능 효율성 학습 페이지를 참조하세요.
Semarchy xDM은 기본적으로 Azure Kubernetes Service 및 Azure SQL 데이터베이스에서 실행됩니다. 스케일 업 및 스케일 아웃하도록 Azure Kubernetes Service 구성할 수 있습니다. Azure SQL 데이터베이스를 배포하고 구성하여 성능, 확장성 및 비용의 균형을 맞출 수 있습니다.
비용 최적화
비용 최적화에는 불필요한 비용을 줄이고 운영 효율성을 향상시키는 방법을 찾는 것이 포함됩니다. 자세한 내용은 Microsoft learn의 비용 최적화 학습 페이지를 참조하세요.
실행 비용은 Semarchy 소프트웨어 구독 라이선스 및 Azure 사용량으로 구성됩니다. 자세한 내용은 Semarchy에 문의하세요.
이 시나리오 배포
이 시나리오를 배포하려면 다음을 수행합니다.
- Azure Kubernetes Services를 사용하여 Semarchy xDM을 배포합니다.
- Azure Key Vault 사용하도록 비밀 관리를 구성합니다.
- Microsoft Entra ID 사용하여 인증을 구성합니다.
- xDM에서 사용자 지정된 master 데이터 모델 디자인 및 배포
- Azure Data Factory 사용하여 데이터를 xDM에 통합합니다.
이 문서의 기여자
- 데이비드 콕스
- 세드릭 블랑
- François-Xavier 니콜라스 (FX)