데이터 애플리케이션(소스 정렬)
운영 원본에서 데이터를 한 번 수집하기 위해 데이터 비종속 엔진을 구현하지 않거나 데이터 비종속 엔진에서 복잡한 연결이 지원되지 않는 경우 원본 연계 데이터 애플리케이션을 만들어야 합니다. 외부 데이터 소스로부터 데이터를 수집할 때의 데이터 비전적인 엔진의 흐름과 동일한 흐름을 따라야 합니다.
개요
애플리케이션 리소스 그룹은 원격 분석, 재무 또는 CRM과 같은 외부 원본에서만 데이터 수집 및 보강을 담당합니다. 이 계층은 실시간, 일괄 처리 및 마이크로 일괄 처리로 작동할 수 있습니다.
이 섹션에서는 데이터 랜딩 존 내의 각 데이터 애플리케이션(원본 정렬) 리소스 그룹에 배포된 인프라에 대해 설명합니다.
조언
데이터 메시의 경우 원본당 또는 도메인당 하나씩 배포하도록 선택할 수 있습니다. 데이터 표준화, 데이터 품질 및 데이터 계보의 원칙은 계속 따라야 합니다. 데이터 플랫폼 운영 팀은 표준 코드 조각을 개발하고 이를 달성하도록 요청할 수 있습니다.
데이터 랜딩 존의 각 데이터 애플리케이션(원본 정렬) 리소스 그룹에 대해 다음을 만들어야 합니다.
- Azure 키 자격 증명 모음
- 데이터 공정을 통해 원시 데이터를 보강된 데이터로 변환하는 엔지니어링 파이프라인을 실행하는 Azure 데이터 팩토리
- Azure Databricks에 수집 작업을 배포하기 위해 데이터 애플리케이션(원본 정렬)에서 사용하는 서비스 주체(Azure Databricks를 사용하는 경우에만)
Azure Event Hubs, Azure IoT Hub, Azure Stream Analytics 및 Azure Machine Learning과 같은 다른 서비스의 인스턴스를 만들 수도 있습니다.
Azure Key Vault (키 관리 서비스)
가능하면 Azure Key Vault 기능을 사용하여 Azure 내에 비밀을 저장합니다.
각 데이터 애플리케이션(원본 정렬) 리소스 그룹 또는 데이터 도메인(메시인 경우)에는 Azure Key Vault가 있습니다.
- 암호화 키, 비밀 및 인증서 파생이 사용자 환경의 요구 사항을 충족하는지 확인합니다.
- 관리 업무를 더 잘 분리할 수 있습니다.
- 서로 다른 분류의 키, 통합 및 비밀을 혼합할 위험을 줄입니다.
데이터 애플리케이션과 관련된 모든 키(출처 정렬)는 Azure Key Vault에 포함되어야 합니다.
중요하다
데이터 애플리케이션(원본 정렬) 키 자격 증명 모음은 최소 권한 모델을 따라야 하며, 환경 간에 트랜잭션 확장 제한과 비밀 공유를 모두 피해야 합니다.
Azure Data Factory
데이터 애플리케이션 팀이 작성한 파이프라인이 개발된 파이프라인을 통해 원시 데이터를 보강 데이터로 변환할 수 있도록 Azure Data Factory를 배포합니다. 변환에 매핑 데이터 흐름을 활용하고, 복잡한 변환을 수행하려면 Azure Databricks, Azure Synapse Spark 또는 Microsoft Fabric을 사용하세요.
Azure Data Factory를 데이터 애플리케이션(원본 맞춤) 리포지토리의 DevOps 인스턴스에 연결해야 합니다. 이 연결을 통해 CI/CD를 배포할 수 있습니다.
이벤트 허브
데이터 애플리케이션(원본 정렬)에 데이터를 스트리밍해야 하는 요구 사항이 있는 경우 데이터 애플리케이션(원본 정렬) 리소스 그룹에 다운스트림 Event Hubs를 배포할 수 있습니다.