이 문서에서는 엔터프라이즈에서 시스템을 채택할 때 medallion Lakehouse를 수정하고 강화하는 방법을 설명합니다. 이 아키텍처는 기준 아키텍처에 설명된 일반적인 채택 패턴을 따릅니다. 이 아키텍처는 추가 NFR(비기능 요구 사항)을 충족하고, 추가 기능을 제공하고, 책임을 도메인 기반 페더레이션 모델로 전환하도록 강화됩니다.
이 아키텍처는 Azure용 Microsoft 클라우드 채택 프레임워크 모범 사례 및 지침을 통합하고 데이터 도메인 구현 및 데이터 제품 채택에 중점을 둡니다.
참고 항목
이 문서의 지침은 기준 아키텍처와 비교하여 이 아키텍처의 주요 차이점에 중점을 둡니다.
기준 아키텍처 강화
기준 아키텍처에 따르면 Contoso는 재무 부서에 대한 첫 번째 데이터 워크로드를 지원하는 medallion Lakehouse를 운영합니다. Contoso는 엔터프라이즈의 분석 데이터 요구 사항을 지원하기 위해 이 시스템을 강화하고 확장합니다. 이 전략은 데이터 과학 기능 및 셀프 서비스 기능을 제공합니다.
핵심 요구 사항
medallion Lakehouse를 수정하고 강화하기 위한 몇 가지 주요 요구 사항이 있습니다.
엔터프라이즈 데이터 및 분석 플랫폼으로 작동하려면 솔루션을 강화해야 합니다. 또한 솔루션은 다른 회사 기능을 지원하고 Contoso의 데이터 액세스 정책 요구 사항을 준수하도록 확장해야 합니다.
플랫폼은 거의 실시간으로 데이터를 수집, 저장, 처리 및 제공할 수 있어야 합니다. 성능 대상은 보고 계층에서 수집에서 가용성까지 처리 시간의 1분 미만으로 정의됩니다.
이 플랫폼은 재사용을 추진하면서 규모 절감과 효율성의 경제를 제공해야 합니다.
플랫폼은 비즈니스 영역에서 셀프 서비스 수준을 결정하고 데이터 솔루션 및 제품에 필요한 제어를 할 수 있도록 해야 합니다.
플랫폼은 데이터 시민의 사용을 포함하는 엔터프라이즈 데이터 과학 기능을 지원해야 합니다.
플랫폼은 다음을 포함하는 더 높은 대상 SLA(서비스 수준 계약)를 지원해야 합니다.
목표 가동 시간 99.9% 또는 연간 약 8.5시간 가동 중지 시간입니다.
1.5일의 RPO(복구 지점 목표)입니다.
1일 미만의 RTO(복구 시간 목표)입니다.
플랫폼은 매년 5%의 예상 성장률을 가진 다양한 도메인에서 1,000명의 사용자의 예상 사용량을 지원해야 합니다. Contoso 직원만 플랫폼에 직접 액세스할 수 있지만 다른 회사와 데이터를 공유하는 기능이 필요합니다.
주요 디자인 결정
새 아키텍처를 만들지 않고 이러한 요구 사항을 충족하도록 기준 아키텍처 를 수정할 수 있습니다.
엔터프라이즈 관리 기반에서 지원되는 도메인 디자인은 이 시나리오에 적합합니다. 도메인 디자인은 엔터프라이즈 전체에서 플랫폼을 확장하기 위한 요구 사항, 셀프 서비스 기능 및 비즈니스 전략적 목표를 지원합니다. 기초는 다음과 같이 정의됩니다.
- ID 및 액세스 제어.
- 기본 네트워킹, 경계 컨트롤 및 보안 기준입니다.
- 거버넌스, 감사 및 모니터링 기능입니다.
- 데이터를 수집하고 처음에 플랫폼으로 처리하는 함수입니다.
도메인 디자인은 지정된 비즈니스 부서의 데이터 소유권과 원래 원본 시스템을 중심으로 고정됩니다. 새로운 운영 모델을 사용하면 비즈니스 그룹이 필요에 따라 자신이 제어하고 유지 관리하는 모델 및 서비스 구성 요소의 자체 스택을 빌드할 수 있습니다. 도메인은 엔터프라이즈 요구 사항에 따라 가드레일 내에서 작동하며 잘 정의되고 제어된 실험을 수행할 수 있습니다. 데이터 과학 기능은 다음을 통해 제공됩니다.
낮은 코드 및 단순 또는 중간 복잡성에 대한 Power BI 는 테이블 형식 데이터에서 사용 사례를 사용합니다. 이 모델은 데이터 시민에게 이상적인 출발점입니다.
전체 사용 사례 및 사용자 완성도를 지원하는 Azure Machine Learning 및 AI 서비스 제품입니다.
처리 요구가 많은 대규모 엔터프라이즈 볼륨 사용 사례에 대한 Azure Databricks입니다.
새로운 기술 또는 기술에 대한 개념 증명 작업을 지원하는 혁신 샌드박스입니다. 프로덕션 및 사전 프로덕션과 분리된 격리된 환경을 제공합니다.
Azure Data Factory 기능은 변경 데이터 캡처 기능에서 사용하도록 설정된 거의 실시간 및 마이크로 일괄 처리 수집 사용 사례를 다룹니다. 이 기능은 Azure Databricks 구조적 스트리밍 및 Power BI와 결합되어 엔드투엔드 솔루션을 지원합니다.
Power BI는 Microsoft Entra B2B 권한 부여 및 액세스 제어에 필요한 경우 외부 당사자와 데이터 공유를 사용하도록 설정합니다.
스트리밍 데이터 패턴은 구현 및 관리가 복잡할 수 있으며, 특히 오류 사례 시나리오에서 그렇습니다. 비즈니스 요구 사항이 허용되는 대기 시간에 대해 테스트되고 원본 시스템 및 네트워크 인프라가 구현 전에 스트리밍 요구 사항을 지원할 수 있는지 확인합니다.
도메인 모델로 전환하려면 비즈니스 관련자와 공동으로 결정해야 합니다. 이해 관계자가 도메인 소유권의 증가된 책임을 이해하고 받아들이는 것이 중요합니다.
관련자의 데이터 완성도, SDLC(소프트웨어 개발 수명 주기), 거버넌스 프레임워크, 표준 및 자동화 완성도에 걸친 사용 가능한 기술은 모두 초기 운영 모델이 도메인 활성화에 얼마나 의지하는지에 영향을 줍니다. 이러한 요소는 클라우드 규모 분석 채택 수명 주기 에서 현재 위치를 나타내고 더 발전하는 데 필요한 단계를 강조 표시할 수도 있습니다.
아키텍처
워크플로
다음 워크플로는 이전 다이어그램에 해당합니다.
수집된 데이터와 Delta Lake는 원본 정렬이며 중앙 기술 팀의 책임으로 유지됩니다. 이 결정은 Spark 개발에 필요한 기술 전문 지식 수준을 반영하고 엔터프라이즈 재사용성을 고려한 일관되고 표준화된 구현 접근 방식을 지원합니다.
데이터 계약은 원본 시스템의 데이터 피드를 제어합니다. 데이터 계약을 사용하여 메타데이터 기반 추출, 변환, 로드(ETL) 프레임워크를 구동하고 거버넌스 기능의 일부로 사용자가 데이터를 사용할 수 있도록 할 수 있습니다.
Delta Lake의 브론즈 계층(또는 원시 계층)의 디렉터리 구조는 데이터가 사용되는 방식을 반영합니다. 원본 시스템에서 데이터를 정렬합니다. 이 조직 방법론을 사용하면 원본 시스템의 비즈니스 소유권에 따라 통합 보안 구현을 수행할 수 있습니다.
데이터에 대한 빠른 경로는 스트리밍 요구 사항을 지원합니다. 빠른 경로는 Data Factory를 통해 데이터를 수집하고, Azure Databricks 구조적 스트리밍은 분석 및 사용을 위해 데이터를 직접 처리합니다. Delta Lake 변경 데이터 캡처 를 사용하여 감사 기록을 만들 수 있습니다. 이 기능은 medallion 아키텍처의 다운스트림 테이블에 대한 증분 변경 내용 재생 및 전파를 지원합니다.
모델 및 서비스 경로는 엔터프라이즈 소유 데이터 솔루션을 지원하는 중앙 기술 팀의 책임입니다. 또한 기술 팀은 데이터 솔루션이 필요하지만 기술, 예산 또는 자체 도메인 구현을 기술적으로 관리하는 데 관심이 없는 비즈니스 영역에 서비스 카탈로그 선택성을 제공할 책임이 있습니다. 셀프 서비스는 중앙 기술 팀이 관리하는 모델 및 서비스 구성 요소 내에서 제공됩니다.
중앙 기술 팀은 엔터프라이즈 데이터 과학 기능을 관리합니다. 또한 이 모델은 엔터프라이즈 중심 솔루션, 서비스 선택성 프로비전 및 호스팅 서비스에 대한 지원과 엔터프라이즈 가격 책정 구조에 부합합니다.
도메인은 구독 수준에서 논리 컨테이너를 통해 사용하도록 설정됩니다. 구독은 관리, 청구, 거버넌스 및 격리에 필요한 도메인 수준 단위를 제공합니다.
이 접근 방식은 엔터프라이즈 모니터링, 감사 및 보안 제어의 기준을 제공하는 IaC(Infrastructure as Code) IaC(Infrastructure as Code)를 통해 관리됩니다. 플랫폼 태그 지정 전략은 도메인 확장을 지원하도록 확장됩니다.
각 도메인에는 컨트롤 플레인 및 데이터 평면을 포함하는 RBAC(역할 기반 액세스 제어) 역할 집합이 있습니다. 컨트롤 플레인 역할은 주로 도메인 논리 컨테이너 내에서 사용됩니다. 반면, 데이터 평면 역할은 일관되고 통합되며 복잡성이 낮은 제어를 보장하는 플랫폼 전체에 적용됩니다.
도메인 구독 내에서 사용 가능한 구성 요소는 기술 집합, 우선 순위 및 사용 사례에 따라 구성할 수 있습니다.
네트워크 설계
이 아키텍처의 Visio 파일을 다운로드합니다.
Azure Firewall과 같은 차세대 방화벽을 사용하여 온-프레미스 인프라와 Azure 가상 네트워크 간의 네트워크 연결을 보호합니다.
온-프레미스 환경 또는 Azure의 VM(가상 머신)에 자체 호스팅 SHIR(통합 런타임)을 배포할 수 있습니다. 거버넌스 및 보안을 간소화하려면 공유 지원 리소스 랜딩 존의 일부로 Azure에 VM을 배포하는 것이 좋습니다. SHIR을 사용하여 온-프레미스 데이터 원본에 안전하게 연결하고 Data Factory에서 데이터 통합 작업을 수행할 수 있습니다.
기계 학습 지원 데이터 레이블 지정은 가상 네트워크 뒤에서 보호되므로 기본 스토리지 계정을 지원하지 않습니다. 먼저 기계 학습 지원 데이터 레이블 지정을 위한 스토리지 계정을 만듭니다. 그런 다음, 레이블 지정을 적용하고 가상 네트워크 뒤에서 보호합니다.
프라이빗 엔드포인트는 가상 네트워크에서 Azure 서비스로 개인 IP 주소를 제공합니다. 이 프로세스는 가상 네트워크에 서비스를 효과적으로 제공합니다. 이 기능을 사용하면 가상 네트워크 또는 연결된 네트워크에서만 서비스에 액세스할 수 있으므로 더욱 안전하고 프라이빗하게 연결할 수 있습니다.
프라이빗 엔드포인트는 PaaS(Platform as a Service) 솔루션에 대한 연결을 보호하는 Azure Private Link를 사용합니다. 워크로드에서 프라이빗 엔드포인트를 지원하지 않는 리소스를 사용하는 경우 서비스 엔드포인트를 사용할 수 있습니다. 가능한 한 중요 업무용 워크로드에 프라이빗 엔드포인트를 사용하는 것이 좋습니다.
데이터 과학 기능
데이터 과학 시나리오에서 Data Factory는 주로 데이터 이동, 예약 및 오케스트레이션을 처리합니다. 이러한 작업은 기계 학습 사용 사례에서 일괄 처리 유추에 필수적입니다. 일괄 처리 채점이라고도 하는 일괄 처리 추론에는 관찰 일괄 처리에 대한 예측이 포함됩니다. 이러한 시나리오에서는 일반적으로 미리 정의된 빈도로 높은 데이터 처리량과 채점이 필요합니다.
Data Factory 내에서 이러한 워크플로는 다양한 상호 연결된 활동으로 구성된 파이프라인에 정의됩니다. 확장 가능한 Data Factory 파이프라인은 일반적으로 제어 테이블에 정의된 메타데이터에 의해 매개 변수화되고 제어됩니다. 이 패턴은 데이터를 수집하고, 처리하여 기계 학습 예측을 생성하고, 모델링 목적과 서비스를 위해 데이터 출력을 서비스로 전송합니다.
Azure Machine Learning 및 Azure Databricks는 데이터를 처리하여 다양한 방법으로 기계 학습 예측을 생성합니다.
Azure Databricks Notebook은 모든 모델 점수 매기기 논리를 통합합니다. Azure Databricks Notebook 작업을 사용하여 모델 채점을 수행할 수 있습니다.
Machine Learning 일괄 처리 엔드포인트 는 모든 모델 점수 매기기 논리를 통합하는 데 사용됩니다. Machine Learning 파이프라인 작업을 사용하여 모델 채점을 수행할 수 있습니다.
대안
데이터 스트리밍의 대안으로 Azure Event Hubs를 사용할 수 있습니다. 이 시나리오에서 Azure Databricks는 디자인을 간소화하는 필요한 기능을 제공합니다.
데이터 공유의 대안으로 Azure Data Share를 사용할 수 있습니다. 이 시나리오에서 Power BI는 디자인을 간소화하는 필요한 기능을 제공합니다.
고려 사항
이러한 고려 사항은 워크로드의 품질을 향상시키는 데 사용할 수 있는 일단의 지침 원칙인 Azure Well-Architected Framework의 핵심 요소를 구현합니다. 자세한 내용은 Azure Well-Architected Framework를 참조하세요.
안정성
안정성은 애플리케이션이 고객에 대한 약속을 충족할 수 있도록 합니다. 자세한 내용은 안정성에 대한 디자인 검토 검사 목록을 참조하세요.
기준 아키텍처에 비해 이 아키텍처는 다음과 같습니다.
솔루션 전체에서 기본 Azure SLA 를 사용하여 향상된 요구 사항을 충족합니다. 이 전략은 고가용성 또는 다중 지역 상승의 필요성을 제거합니다.
플랫폼 서비스 및 업데이트된 대상 메트릭의 전체 범위를 포함하도록 재해 복구 전략을 개선합니다. 이 전략은 목적에 맞는지 확인하기 위해 정기적으로 테스트해야 합니다.
솔루션 구성 요소의 영역 중복 기능을 사용하여 지역화된 서비스 문제로부터 보호합니다. 다음 표에서는 이 아키텍처의 서비스 또는 기능에 대한 복원력 유형을 보여 줍니다.
| 서비스 또는 기능 | 복원 유형 |
|---|---|
| Data Factory | 영역 중복 |
| Azure Databricks | 영역 중복 |
| Azure Data Lake Storage Gen2 | 영역 중복 |
| Azure Databricks 자동 로더 | 영역 중복 |
| Azure Key Vault | 영역 중복 |
| Azure Virtual Network 게이트웨이 | 영역 중복 |
| SHIR | 동일한 영역의 고가용성 |
참고 항목
모든 Azure 서비스가 모든 지역에서 지원되는 것은 아니며 모든 지역이 랜딩 존을 지원하는 것은 아닙니다. 지역을 선택하기 전에 필요한 모든 리소스 및 중복성 요구 사항이 지원되는지 확인합니다.
보안
우수한 보안은 중요한 데이터 및 시스템에 대한 고의적인 공격과 악용을 방어합니다. 자세한 내용은 보안성에 대한 디자인 검토 검사 목록을 참조하세요.
기준 아키텍처에 비해 이 아키텍처는 다음과 같습니다.
도메인별 데이터가 엔터프라이즈보다 높은 데이터 분류를 사용하여 플랫폼으로 수집될 때 도메인별 데이터 RBAC 역할을 만듭니다. 자세한 내용은 거버넌스 개요를 참조하세요. 그런 다음 이 데이터를 사용하는 모든 솔루션 구성 요소에서 역할이 다시 사용됩니다. 플랫폼에 온보딩된 새 도메인 데이터에 대해 이러한 도메인 데이터 역할을 다시 사용할 수 있습니다. 이 방법은 데이터에 대한 액세스를 위한 일관되고 통합된 컨트롤을 제공합니다.
플랫폼에 대한 높은 데이터 민감도 요구 사항인 모든 주요 운영 지원 역할에 대한 Microsoft Entra PIM(Privileged Identity Management) 을 고려합니다.
비용 최적화
비용 최적화는 불필요한 비용을 줄이고 운영 효율성을 높이는 방법을 찾는 것입니다. 자세한 내용은 비용 최적화를 위한 디자인 검토 검사 목록을 참조하세요.
기준 아키텍처에 비해 이 아키텍처는 다음과 같습니다.
새 운영 모델에서 비용 최적화의 분야와 책임을 이해할 수 있도록 도메인 팀에 기술을 제공합니다.
투명성과 가시성을 제공하기 위해 비용 관리 경고를 도메인 및 비즈니스 관련자에게 확장합니다.
운영 우수성
운영 우수성은 애플리케이션을 배포하고 프로덕션에서 계속 실행하는 운영 프로세스를 다룹니다. 자세한 내용은 Operational Excellence에 대한 디자인 검토 검사 목록을 참조하세요.
기준 아키텍처에 비해 이 아키텍처는 다음과 같습니다.
새 도메인 모델, 관련자, 거버넌스 구조, 가상 사용자 기반 교육 및 RACI를 고려하도록 운영 모델을 발전합니다.
도메인 모델을 고려하도록 태그 지정 전략을 확장합니다.
중앙 비기능 요구 사항 레지스터를 개발하고 모든 플랫폼 솔루션이 개발자 영역에서 참조할 수 있는 소프트웨어 개발 모범 사례 표준을 채택합니다. 이러한 표준을 지원하려면 강력한 테스트 프레임워크 를 연속 통합 및 지속적인 배포 사례에 통합합니다.
성능 효율성
성능 효율성은 사용자가 배치된 요구 사항을 효율적인 방식으로 충족하기 위해 워크로드의 크기를 조정할 수 있는 기능입니다. 자세한 내용은 성능 효율성에 대한 디자인 검토 검사 목록을 참조하세요.
기준 아키텍처에 비해 이 아키텍처는 다음과 같습니다.
도메인 설정 및 모니터링 기준의 일부로 도메인 팀에 대한 경고 및 관찰 가능성을 제공합니다.
지식 근로자 간에 지식과 모범 사례를 공유하도록 장려하고 지역 사회 참여에 대한 인센티브를 제공합니다.
안티패턴
비 협업 변환: 도메인 모델로의 전환은 조직 전체에서 상당한 변경이 필요한 주요 작업입니다. 이러한 변화는 기술 리더십이 채택하고자 하는 기술에 근거하여 결정을 내리는 일방적인 노력이 되어서는 안 됩니다. 이 접근 방식은 워크로드에서 문제가 발생할 경우 비즈니스 이해 관계자와 기술 팀 간의 불일치 또는 오해로 이어질 수 있습니다. 대신 비즈니스 이해 관계자가 필요한 활동을 이해하고 전달된 결과의 가치를 파악할 때 이 변환이 가장 효과적입니다. 기술과 비즈니스 이해 관계자 간의 긴밀한 협력 이 성공적인 변환의 핵심입니다.
기술 동향을 비신사적으로 채택: 새로운 아이디어가 기술을 주도합니다. 새로운 기능, 새로운 접근 방식 및 새로운 디자인은 다양한 온라인 포럼을 통해 지속적으로 도입됩니다. 예를 들어 LinkedIn의 추세 데이터 디자인 패턴은 매력적인 옵션처럼 보일 수 있습니다. 엔터프라이즈급 솔루션을 빌드할 때 최신 추세를 채택하려는 유혹에 저항하고 검증된 기술과 패턴을 선호합니다. 추세 솔루션은 프로덕션 엔터프라이즈 환경에서 철저한 테스트 및 검증된 성능이 부족할 수 있습니다. 이러한 솔루션은 누락된 기능, 설명서 부족 또는 제대로 확장할 수 없는 경우 프로덕션에서 실패할 수 있습니다.
적절한 고려 없이 기능 빌드: 기술 기능의 차이를 식별할 때 종종 "직접 빌드"하는 것이 좋습니다. 이 방법은 경우에 따라 유효할 수 있지만 제품 소유자는 맞춤형 솔루션을 빌드할 때 발생할 수 있는 전체 제품 수명 주기에 미치는 영향을 고려해야 합니다. 기존의 잘 지원되는 제품의 격차를 해소하기 위한 맞춤형 솔루션을 빌드할 수 있습니다. 이 접근 방식은 해당 솔루션을 유지 관리하면 시간이 지남에 따라 증가하는 상당한 관리 부담을 더하기 때문에 제품의 수명 주기 동안 기술 부채를 크게 증가시킬 수 있습니다. 예상 기술 부채의 양은 누락된 기능의 중요도에 대해 측정되어야 합니다. 해당 기능이 상용 솔루션에 대한 제품 로드맵에 있는 경우 공급업체가 기능을 제공할 때까지 기다리는 것이 장기적으로 더 나은 전략이 될 수 있습니다.