패브릭에서 medallion 아키텍처 구현
이제 medallion 아키텍처에 대해 확실히 이해했으므로 이를 Fabric 내에서 실행하는 방법을 살펴보겠습니다.
기반 설정: Fabric 레이크하우스를 만듭니다. 여러 medallion 아키텍처에 동일한 레이크하우스를 사용할 수 있습니다. 또는 사용 사례에 따라 다른 레이크하우스를 사용할 수도 있고, 다른 작업 영역에서 다른 레이크하우스를 사용할 수도 있습니다.
아키텍처 디자인: 아키텍처 레이아웃을 만들고, 계층을 정의하고, 데이터가 아키텍처 사이에 흐르는 방식을 결정합니다. 가장 간단한 구현은 브론즈를 원시 계층으로, 실버를 큐레이팅된 계층으로, 골드를 프레젠테이션 계층으로 사용하는 것입니다. 골드 계층은 별모양 스키마로 모델링되고 보고용으로 최적화되어야 합니다.
질문 동 은 금 해당 계층에서 어떻게 되나요? 원시 데이터 수집 데이터 정리 및 유효성 검사 추가 변환 및 모델링 어떤 도구가 사용되나요? 파이프라인, 데이터 흐름, Notebooks 데이터 흐름 또는 Notebooks SQL 분석 엔드포인트 또는 의미 체계 모델 브론즈에 데이터 수집: 브론즈 계층에 데이터를 수집하는 방법을 결정합니다. 파이프라인, 데이터 흐름 또는 Notebook을 사용하여 이 작업을 수행할 수 있습니다.
데이터 변환 및 실버로 로드: 실버 계층에서 데이터를 변환하는 방법을 결정합니다. 데이터 흐름이나 Notebook을 사용하여 이 작업을 수행할 수 있습니다. 실버 수준의 변환은 데이터 모델링이 아닌 데이터 품질과 일관성에 포커스를 맞춰야 합니다.
골드 계층 생성: 골드 계층을 생성하는 방법, 포함할 내용 및 사용 방법을 결정합니다.
- 금색 계층은 차원 모델을 사용하여 보고할 데이터를 모델링하는 곳입니다. 여기서는 관계를 설정하고, 측정값을 정의하고, 효과적인 보고에 필수적인 기타 요소를 통합하게 됩니다.
- 다양한 대상 그룹 또는 도메인에 대해 여러 개의 골드 계층을 가질 수 있습니다. 예를 들어, 재무팀을 위한 골드 계층과 영업팀을 위한 별도의 골드 계층이 있을 수 있습니다. 기계 학습에 최적화된 데이터 과학자를 위한 골드 계층이 있을 수도 있습니다.
- 필요에 따라 데이터 웨어하우스를 골드 계층으로 사용할 수도 있습니다.
- Fabric에서는 데이터 흐름이나 Notebook을 사용하여 데이터를 변환한 다음 이를 레이크하우스의 골드 델타 테이블에 로드할 수 있습니다. 그런 다음 SQL 분석 엔드포인트를 사용하여 델타 테이블에 연결하고 SQL을 사용하여 보고용 데이터를 모델링할 수 있습니다. 또는 Power BI를 사용하여 골드 레이어의 SQL 분석 엔드포인트에 연결하고 보고용 데이터를 모델링할 수 있습니다.
다운스트림 사용량 사용: 데이터의 다운스트림 사용량을 사용하도록 설정할 방법을 결정합니다. 작업 영역 또는 항목 권한을 사용하거나 SQL 분석 엔드포인트에 연결하여 이 작업을 수행할 수 있습니다.