Fabric에서 미러링이란 무엇인가요?
패브릭의 미러링은 다양한 시스템의 데이터를 단일 분석 플랫폼으로 통합하는 저비용 및 짧은 대기 시간 솔루션입니다. 다양한 Azure 데이터베이스 및 외부 데이터 원본에서 기존 데이터 자산을 Fabric의 OneLake에 직접 지속적으로 복제할 수 있습니다.
OneLake에서 쿼리 가능한 형식의 최신 데이터를 사용하면 이제 Spark로 분석 실행, Notebook 실행, 데이터 엔지니어링, Power BI 보고서를 통한 시각화 등 Fabric의 모든 다른 서비스를 사용할 수 있습니다.
Fabric의 미러링을 이용하면 사용자가 분석 요구 사항을 단순화하도록 설계된 사용하기 쉬운 고도로 통합된 엔드투엔드 제품을 즐길 수 있습니다. 오픈 소스 Delta Lake 테이블 형식을 읽을 수 있는 기술 솔루션과 Microsoft 간의 개방성과 협업을 위해 빌드된 미러링은 모든 분석 요구에 사용할 수 있는 OneLake에서 데이터의 복제본을 만들 수 있는 저비용 및 짧은 대기 시간 턴키 솔루션입니다.
그러면 델타 테이블을 Fabric의 모든 곳에서 사용할 수 있으므로 사용자가 Fabric으로의 여정을 가속화할 수 있습니다.
Fabric에서 미러링을 사용하는 이유는 무엇인가요?
오늘날 많은 조직에서 업무상 중요한 운영 또는 분석 데이터를 사일로에 보관합니다.
현재 이 데이터에 액세스하고 작업하려면 복잡한 ETL(변환 로드 추출) 파이프라인, 비즈니스 프로세스 및 의사 결정 사일로가 필요합니다.
- 중요하고 지속해서 달라지는 데이터에 대한 액세스가 제한되고 제한됨
- 사람, 프로세스 및 기술 간의 마찰
- 매우 중요한 데이터에 대한 데이터 파이프라인 및 프로세스를 만들기 위한 긴 대기 시간
- 인사이트를 편안하게 분석하고 공유하는 데 필요한 도구를 자유롭게 사용할 수 없음
- 사람들이 데이터를 공유하고 공동 작업할 수 있는 적절한 기반 부족
- BI, AI, 통합, 엔지니어링 및 앱 등 모든 분석 시나리오에 대해 일반적인 개방형 데이터 형식 없음
Fabric의 미러링을 사용하면 인사이트 및 의사 결정에 대한 가치 창출 시간을 단축하고 기술 솔루션 간의 데이터 사일로를 해체할 수 있는 간편한 환경이 제공됩니다.
- BI 및 AI용 기본 제공 분석이 기본 제공된 SaaS 데이터 레이크로 데이터 및 메타데이터를 거의 실시간으로 복제
Microsoft Fabric 플랫폼은 단순성과 통합을 완전히 새로운 차원으로 끌어올린 SaaS(Software as a Service)를 기반으로 구축되었습니다. Microsoft Fabric에 대한 자세한 내용은 Microsoft Fabric이란?을 참조하세요
미러링에서는 Fabric 작업 영역에 다음 세 개의 항목을 만듭니다.
- 미러링에서는 데이터 및 메타데이터를 OneLake로 복제하고 분석을 준비한 형식으로 Parquet으로 변환합니다. 이를 통해 데이터 엔지니어링, 데이터 과학 등과 같은 다운스트림 시나리오를 사용할 수 있습니다.
- SQL 분석 엔드포인트
- 기본 의미 체계 모델
SQL 쿼리 편집기 외에도 SSMS(SQL Server Management Studio),Visual Studio Code를 사용한 mssql 확장, 심지어 GitHub를 비롯한 광범위한 도구 에코시스템이 있습니다Copilot.
공유를 사용하면 액세스 제어 및 관리가 용이하여 중요한 정보에 대한 액세스를 제어할 수 있습니다. 또한 공유를 통해 조직 전체에서 안전하고 민주적인 의사 결정을 내릴 수 있습니다.
미러링 유형
패브릭은 미러링을 통해 OneLake로 데이터를 가져오는 세 가지 방법을 제공합니다.
- 데이터베이스 미러링 – Microsoft Fabric의 데이터베이스 미러링을 사용하면 전체 데이터베이스와 테이블을 복제할 수 있으므로 다양한 시스템의 데이터를 단일 분석 플랫폼으로 가져올 수 있습니다.
- 메타데이터 미러링 – 패브릭의 메타데이터 미러링이 데이터를 물리적으로 이동하는 대신 메타데이터(예: 카탈로그 이름, 스키마 및 테이블)를 동기화합니다. 이 방법은 바로 가기를 활용하여 패브릭 내에서 쉽게 액세스할 수 있는 동시에 데이터가 원본에 유지되도록 합니다.
- 오픈 미러링 – 패브릭의 개방형 미러링이 개방형 Delta Lake 테이블 형식에 따라 미러링을 확장하도록 설계되었습니다. 이 기능을 사용하면 모든 개발자가 개방형 미러링 접근 방식 및 공용 API를 기반으로 애플리케이션의 변경 데이터를 Microsoft Fabric의 미러된 데이터베이스 항목에 직접 쓸 수 있습니다.
현재 다음과 같은 외부 데이터베이스를 사용할 수 있습니다.
| 플랫폼 | 근 실시간 복제 | 미러링 유형 | 엔드투엔드 자습서 |
|---|---|---|---|
| Azure Cosmos DB의 Microsoft Fabric 미러된 데이터베이스(미리 보기) | 예 | 데이터베이스 미러링 | 자습서: Azure Cosmos DB |
| Azure Databricks의 Microsoft Fabric 미러된 데이터베이스(미리 보기) | 예 | 메타데이터 미러링 | 자습서: Azure Databricks |
| Azure SQL 데이터베이스의 Microsoft Fabric 미러된 데이터베이스 | 예 | 데이터베이스 미러링 | 자습서: Azure SQL 데이터베이스 |
| Azure SQL Managed Instance의 Microsoft Fabric 미러된 데이터베이스(미리 보기) | 예 | 데이터베이스 미러링 | 자습서: Azure SQL Managed Instance |
| Snowflake의 Microsoft Fabric 미러된 데이터베이스 | 예 | 데이터베이스 미러링 | 자습서: Snowflake |
| 미러된 데이터베이스 열기 (미리 보기) | 예 | 미러링 열기 | 자습서: 미러링 열기 |
| Fabric SQL 데이터베이스의 Microsoft Fabric 미러된 데이터베이스 (미리 보기) | 예 | 데이터베이스 미러링 | 자동으로 구성됨 |
데이터베이스 미러링의 거의 실시간 복제는 어떻게 작동하나요?
운영 데이터 원본에 대한 보안 연결을 만들어 미러링을 사용하도록 설정합니다. 전체 데이터베이스 또는 개별 테이블을 복제할지 여부를 선택하면 미러링이 자동으로 데이터를 동기화 상태로 유지합니다. 설정되면 데이터는 분석 사용을 위해 OneLake에 지속적으로 복제됩니다.
미러링의 핵심 개념은 다음과 같습니다.
Fabric에서 미러링을 사용하도록 설정하는 것은 복잡한 ETL 파이프라인을 만들고, 다른 컴퓨팅 리소스를 할당하고, 데이터 이동을 관리할 필요 없이 간단하고 직관적입니다.
Fabric의 미러링은 완전 관리형 서비스이므로 미러된 연결의 복제를 호스팅, 유지 관리 또는 관리하는 것에 대해 걱정할 필요가 없습니다.
메타데이터 미러링의 작동 방식
미러링을 사용하면 데이터 복제가 가능할 뿐만 아니라 전체 데이터 복제가 아닌 바로 가기 또는 메타데이터 미러링을 통해 수행할 수 있으므로 데이터를 물리적으로 이동하거나 복제하지 않고도 데이터를 사용할 수 있습니다. 이 컨텍스트에서 미러링하는 것은 실제 데이터 자체가 아니라 카탈로그 이름, 스키마 및 테이블과 같은 메타데이터만 복제하는 것을 의미합니다. 이 접근 방식을 통해 Fabric은 복제하지 않고도 다양한 원본의 데이터에 액세스할 수 있도록 하여 데이터 관리를 간소화하고 스토리지 요구 사항을 최소화할 수 있습니다.
예를 들어 Unity 카탈로그에 등록된 데이터에 액세스할 때 Fabric은 Azure Databricks의 카탈로그 구조만 미러링하여 기본 데이터에 바로 가기를 통해 액세스할 수 있도록 합니다. 이 방법을 사용하면 데이터 이동, 실시간 동기화 유지 및 최신 정보 액세스 효율성 향상 없이 원본 데이터의 모든 변경 내용이 패브릭에 즉시 반영됩니다.
개방형 미러링의 작동 방식
데이터 원본에 대한 보안 연결을 만들어 데이터 복제를 사용하도록 설정하는 미러링 외에도 기존 데이터 공급자를 선택하거나 자체 애플리케이션을 작성하여 데이터를 미러된 데이터베이스에 배치할 수도 있습니다. 공개 API 또는 패브릭 포털을 통해 열린 미러된 데이터베이스를 만들면 OneLake에서 랜딩 존 URL을 얻을 수 있으며, 여기서 열린 미러링 사양에 따라 변경 데이터를 가져올 수 있습니다.
데이터가 적절한 형식의 랜딩 존에 있으면 복제가 실행되기 시작하고 변경 내용을 업데이트, 삽입 및 삭제와 병합하여 델타 테이블에 반영되는 복잡성을 관리합니다. 이 메서드를 사용하면 랜딩 존에 기록된 모든 데이터가 즉시 패브릭의 데이터를 최신 상태로 유지할 수 있습니다.
공유
공유를 사용하면 액세스 제어 및 관리가 용이하며, RLS(행 수준 보안) 및 OLS(개체 수준 보안)와 같은 보안 제어를 통해 중요한 정보에 대한 액세스를 제어할 수 있습니다. 또한 공유를 통해 조직 전체에서 안전하고 민주적인 의사 결정을 내릴 수 있습니다.
공유를 통해 사용자는 작업 영역 및 나머지 항목에 대한 액세스 권한을 부여하지 않고 다른 사용자 또는 사용자 그룹에 미러된 데이터베이스에 대한 액세스 권한을 부여합니다. 미러된 데이터베이스를 공유하는 경우 SQL 분석 끝점 및 연결된 기본 의미 체계 모델에 대한 액세스 권한도 부여할 수 있습니다.
자세한 내용은 미러된 데이터베이스 공유 및 권한 관리를 참조 하세요.
데이터베이스 간 쿼리
OneLake에 저장된 미러된 데이터베이스의 데이터를 사용하여 데이터베이스 간 쿼리를 작성하여 단일 T-SQL 쿼리로 Lakehouses의 미러된 데이터베이스, 웨어하우스 및 SQL 분석 엔드포인트의 데이터를 조인할 수 있습니다. 자세한 내용은 교차 데이터베이스 쿼리를 참조하세요.
예를 들어 세 부분으로 구성된 이름을 사용하여 미러된 데이터베이스 및 웨어하우스에서 테이블을 참조할 수 있습니다. 다음 예제에서는 세 부분으로 구성된 이름을 사용하여 ContosoSalesTable 웨어하우스의 ContosoWarehouse을 참조합니다. 다른 데이터베이스 또는 웨어하우스에서 표준 SQL 세 부분으로 구성된 명명 규칙의 첫 번째 부분은 미러된 데이터베이스의 이름입니다.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
미러된 데이터베이스 데이터로 데이터 엔지니어
Microsoft Fabric은 데이터에 쉽게 액세스할 수 있고, 잘 구성되고, 품질이 뛰어나도록 다양한 데이터 엔지니어링 기능을 제공합니다. Fabric 데이터 엔지니어링에서 다음을 수행할 수 있습니다.
- 레이크하우스를 사용하여 Spark로 데이터 만들기 및 관리
- 레이크하우스에 데이터를 복사하도록 파이프라인 설계
- Spark 작업 정의를 사용하여 Spark 클러스터에 일괄 처리/스트리밍 작업 제출
- Notebook을 사용하여 데이터 수집, 준비 및 변환에 대한 코드 작성
미러된 데이터베이스 데이터를 이용한 데이터 과학
Microsoft Fabric은 사용자가 데이터 보강 및 비즈니스 인사이트를 위해 엔드 투 엔드 데이터 과학 워크플로를 완료할 수 있도록 하는 패브릭 데이터 과학 제공합니다. 데이터 탐색, 준비 및 정리에서 실험, 모델링, 모델 점수 매기기 및 예측 인사이트 제공, BI 보고서에 이르기까지 전체 데이터 과학 프로세스에서 광범위한 활동을 완료할 수 있습니다.
Microsoft Fabric 사용자는 데이터 과학 워크로드에 액세스할 수 있습니다. 여기에서 다양한 관련 리소스를 검색하고 액세스할 수 있습니다. 예를 들어 기계 학습 실험, 모델 및 Notebook을 만들 수 있습니다. 데이터 과학 홈페이지에서 기존 전자 필기장을 가져올 수도 있습니다.
패브릭의 SQL 데이터베이스
패브릭 포털 내에서 Microsoft Fabric(미리 보기)에서 SQL 데이터베이스를 직접 만들고 관리할 수도 있습니다. Azure SQL Database에 따라 Fabric의 SQL 데이터베이스는 분석을 위해 자동으로 미러링되며 Fabric에서 운영 데이터베이스를 쉽게 만들 수 있습니다. SQL 데이터베이스는 OLTP 워크로드용 패브릭의 홈이며 패브릭의 소스 제어 통합과 통합할 수 있습니다.