Microsoft Fabric 레이크하우스 살펴보기
레이크하우스는 데이터베이스로 표시되며 Delta 형식 테이블을 사용하여 데이터 레이크를 기반으로 빌드됩니다. 레이크하우스는 관계형 데이터 웨어하우스의 SQL 기반 분석 기능과 데이터 레이크의 유연성 및 스케일링 성능을 결합합니다. 레이크하우스는 모든 데이터 형식을 저장하며 다양한 분석 도구 및 프로그래밍 언어와 함께 사용할 수 있습니다. 레이크하우스는 클라우드 기반 솔루션으로서 자동으로 스케일링되고 고가용성 및 재해 복구를 제공할 수 있습니다.
레이크하우스의 몇 가지 이점은 다음과 같습니다.
- 레이크하우스는 Spark 및 SQL 엔진을 사용하여 대규모 데이터를 처리하고 기계 학습 또는 예측 모델링 분석을 지원합니다.
- 레이크하우스 데이터는 미리 정의된 스키마를 사용하는 것이 아니라 필요에 따라 스키마를 정의하는 읽기 스키마 형식으로 구성됩니다.
- 레이크하우스는 데이터 일관성 및 무결성을 위해 Delta Lake 형식 테이블을 통해 ACID(원자성, 일관성, 격리, 내구성) 트랜잭션을 지원합니다.
- 레이크하우스는 데이터 엔지니어, 데이터 과학자 및 데이터 분석가가 데이터에 액세스하고 데이터를 사용할 수 있는 단일 위치입니다.
데이터 일관성을 유지 관리하는 스케일링 가능한 분석 솔루션을 원하는 경우 레이크하우스가 좋은 옵션입니다. 특정 요구 사항을 평가하여 가장 적합한 솔루션을 결정하는 것이 중요합니다.
데이터를 레이크하우스에 로드
Fabric 레이크하우스는 분석 솔루션의 핵심 요소입니다. ETL(추출, 변환 및 로드) 프로세스를 따라 레이크하우스로 로드하기 전에 데이터를 수집하고 변환할 수 있습니다.
로컬 파일, 데이터베이스 또는 API를 비롯한 다양한 원본에서 많은 일반적인 형식으로 데이터를 수집할 수 있습니다. Azure Data Lake Store Gen2 또는 OneLake와 같은 외부 원본의 데이터에 대한 Fabric 바로 가기를 만들 수도 있습니다. 레이크하우스 탐색기를 사용하여 파일, 폴더, 바로 가기 및 테이블을 찾아보고 Fabric 플랫폼 내에서 해당 콘텐츠를 볼 수 있습니다.
수집된 데이터는 Notebook 또는 Dataflows Gen2에서 Apache Spark를 사용하여 변환한 다음 로드할 수 있습니다. Data Factory 파이프라인을 사용하여 다양한 ETL 활동을 오케스트레이션하고 준비된 데이터를 레이크하우스에 배치합니다.
참고 항목
데이터 흐름 Gen2는 기존 프로그래밍의 대안으로 변환의 시각적 표현을 제공하는 Excel 또는 Power BI를 사용하는 데이터 분석가에게 친숙한 도구인 Power Query를 기반으로 합니다.
다음을 비롯한 여러 가지 이유로 레이크하우스를 사용할 수 있습니다.
- SQL을 사용하여 분석합니다.
- 기계 학습 모델을 학습시킵니다.
- 실시간 데이터에 대한 분석을 수행합니다.
- Power BI에서 보고서를 개발합니다.
레이크하우스 보안
레이크하우스 액세스는 작업 영역 또는 항목 수준 공유를 통해 관리됩니다. 작업 영역 역할은 작업 영역 내의 모든 항목에 대한 액세스 권한을 부여하므로 공동 작업자에 사용해야 합니다. 항목 수준 공유는 분석 또는 Power BI 보고서 개발과 같은 읽기 전용 요구 사항에 대한 액세스 권한을 부여하는 데 가장 적합합니다.
Fabric 레이크하우스는 민감도 레이블을 비롯한 데이터 거버넌스 기능도 지원하며, Fabric 테넌트와 함께 Microsoft Purview를 사용하여 확장할 수 있습니다.
참고 항목
자세한 내용은 Microsoft Fabric의 보안 설명서를 참조하세요.