Fabric Lakehouse로 데이터를 가져오는 옵션
데이터 가져오기 환경은 다음과 같이 Lakehouse로 데이터를 가져오기 위한 모든 사용자 시나리오를 다룹니다.
- 기존 SQL Server에 연결하고 Lakehouse의 Delta 테이블에 데이터를 복사합니다.
- 컴퓨터에서 파일 업로드
- 다른 Lakehouse에서 여러 테이블을 복사하여 새 델타 테이블로 병합합니다.
- 스트리밍 원본에 연결하여 Lakehouse에 데이터를 착지합니다.
- 다른 내부 Lakehouse 또는 외부 원본에서 데이터를 복사하지 않고 데이터를 참조합니다.
Lakehouse에 데이터를 로드하는 다양한 방법
Microsoft Fabric에서는 Lakehouse로 데이터를 가져올 수 있는 몇 가지 방법이 있습니다.
- 로컬 컴퓨터에서 파일 업로드
- 파이프라인에서 복사 도구 실행
- 데이터 흐름 설정
- 노트북 코드의 Apache Spark 라이브러리
- Eventstream을 사용하여 실시간 이벤트 스트리밍
- Eventhouse에서 데이터 가져오기
로컬 파일 업로드
로컬 컴퓨터에 저장된 데이터를 업로드할 수도 있습니다. Lakehouse 탐색기에서 직접 수행할 수 있습니다.
파이프라인의 복사 도구
복사 도구는 확장성이 뛰어난 데이터 통합 솔루션으로, 다른 데이터 원본에 연결하고 데이터를 원래 형식으로 로드하거나 Delta 테이블로 변환할 수 있습니다. 복사 도구는 이벤트를 기반으로 예약하거나 트리거하는 등 여러 가지 방법으로 수정할 수 있는 파이프라인 작업의 일부입니다. 자세한 내용은 복사 활동을 사용하여 데이터를 복사하는 방법을 참조하세요.
데이터 흐름
Power BI 데이터 흐름에 익숙한 사용자의 경우 Lakehouse에 데이터를 로드하는 데 동일한 도구를 사용할 수 있습니다. Lakehouse 탐색기 "데이터 가져오기" 옵션에서 빠르게 액세스하고 200개가 넘는 커넥터에서 데이터를 로드할 수 있습니다. 자세한 내용은 빠른 시작: 데이터를 가져와서 변환하는 첫 번째 데이터 흐름 만들기를 참조하세요.
Notebook 코드
사용 가능한 Spark 라이브러리를 사용하여 데이터 원본에 직접 연결하고, 데이터 프레임에 데이터를 로드한 다음, Lakehouse에 저장할 수 있습니다. 이 메서드는 사용자 코드가 완전 관리형 Lakehouse에서 데이터를 로드하는 가장 개방적인 방법입니다.
참고 항목
Spark 코드로 만든 외부 Delta 테이블은 SQL 분석 엔드포인트에 표시되지 않습니다. 테이블 공간의 바로 가기를 사용하여 SQL 분석 엔드포인트에 외부 Delta 테이블을 표시합니다.
Eventstream을 사용하여 실시간 이벤트 스트리밍
Eventstream을 사용하면 다양한 원본에서 대량의 실시간 이벤트를 가져와서 처리하고 라우팅할 수 있습니다.
Lakehouse를 Eventstream의 대상으로 추가하는 방법을 보려면 Lakehouse의 Eventstream에서 데이터 가져오기를 참조 하세요.
최적의 스트리밍 성능을 위해 Eventstream에서 Eventhouse로 데이터를 스트리밍한 다음 OneLake 가용성을 사용하도록 설정할 수 있습니다.
Eventhouse에서 데이터 가져오기
Eventhouse의 데이터에 OneLake 가용성을 사용하도록 설정하면 OneLake에서 Delta 테이블이 만들어집니다. 이 Delta 테이블은 바로 가기를 사용하여 Lakehouse에서 액세스할 수 있습니다. 자세한 내용은 OneLake 바로 가기를 참조하세요. 자세한 내용은 Eventhouse OneLake 가용성을 참조하세요.
데이터 로드 방법 선택 시 고려 사항
| 사용 사례 | 권장 사항 |
|---|---|
| 로컬 컴퓨터에서 작은 파일 업로드 | 로컬 파일 업로드 사용 |
| 작은 데이터 또는 특정 커넥터 | 데이터 흐름 사용 |
| 큰 데이터 원본 | 파이프라인에서 복사 도구 사용 |
| 복잡한 데이터 변환 | Notebook 코드 사용 |
| 스트리밍 데이터 | Eventstream을 사용하여 Eventhouse로 데이터를 스트리밍합니다. OneLake를 사용하도록 설정하고 Lakehouse에서 바로 가기 만들기 |
| 시계열 데이터 | Eventhouse에서 데이터 가져오기 |