OneLake 바로 가기에 대한 쿼리 가속 - 개요(미리 보기)
OneLake 바로 가기는 내부 패브릭 또는 외부 원본을 가리키는 Eventhouse의 참조입니다. 이러한 종류의 바로 가기는 나중에 함수를 사용하여 KQL 쿼리 세트의 쿼리에 액세스합니다external_table(). OneLake 바로 가기를 통해 실행되는 쿼리는 스토리지에서 데이터를 가져오는 네트워크 호출, 인덱스 부재 등과 같은 다양한 요인으로 인해 Eventhouses에 직접 수집되는 데이터보다 성능이 떨어집니다.
쿼리 가속을 사용하면 고성능 쿼리를 위해 데이터를 캐시할 일 수를 정의하는 외부 델타 테이블 위에 정책을 지정할 수 있습니다.
쿼리 가속은 OneLake 바로 가기, Azure Data Lake Store Gen1, Amazon S3, Google Cloud Services, Azure Blob Storage 외부 테이블 및 OneLake 바로 가기에서 지원하는 모든 대상의 델타 테이블을 통해 Eventhouse에서 지원됩니다.
Important
이 기능은 미리 보기로 제공됩니다.
참고 항목
특정 지역에 데이터를 저장해야 하는 규정 준수 고려 사항이 있는 경우 Eventhouse 용량이 외부 테이블 또는 바로 가기 데이터와 동일한 지역에 있는지 확인합니다.
가속화된 외부 테이블은 KQL 데이터베이스의 일반 테이블과 유사하게 Eventhouse의 스토리지 COGS 및 SSD 스토리지 소비에 추가됩니다. 쿼리 가속 정책에서 Hot 속성을 정의하여 캐시할 데이터의 양을 제어할 수 있습니다. 인덱싱 및 수집 작업도 컴퓨팅 리소스 사용에 기여합니다.
OneLake 바로 가기에 쿼리 가속을 사용해야 하는 경우는 언제인가요?
쿼리 가속은 OneLake에 착륙할 때 데이터를 캐시하여 Eventhouse에서 데이터를 수집하는 것과 비슷한 성능을 제공합니다. 이 기능을 사용하면 기존 데이터 및 새 업데이트를 포함하여 OneLake에서 데이터 랜딩을 가속화하고 비슷한 성능을 기대할 수 있습니다. 이렇게 하면 수집 파이프라인을 관리하고 중복된 데이터 복사본을 유지 관리하는 동시에 추가 작업 없이 데이터가 동기화된 상태로 유지되도록 할 필요가 없습니다.
다음 시나리오는 OneLake 바로 가기를 통해 쿼리 가속을 사용하는 데 적합합니다.
- 고성능을 사용하여 OneLake에서 데이터 쿼리: 데이터를 업로드하고 스토리지에서 관리하는 기존 워크로드가 있는 경우(선택적으로 다른 클라우드 또는 지역에서), 고성능으로 데이터의 일부 또는 전부를 쿼리하려고 합니다.
- 기록 데이터를 실시간 스트림과 결합: OneLake의 데이터 랜딩을 쿼리 속도에 영향을 주지 않고 Eventhouse로 들어오는 실시간 스트림과 원활하게 결합하려는 경우.
- 다른 항목에서 관리하는 차원 데이터를 활용합니다. 대개 높은 값과 작은 볼륨 데이터는 SQL 서버, Cosmos DB, Snowflake 또는 OneLake로 미러링할 수 있는 다른 시스템에서 호스팅됩니다. 가속화된 OneLake 바로 가기를 사용하면 Eventhouse 쿼리의 조인 및 보강에 이 데이터를 쉽게 사용할 수 있습니다. 차원 데이터가 활동 데이터보다 훨씬 작은 경우가 많으므로 해당 사용량과 관련된 추가 비용은 일반적으로 최소화됩니다.
가속된 외부 델타 테이블의 동작
가속화된 OneLake 바로 가기는 동일한 제한 사항 및 기능을 사용하여 외부 테이블처럼 작동합니다. 특히 구체화된 뷰 및 업데이트 정책과 같은 기능은 지원되지 않습니다.
가속 동작 모니터링
쿼리 가속의 초기 프로세스는 외부 테이블의 크기에 따라 달라집니다. 가속 테이블의 진행률 및 설정을 모니터링하려면 KQL 쿼리 세트에서 .show external table operations query_acceleration statistics 명령을 사용합니다.
제한 사항
- 외부 테이블의 열 수는 900을 초과할 수 없습니다.
- 미리 보기 중에 파티션이 있는 가속 외부 델타 테이블에 대한 쿼리 성능이 최적이 아닐 수 있습니다.
- 이 기능은 정적 고급 기능이 있는 델타 테이블을 가정합니다. 예를 들어 열 매핑은 변경되지 않고 파티션은 변경되지 않습니다. 고급 기능을 변경하려면 먼저 정책을 사용하지 않도록 설정하고 변경이 완료되면 정책을 다시 사용하도록 설정합니다.
- 델타 테이블의 스키마 변경 내용도 해당
.alter외부 델타 테이블 스키마와 함께 따라야 합니다. 이로 인해 스키마 변경이 중단될 경우 처음부터 가속화가 시작될 수 있습니다. - 파티션에는 인덱스 기반 정리가 지원되지 않습니다.
- 압축 크기가 6GB보다 큰 Parquet 파일은 캐시되지 않습니다.
결제
가속 데이터는 네이티브 Eventhouse 테이블과 유사하게 OneLake Premium 캐시 미터에서 청구됩니다. 캐시할 일 수를 구성하여 가속화되는 데이터의 양을 제어할 수 있습니다. 인덱싱 작업은 CU 사용량에 포함할 수도 있습니다. 자세한 내용은 Storage 청구를 참조 하세요.
쿼리 가속과 관련된 요금은 가속 바로 가기가 만들어지는 Eventhouse 아래의 패브릭 메트릭 앱 에 표시됩니다.