테이블 크기 예측

적용 대상: ✅Microsoft Fabric✅Azure Data Explorer

테이블 크기를 이해하면 효율적인 리소스 관리 및 최적화된 쿼리 성능에 도움이 될 수 있습니다. 이 문서에서는 테이블 크기를 예측하는 다양한 방법과 이를 효과적으로 사용하는 방법을 알아봅니다.

수집된 데이터의 원래 크기

.show 테이블 세부 정보 사용하여 테이블의 원래 데이터 크기를 예측합니다. 예를 들어 .show 테이블 세부 정보사용합니다.

이 명령은 데이터가 CSV 형식으로 전송되었다는 가정에 따라 테이블에 수집된 압축되지 않은 데이터 크기를 추정합니다. 예측은 문자열 표현을 고려하여 정수, longs, datetimes 및 guid와 같은 숫자 값의 대략적인 길이를 기반으로 합니다.

사용 사례 예: 시간에 따라 들어오는 데이터의 크기를 추적하여 용량 계획에 대한 정보에 입각한 결정을 내립니다.

액세스 바이트 측면에서 테이블 크기

sum() 집계 함수와 함께 estimate_data_size() 사용하여 데이터 형식 및 해당 바이트 크기에 따라 테이블 크기를 예측합니다. 예제는 estimate_data_size()사용합니다.

이 메서드는 문자열로 서식을 지정하지 않고 숫자 값의 바이트 크기를 고려하여 보다 정확한 추정을 제공합니다. 예를 들어 정수 값에는 4바이트가 필요한 반면 long 및 datetime 값은 8바이트가 필요합니다. 이 방법을 사용하면 메모리에 맞는 데이터 크기를 정확하게 예측할 수 있습니다.

사용 사례 예제: 검색할 바이트 단위로 쿼리 비용을 결정합니다.

여러 테이블의 결합된 크기

union 연산자를 estimate_data_size() 및 sum() 함수와 함께 사용하여 액세스 바이트 측면에서 여러 테이블의 결합된 크기를 예측할 수 있습니다. 예를 들어 estimate_data_size()공용 구조체를 사용합니다.

사용 사례 예제: 여러 테이블의 데이터를 단일 데이터 세트로 통합하기 위한 메모리 요구 사항을 평가합니다.

메모

이 방법은 union 지정된 테이블의 모든 열을 결합하고 estimate_data_size() 데이터 크기를 계산할 때 빈 열을 고려하므로 빈 열로 인해 예상 데이터 크기를 확장할 수 있습니다.

예제

테이블 세부 정보 표시 사용

다음 쿼리는 StormEvents 테이블의 원래 데이터 크기를 예측합니다.

쿼리 실행

.show table StormEvents details
| project TotalOriginalSize

출력

TotalOriginalSize
60192011

팁

바이트 결과를 MB, GB또는 다른 단위로 서식을 지정하려면 format_bytes()사용합니다.

estimate_data_size() 사용

다음 쿼리는 StormEvents 테이블의 원래 데이터 크기를 바이트 단위로 추정합니다.

쿼리 실행

StormEvents
| extend sizeEstimateOfColumn = estimate_data_size(*)
| summarize totalSize=sum(sizeEstimateOfColumn)

출력

totalSize
58608932

메모

계산이 동일한 테이블에 대해 수행되더라도 출력은 더 작습니다. 이 메서드는 문자열로 서식을 지정하지 않고 숫자 값의 바이트 크기를 고려하여 보다 정확한 추정을 제공하기 때문입니다.

estimate_data_size()와 공용 구조체 사용

다음 쿼리는 Samples 데이터베이스의 모든 테이블에 대한 데이터 크기를 예측합니다.

쿼리 실행

union withsource=_TableName *
| extend sizeEstimateOfColumn = estimate_data_size(*)
| summarize totalSize=sum(sizeEstimateOfColumn)
| extend sizeGB = format_bytes(totalSize,2,"GB")

totalSize	sizeGB
1761782453926	1640.79GB