데이터 흐름에 증분 새로 고침 사용
데이터 흐름을 사용하면 Power BI 또는 조직의 제공된 스토리지로 대량의 데이터를 가져올 수 있습니다. 그러나 경우에 따라 각 새로 고침에서 원본 데이터의 전체 복사본을 업데이트하는 것은 실용적이지 않습니다. 좋은 대안은 데이터 흐름에 다음과 같은 이점을 제공하는 증분 새로 고침입니다.
- 새로 고침은 더 빠르게 발생합니다. 변경된 데이터만 새로 고쳐야 합니다. 예를 들어 10년 데이터 흐름의 마지막 5일만 새로 고칩니다.
- 새로 고침이 더 안정적입니다. 예를 들어 휘발성 원본 시스템에 대한 장기 실행 연결을 유지할 필요는 없습니다.
- 리소스 사용량 감소: 새로 고칠 데이터가 적으면 메모리 및 기타 리소스의 전체 사용량이 줄어듭니다.
증분 새로 고침은 Power BI에서 만든 데이터 흐름 및 Power Apps에서 만든 데이터 흐름에서 사용할 수 있습니다. 이 문서에서는 Power BI의 화면을 보여 주지만 이러한 지침은 Power BI 또는 Power Apps에서 만든 데이터 흐름에 적용됩니다.
참고 항목
분석 데이터 흐름의 테이블에 대한 스키마가 변경되면 모든 결과 데이터가 새 스키마와 일치하는지 확인하기 위해 전체 새로 고침이 수행됩니다. 따라서 증분 방식으로 저장된 모든 데이터가 새로 고쳐지고 경우에 따라 원본 시스템에서 기록 데이터를 유지하지 않는 경우 손실됩니다.
Power BI에서 만든 데이터 흐름에서 증분 새로 고침을 사용하려면 데이터 흐름이 프리미엄 용량의 작업 영역에 있어야 합니다. Power Apps에서 증분 새로 고침을 수행하려면 앱별 또는 사용자별 Power Apps 계획이 필요하며, Azure Data Lake Storage를 대상으로 사용하는 데이터 흐름에만 사용할 수 있습니다.
Power BI 또는 Power Apps에서 증분 새로 고침을 사용하려면 데이터 흐름에 수집된 원본 데이터에 증분 새로 고침이 필터링할 수 있는 DateTime 필드가 있어야 합니다.
데이터 흐름에 대한 증분 새로 고침 구성
데이터 흐름에는 많은 테이블이 포함될 수 있습니다. 증분 새로 고침은 테이블 수준에서 설정되므로 한 데이터 흐름이 완전히 새로 고친 테이블과 증분 새로 고침 테이블을 모두 유지할 수 있습니다.
증분 새로 고침 테이블을 설정하려면 먼저 다른 테이블과 마찬가지로 테이블을 구성합니다.
데이터 흐름을 만들고 저장한 후 다음 이미지와 같이 테이블 뷰에서 증분 새로 고침
을 선택합니다.
아이콘 을 선택하면 증분 새로 고침 설정 창이 나타납니다. 증분 새로 고침을 켭니다.
다음 목록에서는 증분 새로 고침 설정 창의 설정을 설명합니다.
증분 새로 고침 설정/해제 토글: 테이블에 대한 증분 새로 고침 정책을 설정하거나 해제합니다.
필터 필드 드롭다운: 증분 단위로 테이블을 필터링할 쿼리 필드를 선택합니다. 이 필드에는 DateTime 필드만 포함됩니다. 테이블에 DateTime 필드가 없는 경우 증분 새로 고침을 사용할 수 없습니다.
Important
증분 새로 고침 필터의 교환되지 않는 날짜 필드를 선택합니다. 필드 값이 변경되는 경우(예: 날짜 수정 필드가 있는 경우) 데이터의 중복 값으로 인해 새로 고침 실패가 발생할 수 있습니다.
과거의 행 저장/새로 고침: 이전 이미지의 예제에서는 다음 몇 가지 설정을 보여 줍니다.
이 예제에서는 총 5년 데이터를 저장하고 10일의 데이터를 증분 방식으로 새로 고치는 새로 고침 정책을 정의합니다. 테이블이 매일 새로 고쳐지는 경우 각 새로 고침 작업에 대해 다음 작업이 수행됩니다.
새 데이터 일을 추가합니다.
현재 날짜까지 10일을 새로 고칩니다.
현재 날짜보다 5년 이전인 달력 연도를 제거합니다. 예를 들어 현재 날짜가 2019년 1월 1일이면 2013년은 제거됩니다.
첫 번째 데이터 흐름 새로 고침은 5년을 모두 가져오는 데 시간이 걸릴 수 있지만 후속 새로 고침은 훨씬 더 빨리 완료될 가능성이 높습니다.
데이터 변경 내용 검색: 10일의 증분 새로 고침은 5년의 전체 새로 고침보다 훨씬 효율적이지만 더 잘 할 수 있습니다. 데이터 변경 내용 검색 확인란을 선택하면 날짜/시간 열을 선택하여 데이터가 변경된 날짜만 식별하고 새로 고칠 수 있습니다. 일반적으로 감사 목적으로 원본 시스템에 이러한 열이 있다고 가정합니다. 이 열의 최댓값은 증분 범위의 각 기간에 대해 계산됩니다. 마지막 새로 고침 이후 해당 데이터가 변경되지 않은 경우 기간을 새로 고칠 필요가 없습니다. 이 예제에서는 증분 방식으로 새로 고쳐진 일 수를 10에서 2로 줄일 수 있습니다.
팁
현재 디자인을 사용하려면 데이터 변경 내용을 검색하는 데 사용되는 열이 유지되고 메모리에 캐시되어야 합니다. 카디널리티 및 메모리 사용량을 줄이기 위해 다음 기술 중 하나를 고려할 수 있습니다.
- 파워 쿼리 함수를 사용하여 새로 고칠 때 이 열의 최대값만 유지합니다.
- 새로 고침 빈도 요구 사항을 고려할 때 허용되는 수준으로 정밀도를 줄입니다.
새로 고침 완료 기간만: 새로 고침이 매일 오전 4:00에 실행되도록 예약되어 있다고 상상해 보세요. 해당 날짜의 처음 4시간 동안 원본 시스템에 데이터가 표시되는 경우 데이터를 고려하지 않을 수 있습니다. 석유 및 가스 산업의 일일 배럴과 같은 일부 비즈니스 메트릭은 부분일을 기준으로 고려하는 것이 실용적이거나 합리적이지 않습니다.
전체 기간만 새로 고치는 것이 적절한 또 다른 예는 금융 시스템에서 데이터를 새로 고치는 것입니다. 이전 달의 데이터가 해당 달의 12일째에 승인되는 재무 시스템을 상상해 보세요. 증분 범위를 1개월로 설정하고 새로 고침이 해당 월의 12일에 실행되도록 예약할 수 있습니다. 이 옵션을 선택하면 시스템은 2월 12일에 1월 데이터(가장 최근 완료된 월별 기간)를 새로 고칩니다.
참고 항목
데이터 흐름 증분 새로 고침은 다음 논리에 따라 날짜를 결정합니다. 새로 고침이 예약된 경우 데이터 흐름에 대한 증분 새로 고침은 새로 고침 정책에 정의된 표준 시간대를 사용합니다. 새로 고침 일정이 없는 경우 증분 새로 고침은 새로 고침을 실행하는 컴퓨터의 시간을 사용합니다.
증분 새로 고침이 구성된 후 데이터 흐름은 날짜별 필터링을 포함하도록 쿼리를 자동으로 변경합니다. Power BI에서 데이터 흐름을 만든 경우 파워 쿼리의 고급 편집기를 사용하여 자동으로 생성된 쿼리를 편집하여 새로 고침을 미세 조정하거나 사용자 지정할 수도 있습니다. 다음 섹션에서 증분 새로 고침 및 작동 방식에 대해 자세히 알아보세요.
참고 항목
데이터 흐름을 편집할 때 파워 쿼리 편집기가 데이터 원본에 직접 연결하고 증분 새로 고침 정책에 의해 처리된 후 데이터 흐름에서 캐시/필터링된 데이터를 표시하지 않습니다. 데이터 흐름 내에 캐시된 데이터를 확인하려면 증분 새로 고침 정책을 구성하고 데이터 흐름을 새로 고친 후 Power BI Desktop에서 데이터 흐름으로 연결합니다.
증분 새로 고침 및 연결된 테이블과 계산된 테이블 비교
연결된 테이블의 경우 증분 새로 고침이 원본 테이블을 업데이트합니다. 연결된 테이블은 단순히 원래 테이블에 대한 포인터이므로 증분 새로 고침은 연결된 테이블에 영향을 주지 않습니다. 원본 테이블이 정의된 새로 고침 정책에 따라 새로 고쳐지면 연결된 테이블은 원본의 데이터가 새로 고쳐진 것으로 가정해야 합니다.
계산 테이블 은 다른 데이터 흐름이 될 수 있는 데이터 저장소를 통해 실행되는 쿼리를 기반으로 합니다. 따라서 계산 테이블은 연결된 테이블과 동일한 방식으로 작동합니다.
계산 테이블과 연결된 테이블은 비슷하게 작동하므로 요구 사항 및 구성 단계는 둘 다 동일합니다. 한 가지 차이점은 계산 테이블의 경우 특정 구성에서 파티션이 빌드되는 방식 때문에 증분 새로 고침을 최적화된 방식으로 실행할 수 없다는 것입니다.
증분 새로 고침과 전체 새로 고침 간 변경
데이터 흐름은 증분 및 전체 새로 고침 간에 새로 고침 정책 변경을 지원합니다. 변경 내용이 어느 방향으로든(전체에서 증분으로 또는 전체로) 변경되면 다음 새로 고침 후 데이터 흐름에 영향을 줍니다.
전체 새로 고침에서 증분으로 데이터 흐름을 이동하는 경우 새 새로 고침 논리는 새로 고침 창을 준수하고 증분 새로 고침 설정에 정의된 대로 증분하여 데이터 흐름을 업데이트합니다.
데이터 흐름을 증분에서 전체 새로 고침으로 이동하는 경우 증분 새로 고침에 누적된 모든 데이터는 전체 새로 고침에 정의된 정책에 의해 덮어씁니다. 이 작업을 승인해야 합니다.
증분 새로 고침의 표준 시간대 지원
데이터 흐름 증분 새로 고침은 실행되는 시간에 따라 달라집니다. 쿼리 필터링은 쿼리가 실행되는 날짜에 따라 달라집니다.
이러한 종속성을 수용하고 데이터 일관성을 보장하기 위해 데이터 흐름에 대한 증분 새로 고침은 지금의 새로 고침 시나리오에 대해 다음과 같은 추론을 구현합니다.
예약된 새로 고침이 시스템에 정의된 경우 증분 새로 고침은 예약된 새로 고침 섹션의 표준 시간대 설정을 사용합니다. 이렇게 하면 데이터 흐름을 새로 고치는 사용자가 어떤 표준 시간대에 있든 항상 시스템의 정의와 일치합니다.
예약된 새로 고침이 정의되지 않은 경우 데이터 흐름은 새로 고침을 수행하는 사용자의 컴퓨터에서 표준 시간대를 사용합니다.
API를 사용하여 증분 새로 고침을 호출할 수도 있습니다. 이 경우 API 호출은 새로 고침에 사용되는 표준 시간대 설정을 유지할 수 있습니다. API를 사용하면 테스트 및 유효성 검사에 유용할 수 있습니다.
증분 새로 고침 구현 세부 정보
데이터 흐름은 증분 새로 고침에 분할을 사용합니다. 데이터 흐름의 증분 새로 고침은 새로 고침 정책 요구 사항을 충족하기 위해 최소 파티션 수를 유지합니다. 범위를 벗어난 이전 파티션은 삭제되어 롤링 창을 유지합니다. 파티션은 기회적으로 병합되어 필요한 총 파티션 수를 줄입니다. 이렇게 하면 압축이 향상되고 경우에 따라 쿼리 성능이 향상될 수 있습니다.
이 섹션의 예제에서는 다음 새로 고침 정책을 공유합니다.
- 지난 1분기의 행 저장
- 지난 10일 동안의 행 새로 고침
- 데이터 변경 내용 검색 = False
- 완료 일만 새로 고침 = True
파티션 병합
이 예제에서 일 파티션은 증분 범위를 벗어나면 자동으로 월 수준으로 병합됩니다. 증분 범위의 파티션은 매일 세분성으로 유지 관리하여 해당 일만 새로 고칠 수 있도록 해야 합니다. 실행 날짜가 2016년 12월 11일인 새로 고침 작업은 증분 범위를 벗어나므로 11월에 일을 병합합니다.
이전 파티션 삭제
전체 범위를 벗어나는 이전 파티션이 제거됩니다. 실행 날짜가 2017년 1월 2일인 새로 고침 작업은 총 범위를 벗어나므로 2016년 3분기 파티션을 삭제합니다.
장기간 오류로부터 복구
이 예제에서는 시스템이 장기간의 오류로부터 정상적으로 복구되는 방법을 시뮬레이션합니다. 데이터 원본 자격 증명이 만료되고 문제를 해결하는 데 13일이 걸리므로 새로 고침이 성공적으로 실행되지 않는다고 가정해 보겠습니다. 증분 범위는 10일입니다.
2017년 1월 15일 실행 날짜로 성공한 다음 성공적인 새로 고침 작업은 누락된 13일을 백필하고 새로 고쳐야 합니다. 또한 정상적인 일정에 따라 새로 고쳐지지 않았기 때문에 이전 9일을 새로 고쳐야 합니다. 즉, 증분 범위가 10일에서 22일로 증가합니다.
다음 새로 고침 작업은 실행 날짜 1/16/2017을 사용하여 12월의 일과 2016년 4분기의 월을 병합할 수 있습니다.
데이터 흐름 증분 새로 고침 및 데이터 집합
데이터 흐름 증분 새로 고침 및 데이터 집합 증분 새로 고침은 동시에 작동하도록 설계되었습니다. 데이터 흐름에 증분 새로 고침 테이블이 있고, 데이터 집합에 완전히 로드되거나, 데이터 흐름에 완전히 로드된 테이블이 데이터 세트에 증분 로드되는 것이 허용되며 지원됩니다.
두 방법 모두 새로 고침 설정에서 지정된 정의에 따라 작동합니다. 추가 정보: Power BI Premium의 증분 새로 고침
참고 항목
이 문서에서는 데이터 흐름에 대한 증분 새로 고침을 설명했습니다. 다음은 유용할 수 있는 몇 가지 추가 문서입니다.
- Power BI의 셀프 서비스 데이터 준비
- 데이터 흐름에서 계산 테이블 만들기
- 데이터 흐름에 대한 데이터 원본에 연결
- 데이터 흐름 간에 테이블 연결
- Power BI에서 데이터 흐름 만들기 및 사용
- 온-프레미스 데이터 원본에서 데이터 흐름 사용
- Power BI 데이터 흐름에 대한 개발자 리소스
Power Query 및 예약된 새로 고침에 대한 자세한 내용은 다음 문서를 참조하세요.
공통 데이터 모델에 대한 자세한 내용은 개요 문서를 참조하세요.