데이터 흐름 새로 고침
데이터 흐름을 사용하면 다운스트림 사용을 위해 데이터를 스토리지에 연결, 변환, 결합 및 로드할 수 있습니다. 데이터 흐름의 핵심 요소는 데이터를 추출, 변환 및 대상 스토리지에 로드하기 위해 작성하는 동안 정의된 변환 단계를 적용하는 새로 고침 프로세스입니다.
요청 시 또는 새로 고침 일정을 설정하여 두 가지 방법 중 하나로 데이터 흐름 새로 고침을 트리거할 수 있습니다. 예약된 새로 고침은 지정한 특정 날짜 및 시간에 따라 실행됩니다.
필수 조건
데이터 흐름을 새로 고치는 데 필요한 필수 구성 요소는 다음과 같습니다.
요청 시 새로 고침
요청 시 데이터 흐름을 새로 고치려면 작업 영역 목록 또는 계보 보기에 있는 새로 고침 아이콘을 선택합니다.
주문형 데이터 흐름 새로 고침을 트리거할 수 있는 다른 방법이 있습니다. 데이터 흐름 게시가 성공적으로 완료되면 주문형 새로 고침이 시작됩니다. 또한 데이터 흐름 작업이 포함된 파이프라인을 통해 주문형 새로 고침을 트리거할 수 있습니다.
예약된 새로 고침
일정에 따라 데이터 흐름을 자동으로 새로 고치려면 작업 영역 목록 보기에 있는 예약된 새로 고침 아이콘을 선택합니다.
새로 고침 섹션에서는 하루에 최대 48회까지 데이터 흐름을 새로 고칠 빈도와 시간 슬롯을 정의할 수 있습니다. 다음 스크린샷은 12시간 간격의 일일 새로 고침 일정을 보여줍니다.
새로 고침 취소
데이터 흐름 새로 고침 취소는 사용량이 많은 시간 동안 새로 고침을 중지하려는 경우, 용량이 한도에 가까워지거나 새로 고침이 예상보다 오래 걸리는 경우에 유용합니다. 새로 고침 취소 기능을 사용하여 데이터 흐름 새로 고침을 중지합니다.
데이터 흐름 새로 고침을 취소하려면 진행 중인 새로 고침이 있는 데이터 흐름에 대한 작업 영역 목록 또는 계보 보기에 있는 취소 아이콘을 선택합니다.
데이터 흐름 새로 고침이 취소되면 데이터 흐름의 새로 고침 기록 상태가 취소 상태를 반영하도록 업데이트됩니다.
새로 고침 제한
데이터 흐름 새로 고침의 경우 다음과 같은 몇 가지 제한 사항이 적용됩니다.
- 데이터 흐름당 24시간(롤링 기간)당 150개의 새로 고침만 허용됩니다. 이 제한을 초과하면 새로 고침 기록에 오류가 표시되고 한도 미만이 되면 새로 고침이 다시 시작됩니다.
- 예약된 데이터 흐름 새로 고침이 연속적으로 실패하는 경우 데이터 흐름 새로 고침 일정을 일시 중지하고 데이터 흐름 소유자에게 전자 메일을 보냅니다. 이 페이지에는 다음 규칙이 적용됩니다.
- 72시간 (3일)
- 72시간 동안 100% 실패율
- 최소 6개의 새로 고침(하루에 2회 새로 고침)
- 168시간 (1주)
- 168시간 동안 100% 실패율
- 최소 5회 새로 고침(하루에 1회 새로 고침)
- 72시간 (3일)
- 쿼리의 단일 평가는 8시간으로 제한됩니다.
- 데이터 흐름의 단일 새로 고침의 총 새로 고침 시간은 최대 24시간으로 제한됩니다.
- 데이터 흐름당 최대 50개의 준비된 쿼리 또는 출력 대상이 있는 쿼리 또는 둘 다의 조합을 가질 수 있습니다.
출력 데이터에 대한 새로 고침 취소 영향
새로 고침 취소 기능을 통해 또는 데이터 흐름 쿼리를 처리하는 동안 오류가 발생한 경우 데이터 흐름 새로 고침을 중지할 수 있습니다. 대상 유형 및 새로 고침이 중지된 시기에 따라 다른 결과를 관찰할 수 있습니다. 쿼리에 대한 두 가지 유형의 데이터 대상에 대한 가능한 결과는 다음과 같습니다.
- 쿼리가 준비에 데이터를 로드하고 있습니다. 마지막으로 성공한 새로 고침의 데이터를 사용할 수 있습니다.
- 쿼리가 데이터 대상에 데이터를 로드하고 있습니다. 취소 지점까지 작성된 데이터를 사용할 수 있습니다.
데이터 흐름의 모든 쿼리가 동시에 처리되는 것은 아닙니다. 예를 들어 데이터 흐름에 많은 쿼리가 포함되거나 일부 쿼리가 다른 쿼리에 의존하는 경우입니다. 대상에 데이터를 로드하는 쿼리를 평가하기 전에 새로 고침이 취소된 경우 해당 쿼리 대상의 데이터는 변경되지 않습니다.