스트리밍 데이터 흐름(미리 보기)
조직에서는 데이터를 며칠 또는 몇 주 후가 아니라 들어오는 대로 사용하려고 합니다. Power BI의 비전은 단순합니다. 일괄 처리, 실시간 및 스트리밍 간의 차이는 사라져야 합니다. 사용자는 데이터가 사용 가능한 즉시 모든 데이터로 작업할 수 있어야 합니다. 분석가는 일반적으로 데이터 원본 스트리밍, 데이터 준비, 복잡한 시간 기반 작업, 실시간 데이터 시각화를 처리하기 위해 기술적인 도움이 필요합니다. IT 부서는 사용자 지정 시스템을 빌드하고 다양한 공급업체 기술을 조합하여 적시에 데이터 분석을 수행하는 경우가 많습니다. 이러한 복잡성이 없다면 의사 결정자에게 근 실시간으로 정보를 제공할 수 없습니다.
스트리밍 데이터 흐름을 사용하면 작성자가 근 실시간 스트리밍 데이터를 기반으로 Power BI 서비스에서 바로 보고서를 연결, 수집, 매시업, 모델링 및 빌드할 수 있습니다. 이 서비스는 코드 없이 간편하게 끌어서 놓을 수 있는 환경을 사용합니다. 간편한 데이터 매시업을 위해 다이어그램 보기를 포함하는 UI(사용자 인터페이스)를 통해 필요한 경우 스트리밍 데이터를 일괄 처리 데이터와 혼합하고 일치시킬 수 있습니다. 생성되는 최종 항목은 실시간으로 사용할 수 있는 데이터 흐름으로, 근 실시간의 대화형 보고를 만듭니다. Power BI의 모든 데이터 시각화 기능은 일괄 처리 데이터와 마찬가지로 스트리밍 데이터와 작동합니다.
Important
스트리밍 데이터 흐름이 사용 중지되었으며 더 이상 사용할 수 없습니다. Azure Stream Analytics는 스트리밍 데이터 흐름의 기능을 병합했습니다. 스트리밍 데이터 흐름의 사용 중지에 대한 자세한 내용은 사용 중지 공지를 참조하세요.
사용자는 조인 및 필터와 같은 데이터 준비 작업을 수행할 수 있습니다. 그룹화 기준 작업에 대해 시간 범위 집계(예: 연속, 도약 및 세션 창)를 수행할 수도 있습니다.
조직은 Power BI의 스트리밍 데이터 흐름을 사용하여 다음과 같은 역량을 확보할 수 있습니다.
- 근 실시간으로 자신감 있는 의사 결정. 조직은 최신 인사이트를 기반으로 민첩성을 향상하고 의미 있는 조치를 수행할 수 있습니다.
- 스트리밍 데이터 민주화. 조직은 코드 없는 솔루션으로 데이터에 더 쉽게 액세스하고 쉽게 해석할 수 있으며, 이러한 접근성은 IT 리소스를 줄입니다.
- 통합 데이터 스토리지 및 비즈니스 인텔리전스가 있는 엔드투엔드 스트리밍 분석 솔루션을 사용하여 인사이트 시간을 가속화합니다.
스트리밍 데이터 흐름은 DirectQuery 및 자동 페이지 새로 고침/변경 내용 검색을 지원합니다. 이 지원을 통해 사용자는 Power BI에서 사용할 수 있는 시각적 개체를 사용하여 근 실시간으로 최대 1초마다 업데이트되는 보고서를 작성할 수 있습니다.
요구 사항
첫 번째 스트리밍 데이터 흐름을 만들기 전에 다음 요구 사항을 모두 충족하는지 확인합니다.
스트리밍 데이터 흐름을 만들고 실행할 수 있으려면 프리미엄 용량 또는 PPU(사용자 단위 Premium) 라이선스의 일부인 작업 영역이 필요합니다.
Important
PPU 라이선스를 사용하고 다른 사용자가 실시간으로 업데이트되는 스트리밍 데이터 흐름으로 만든 보고서를 사용하려는 경우 PPU 라이선스도 필요합니다. 그러면 새로 고침이 30분 간격보다 빠른 경우 설정한 것과 동일한 새로 고침 빈도로 보고서를 사용할 수 있습니다.
테넌트에서 데이터 흐름을 사용합니다. 자세한 내용은 Power BI Premium에서 데이터 흐름 사용을 확인하세요.
스트리밍 데이터 흐름이 프리미엄 용량에서 작동하도록 하려면 향상된 컴퓨팅 엔진을 켜야 합니다. 엔진은 기본적으로 켜져 있지만 Power BI 용량 관리자가 해제할 수 있습니다. 이런 경우 관리자에게 문의하여 설정하세요.
향상된 컴퓨팅 엔진은 Premium P 또는 Embedded A3 이상 용량에서만 사용할 수 있습니다. 스트리밍 데이터 흐름을 사용하려면 PPU, 모든 크기의 Premium P 용량 또는 Embedded A3 이상 용량이 필요합니다. Premium SKU 및 해당 사양에 대한 자세한 내용은 Power BI 임베디드 분석의 용량 및 SKU를 참조하세요.
실시간으로 업데이트되는 보고서를 만들려면 관리자(용량 또는 PPU용 Power BI)가 자동 페이지 새로 고침을 활성화했는지 확인합니다. 또한 관리자가 요구 사항과 일치하는 최소 새로 고침 간격을 허용했는지 확인합니다. 자세한 내용은 Power BI에서 자동 페이지 새로 고침을 참조하세요.
스트리밍 데이터 흐름 만들기
스트리밍 데이터 흐름은 다른 데이터 흐름과 마찬가지로 Power BI 서비스의 작업 영역에서 만들고 관리하는 엔터티(테이블)의 컬렉션입니다. 테이블은 데이터를 저장하는 데 사용되는 필드 세트로, 데이터베이스 내의 테이블과 매우 유사합니다.
데이터 흐름이 만들어진 작업 영역에서 직접 스트리밍 데이터 흐름의 테이블을 추가 및 편집할 수 있습니다. 일반 데이터 흐름의 주요 차이점은 새로 고침 또는 빈도에 대해 걱정할 필요가 없다는 것입니다. 스트리밍 데이터의 특성으로 인해 연속 스트림이 들어오고 있습니다. 새로 고침은 중지하지 않는 한 일정하거나 무한합니다.
참고 항목
작업 영역당 하나의 데이터 흐름 유형만 사용할 수 있습니다. 프리미엄 작업 영역에 일반 데이터 흐름이 이미 있는 경우 스트리밍 데이터 흐름을 만들 수 없으며 그 반대의 경우도 마찬가지입니다.
스트리밍 데이터 흐름을 만들려면 다음을 수행합니다.
브라우저에서 Power BI 서비스를 연 다음, 프리미엄 사용 작업 영역을 선택합니다. (일반 데이터 흐름과 같은 스트리밍 데이터 흐름은 내 작업 영역에서 사용할 수 없습니다.)
새로 만들기 드롭다운 메뉴를 선택한 다음 스트리밍 데이터 흐름을 선택합니다.
열리는 측면 창에서 스트리밍 데이터 흐름의 이름을 지정해야 합니다. 이름 상자(1)에 이름을 입력한 다음, 만들기(2)를 선택합니다.
스트리밍 데이터 흐름에 대한 빈 다이어그램 보기가 나타납니다.
다음 스크린샷은 완료된 데이터 흐름을 보여 줍니다. 스트리밍 데이터 흐름 UI에서 작성에 사용할 수 있는 모든 섹션을 강조 표시합니다.
리본: 리본의 섹션은 입력(데이터 원본이라고도 함), 변환(스트리밍 ETL 작업), 출력, 진행률 저장 단추와 같은 "클래식" 분석 프로세스의 순서를 따릅니다.
다이어그램 보기: 이 보기는 입력에서 작업, 출력에 이르는 데이터 흐름의 그래픽 표현입니다.
사이드 창: 다이어그램 보기에서 선택한 구성 요소에 따라 각 입력, 변환 또는 출력을 수정하는 설정이 있습니다.
데이터 미리 보기/작성 오류/런타임 오류에 대한 탭: 표시된 각 카드에 대해 데이터 미리 보기는 해당 단계에 대한 결과를 표시합니다(입력의 경우 라이브, 변환 및 출력의 경우 요청 시).
또한 이 섹션에서는 데이터 흐름에 있을 수 있는 작성 오류 또는 경고가 요약됩니다. 각 오류 또는 경고를 선택하면 해당 변환이 선택됩니다. 또한 데이터 흐름이 실행되면 삭제된 메시지와 같은 런타임 오류에 액세스할 수 있습니다.
언제라도 오른쪽 위 모서리에 있는 화살표를 선택하여 스트리밍 데이터 흐름의 이 섹션을 최소화할 수 있습니다.
스트리밍 데이터 흐름은 스트리밍 입력, 변환 및 출력의 세 가지 주요 구성 요소를 기반으로 합니다. 여러 입력, 여러 변환이 있는 병렬 분기, 여러 출력 등 구성 요소를 원하는 만큼 포함할 수 있습니다.
스트리밍 입력 추가
스트리밍 입력을 추가하려면 리본에서 아이콘을 선택하고 사이드 창에서 필요한 정보를 제공하여 설정합니다. 2021년 7월 현재, 스트리밍 데이터 흐름의 미리 보기는 입력으로 Azure Event Hubs 및 Azure IoT Hub를 지원합니다.
Azure Event Hubs 및 Azure IoT Hub 서비스는 이벤트를 신속하고 확장 가능한 방식으로 수집 및 소비할 수 있도록 공통 아키텍처를 기반으로 합니다. 특히 IoT Hub는 IoT 애플리케이션과 연결된 디바이스 간의 양방향 통신을 위한 중앙 메시지 허브로 설계되었습니다.
Azure Event Hubs
Azure Event Hubs는 빅 데이터 스트리밍 플랫폼 및 이벤트 수집 서비스입니다. 초당 수백만 개의 이벤트를 수신하고 처리할 수 있습니다. 이벤트 허브로 전송된 데이터는 실시간 분석 공급자를 사용하여 변환 및 저장하거나 일괄 처리 또는 스토리지 어댑터를 사용할 수 있습니다.
스트리밍 데이터 흐름에 대한 입력으로 이벤트 허브를 구성하려면 Event Hub 아이콘을 선택합니다. 구성에 대한 측면 창을 포함하여 카드가 다이어그램 보기에 나타납니다.
Event Hubs 연결 문자열을 붙여넣는 옵션이 있습니다. 스트리밍 데이터 흐름은 선택적 소비자 그룹(기본적으로 $Default)을 포함하여 필요한 모든 정보를 채웁니다. 모든 필드를 수동으로 입력하려는 경우 수동 항목 토글을 켜서 표시할 수 있습니다. 자세한 내용은 Event Hubs 연결 문자열 가져오기를 참조하세요.
Event Hubs 자격 증명을 설정하고 연결을 선택하면 필드 이름을 아는 경우 + 필드 추가를 사용하여 수동으로 필드를 추가할 수 있습니다. 또는 들어오는 메시지의 샘플에 따라 필드 및 데이터 형식을 자동으로 검색하려면 필드 자동 검색을 선택할 수 있습니다. 기어 아이콘을 선택하면 필요에 따라 자격 증명을 편집할 수 있습니다.
스트리밍 데이터 흐름이 필드를 감지하면 목록에서 해당 필드를 볼 수 있습니다. 또한 다이어그램 보기 아래의 데이터 미리 보기 테이블에 들어오는 메시지의 라이브 미리 보기도 있습니다.
언제든지 각 필드 옆에 있는 추가 옵션(...)을 선택하여 필드 이름을 편집하거나 데이터 형식을 제거하거나 변경할 수 있습니다. 다음 이미지와 같이 들어오는 메시지에서 중첩된 필드를 확장, 선택 및 편집할 수도 있습니다.
Azure IoT Hub
IoT Hub는 클라우드에서 호스트되는 관리되는 서비스입니다. IoT 애플리케이션과 연결된 디바이스 간의 양방향 통신을 위한 중앙 메시지 허브 역할을 합니다. 수백만 개의 디바이스와 백 엔드 솔루션을 안정적으로 안전하게 연결할 수 있습니다. 거의 모든 디바이스를 IoT 허브에 연결할 수 있습니다.
IoT Hub 구성은 일반적인 아키텍처 때문에 Event Hubs 구성과 비슷합니다. 그러나 기본 제공 엔드포인트에 대한 Event Hubs 호환되는 연결 문자열을 찾을 위치를 비롯한 몇 가지 차이점이 있습니다. 자세한 내용은 기본 제공 엔드포인트의 디바이스-클라우드 메시지 읽기를 참조하세요.
기본 제공 엔드포인트에 대한 연결 문자열을 붙여넣은 후 IoT Hub에서 들어오는 필드를 선택, 추가, 자동 감지 및 편집하는 모든 기능은 Event Hubs와 동일합니다. 기어 아이콘을 선택하여 자격 증명을 편집할 수도 있습니다.
팁
조직의 Azure Portal에서 Event Hubs 또는 IoT Hub에 액세스할 수 있고 이를 스트리밍 데이터 흐름에 대한 입력으로 사용하려는 경우 다음 위치에서 연결 문자열을 찾을 수 있습니다.
Event Hubs의 경우:
- 분석 섹션에서 모든 서비스>Event Hubs를 선택합니다.
- Event Hubs 네임스페이스>엔터티/Event Hubs를 선택한 다음, 이벤트 허브 이름을 선택합니다.
- 공유 액세스 정책 목록에서 정책을 선택합니다.
- 연결 문자열 기본 키 필드 옆의 클립보드에 복사를 선택합니다.
IoT Hub의 경우:
- 사물 인터넷 섹션에서 모든 서비스>IoT Hubs를 선택합니다.
- 연결하려는 IoT 허브를 선택한 다음, 기본 제공 엔드포인트를 선택합니다.
- Event Hubs 호환 엔드포인트 옆의 클립보드에 복사를 선택합니다.
Event Hubs 또는 IoT Hub의 스트림 데이터를 사용하는 경우 스트리밍 데이터 흐름에서 다음 메타데이터 시간에 액세스할 수 있습니다.
- EventProcessedUtcTime: 이벤트가 처리된 날짜 및 시간입니다.
- EventEnqueuedUtcTime: 이벤트가 수신된 날짜 및 시간입니다.
이러한 필드는 모두 입력 미리 보기에 표시되지 않습니다. 수동으로 추가해야 합니다.
Blob 저장소
Azure Blob Storage는 클라우드를 위한 Microsoft의 개체 스토리지 솔루션입니다. Blob Storage는 구조화되지 않은 대량의 데이터를 저장하는 데 최적화되어 있습니다. 비정형 데이터는 텍스트 또는 이진 데이터와 같은 특정 데이터 모델이나 정의를 따르지 않는 데이터입니다.
Azure Blob을 스트리밍 또는 참조 입력으로 사용할 수 있습니다. 스트리밍 Blob은 매초 업데이트가 확인됩니다. 스트리밍 Blob과 달리 참조 Blob은 새로 고침을 시작할 때만 로드됩니다. 이 데이터는 변경이 예상되지 않는 정적 데이터이며 정적 데이터에 권장되는 제한은 50MB 이하입니다.
Power BI는 참조 Blob은 스트리밍 원본과 함께 사용될 것으로 예상됩니다(예: JOIN을 통해). 따라서 참조 Blob을 사용하는 스트리밍 데이터 흐름에는 스트리밍 원본도 있어야 합니다.
Azure Blob에 대한 구성은 Azure Event Hub 노드와 약간 다릅니다. Azure Blob 연결 문자열을 찾으려면 계정 액세스 키 보기를 참조하세요.
Blob 연결 문자열을 입력한 후 컨테이너의 이름을 제공해야 합니다. 또한 데이터 흐름의 원본으로 설정하려는 파일에 액세스하려면 디렉터리 내에서 경로 패턴을 입력해야 합니다.
스트리밍 Blob의 경우 디렉터리 경로 패턴은 동적 값이어야 합니다. 날짜는 {date}로 참조되는 Blob 파일 경로의 일부여야 합니다. 또한 경로 패턴의 별표(*)는 지원되지 않습니다(예: {date}/{time}/*.json).
예를 들어 중첩된 .json 파일을 내부에 저장하는 ExampleContainer라는 Blob이 있는 경우(첫 번째 수준은 생성 날짜이고 두 번째 수준은 만든 시간(yyyy-mm-dd/hh)) 컨테이너 입력은 “ExampleContainer”가 됩니다. 디렉터리 경로 패턴은 날짜 및 시간 패턴을 수정할 수 있는 “{date}/{time}” 입니다.
Blob이 엔드포인트에 연결된 후 Azure Blob에서 들어오는 필드를 선택, 추가, 자동 검색 및 편집하는 모든 기능은 Event Hubs와 동일합니다. 기어 아이콘을 선택하여 자격 증명을 편집할 수도 있습니다.
실시간 데이터를 사용하는 경우 데이터는 압축되며 식별자는 개체를 나타내는 데 사용됩니다. Blob에서 가능한 사용 사례 하나는 스트리밍 소스에 대한 참조 데이터일 수도 있습니다. 참조 데이터를 사용하면 정적 데이터를 스트리밍 데이터에 조인하여 분석을 위해 스트림을 보강할 수 있습니다. 이 기능이 도움이 될 수 있는 경우의 빠른 예는 지정된 시간에 매장에 들어오는 사람 수를 측정하기 위해 다른 부서 매장에 센서를 설치하는 경우입니다. 일반적으로 센서가 설치된 백화점 및 위치를 표시하기 위해 센서 ID를 정적 테이블에 조인해야 합니다. 이제 참조 데이터를 사용하여 수집 단계 중에 이 데이터를 조인하여 사용자가 가장 많은 백화점을 쉽게 확인할 수 있습니다.
참고 항목
스트리밍 데이터 흐름 작업은 Blob 파일을 사용할 수 있는 경우 Azure Blob 스토리지 또는 ADLS Gen2 입력에서 매초 데이터를 끌어옵니다. Blob 파일을 사용할 수 없는 경우 최대 시간 지연 시간 90초 동안 지수 백오프가 발생합니다.
데이터 유형
스트리밍 데이터 흐름 필드에 사용할 수 있는 데이터 형식은 다음과 같습니다.
- DateTime: ISO 형식의 날짜 및 시간 필드
- Float: 10진수
- Int: 정수
- Record: 여러 레코드가 있는 중첩 개체
- String: 텍스트
Important
스트리밍 입력에 대해 선택한 데이터 형식은 스트리밍 데이터 흐름의 다운스트림에 중요한 영향을 줍니다. 나중에 편집을 위해 중지할 필요가 없도록 데이터 흐름에서 데이터 형식을 최대한 빨리 선택해야 합니다.
스트리밍 데이터 변환 추가
스트리밍 데이터 변환은 기본적으로 일괄 처리 데이터 변환과 다릅니다. 거의 모든 스트리밍 데이터에는 관련된 모든 데이터 준비 작업에 영향을 주는 시간 구성 요소가 있습니다.
스트리밍 데이터 변환을 데이터 흐름에 추가하려면 해당 변환에 대한 리본에서 변환 아이콘을 선택합니다. 각 카드가 다이어그램 보기에 나타납니다. 이를 선택하면 해당 변환을 구성하기 위한 측면 창이 표시됩니다.
2021년 7월 현재, 스트리밍 데이터 흐름은 다음과 같은 스트리밍 변환을 지원합니다.
Filter
필터 변환을 사용하여 입력의 필드 값에 따라 이벤트를 필터링합니다. 변환은 데이터 형식(숫자 또는 텍스트)에 따라 선택한 조건과 일치하는 값을 유지합니다.
참고 항목
모든 카드 내에 변환을 준비하는 데 필요한 다른 내용에 대한 정보가 표시됩니다. 예를 들어 새 카드를 추가할 때 "설정 필요" 메시지가 표시됩니다. 노드 커넥터가 없는 경우 "오류" 또는 "경고" 메시지가 표시됩니다.
필드 관리
필드 관리 변환을 사용하면 입력 또는 다른 변환에서 들어오는 필드를 추가, 제거하거나 이름을 바꿀 수 있습니다. 측면 창의 설정은 필드 추가를 선택하여 새 필드를 추가하거나 한 번에 모든 필드를 추가하는 옵션을 제공합니다.
팁
카드를 구성한 후에는 다이어그램 보기에서 카드 자체에서 설정을 볼 수 있습니다. 예를 들어 이전 이미지의 필드 관리 영역에서 관리되는 필드 처음 3개와 할당된 새 이름을 볼 수 있습니다. 각 카드에는 관련된 정보가 있습니다.
집계
집계 변환을 사용하여 일정 기간 동안 새 이벤트가 발생할 때마다 집계(합계, 최솟값, 최댓값 또는 평균)를 계산할 수 있습니다. 또한 이 작업을 사용하면 데이터의 다른 차원에 따라 집계를 필터링 또는 슬라이싱할 수 있습니다. 동일한 변환에 하나 이상의 집계가 있을 수 있습니다.
집계를 추가하려면 변환 아이콘을 선택합니다. 그런 다음, 입력을 연결하고, 집계를 선택하고, 필터 또는 슬라이스 차원을 추가하고, 집계를 계산하려는 기간을 선택합니다. 이 예제에서는 차량이 등록된 주를 기준으로 지난 10초 동안의 통행료 합계를 계산합니다.
동일한 변환에 다른 집계를 추가하려면 집계 함수 추가를 선택합니다. 필터 또는 슬라이스는 변환의 모든 집계에 적용됩니다.
Join
조인 변환을 사용하여 선택한 필드 쌍에 따라 두 입력의 이벤트를 결합합니다. 필드 쌍을 선택하지 않는 경우 기본적으로 조인은 시간을 기준으로 합니다. 기본값은 이 변환을 일괄 처리 변환과 다르게 만드는 것입니다.
일반 조인과 마찬가지로 조인 논리에 대한 여러 옵션이 있습니다.
- 내부 조인: 쌍이 일치하는 두 테이블의 레코드만 포함합니다. 이 예제에서는 번호판이 두 입력 모두와 일치합니다.
- 왼쪽 우선 외부 조인: 왼쪽(첫 번째) 테이블의 모든 레코드와 두 번째 테이블에서 필드 쌍과 일치하는 레코드만 포함합니다. 일치하는 항목이 없으면 두 번째 입력의 필드가 비어 있는 것으로 설정됩니다.
조인 유형을 선택하려면 측면 창에서 기본 설정 유형 아이콘을 선택합니다.
마지막으로 조인을 계산할 기간을 선택합니다. 이 예제에서 조인은 지난 10초를 찾습니다. 기간이 길수록 출력 빈도가 낮아지고 변환에 더 많은 처리 리소스가 사용됩니다.
기본적으로 두 테이블의 모든 필드가 포함됩니다. 출력에서 왼쪽(첫 번째 노드)과 오른쪽(두 번째 노드) 접두사는 원본을 구분하는 데 도움이 됩니다.
그룹 기준
그룹화 기준 변환을 사용하여 특정 시간 범위 내의 모든 이벤트에 대한 집계를 계산합니다. 하나 이상의 필드에 있는 값을 기준으로 그룹화할 수 있습니다. 집계 변환과 유사하지만 집계에 대한 더 많은 옵션을 제공합니다. 또한 더 복잡한 시간 범위 옵션도 포함됩니다. 또한 집계와 마찬가지로 변환당 두 개 이상의 집계를 추가할 수 있습니다.
이 변환에서 사용할 수 있는 집계는 평균, 개수, 최댓값, 최솟값, 백분위수(연속 및 불연속), 표준 편차, 합계 및 변량입니다.
이 변환을 구성하려면 다음을 수행합니다.
- 기본 설정 집계를 선택합니다.
- 집계할 필드를 선택합니다.
- 다른 차원 또는 범주(예: 상태)에 대한 집계 계산을 얻으려면 선택적 그룹화 기준 필드를 선택합니다.
- 시간 범위에 대한 함수를 선택합니다.
동일한 변환에 다른 집계를 추가하려면 집계 함수 추가를 선택합니다. 그룹화 기준 필드 및 창 함수는 변환의 모든 집계에 적용됩니다.
시간 범위의 끝에 대한 타임스탬프가 참조를 위해 변환 출력의 일부로 제공됩니다.
이 문서의 후반부 섹션에서는 이 변환에 사용할 수 있는 각 시간 범위 유형에 대해 설명합니다.
Union
합집합 변환을 사용하여 두 개 이상의 입력을 연결하여 공유 필드(동일한 이름 및 데이터 형식)가 있는 이벤트를 하나의 테이블에 추가할 수 있습니다. 일치하지 않는 필드는 삭제되고 출력에 포함되지 않습니다.
시간 범위 함수 설정
시간 범위는 스트리밍 데이터에서 가장 복잡한 개념 중 하나로, 스트리밍 분석의 핵심입니다.
스트리밍 데이터 흐름을 사용하면 데이터를 그룹화 기준 변환의 옵션으로 집계할 때 시간 범위를 설정할 수 있습니다.
참고 항목
모든 창 작업 출력 결과는 시간 범위의 끝에서 계산됩니다. 창의 출력은 집계 함수를 기반으로 하는 단일 이벤트입니다. 이 이벤트에는 창 끝 타임스탬프가 있고 모든 창 함수는 고정된 길이로 정의됩니다.
연속, 도약, 슬라이딩, 세션 및 스냅샷 중에서 선택할 수 있는 5가지 시간 범위가 있습니다.
연속 창
연속은 일반적인 시간 범위 형식입니다. 연속 창의 주요 특징은 반복되고, 동일한 시간 길이를 가지며, 겹치지 않는다는 것입니다. 이벤트는 두 개 이상의 연속 창에 속할 수 없습니다.
스트리밍 데이터 흐름에서 연속 창을 설정하는 경우 창의 기간을 제공해야 합니다(이 경우 모든 창에 대해 동일함). 선택적 오프셋을 제공할 수도 있습니다. 기본적으로 연속 창은 창의 끝을 포함하고 시작을 제외합니다. 이 매개 변수를 사용하여 이 동작을 변경하고 창의 시작에서 이벤트를 포함하고 끝에서 이벤트를 제외할 수 있습니다.
도약 창
도약 창은 일정 기간마다 앞으로 '도약'하는 창으로, 창 크기보다 더 자주 겹쳐서 내보낼 수 있는 연속 창으로 생각할 수 있습니다. 이벤트는 둘 이상의 도약 창 결과 집합에 속할 수 있습니다. 연속 창과 동일한 도약 창을 만들려면 홉 크기를 창 크기와 동일하게 지정할 수 있습니다.
스트리밍 데이터 흐름에서 도약 창을 설정하는 경우 창의 기간을 제공해야 합니다(연속 창과 동일). 또한 정의된 기간 동안 집계를 계산할 빈도를 스트리밍 데이터 흐름에 알려주는 홉 크기를 제공해야 합니다.
오프셋 매개 변수는 연속 창과 동일한 이유로 호핑 창에서도 사용할 수 있습니다. 호핑 창의 시작과 끝에 대한 이벤트를 포함 및 제외하기 위한 논리를 정의합니다.
슬라이딩 윈도우
연속 또는 도약 창과 달리 슬라이딩 윈도우는 창의 내용이 실제로 변경되는 시점에 대해서만 집계를 계산합니다. 이벤트가 창에 들어오거나 창에서 나갈 때 집계가 계산됩니다. 따라서 모든 창에는 하나 이상의 이벤트가 있습니다. 도약 창과 유사하게 이벤트는 둘 이상의 슬라이딩 윈도우에 속할 수 있습니다.
이벤트 자체가 창이 시작될 때를 정의하기 때문에 슬라이딩 윈도우에 필요한 유일한 매개 변수는 지속 기간입니다. 오프셋 논리는 필요하지 않습니다.
세션 창
세션 창은 가장 복잡한 유형입니다. 비슷한 시간에 도착하는 이벤트를 그룹화하고 데이터가 없는 기간을 제외합니다. 이 창에서는 다음을 제공해야 합니다.
- 시간 제한: 새 데이터가 없으면 대기하는 시간입니다.
- 최대 기간: 데이터가 계속 오면 집계가 계산되는 가장 긴 시간입니다.
원하는 경우 파티션을 정의할 수도 있습니다.
변환을 위해 측면 창에서 직접 세션 창을 설정합니다. 파티션을 제공하는 경우 집계는 동일한 키에 대해서만 이벤트를 그룹화합니다.
스냅숏 창
스냅샷 창은 동일한 타임스탬프를 포함하는 이벤트를 그룹화합니다. 다른 창과 달리 스냅샷은 시스템의 시간을 사용하기 때문에 매개 변수가 필요하지 않습니다.
출력 정의
입력 및 변환을 설정한 후에는 하나 이상의 출력을 정의해야 합니다. 2021년 7월부터 스트리밍 데이터 흐름은 Power BI 테이블을 유일한 출력 형식으로 지원합니다.
이 출력은 Power BI Desktop에서 보고서를 만드는 데 사용할 수 있는 데이터 흐름 테이블(즉, 엔터티)입니다. 이전 단계의 노드와 사용할 출력을 조인해야 합니다. 그런 다음 테이블 이름을 지정합니다.
데이터 흐름에 연결하면 보고서를 실시간으로 업데이트하는 시각적 개체를 만드는 데 이 테이블을 사용할 수 있습니다.
데이터 미리 보기 및 오류
스트리밍 데이터 흐름은 스트리밍 데이터에 대한 분석 파이프라인을 작성하고, 문제를 해결하고, 성능을 평가하는 데 도움이 되는 도구를 제공합니다.
입력에 대한 라이브 데이터 미리 보기
이벤트 허브 또는 IoT 허브에 연결하고 다이어그램 보기(데이터 미리 보기 탭)에서 해당 카드를 선택하면 다음이 모두 맞으면 들어오는 데이터의 라이브 미리 보기가 표시됩니다.
- 데이터가 푸시되고 있습니다.
- 입력이 올바르게 구성되었습니다.
- 필드가 추가되었습니다.
다음 스크린샷과 같이 특정 사항을 보거나 드릴다운하려는 경우 미리 보기(1)를 일시 중지할 수 있습니다. 또는 완료되면 다시 시작할 수 있습니다.
특정 레코드(테이블의 "셀")를 선택한 다음, 세부 정보 표시 또는 세부 정보 숨기기(2)를 선택하여 특정 레코드의 세부 정보를 볼 수도 있습니다. 스크린샷은 레코드의 중첩된 개체에 대한 자세한 보기를 보여 줍니다.
변환 및 출력에 대한 정적 미리 보기
다이어그램 보기에서 단계를 추가하고 설정한 후에는 정적 데이터 단추 를 선택하여 해당 동작을 테스트할 수 있습니다.
이렇게 하면 스트리밍 데이터 흐름이 올바르게 구성된 모든 변환 및 출력을 평가합니다. 그런 다음, 스트리밍 데이터 흐름은 다음 이미지와 같이 정적 데이터 미리 보기에 결과를 표시합니다.
정적 미리 보기 새로 고침(1)을 선택하여 미리 보기를 새로 고칠 수 있습니다. 이렇게 하면 스트리밍 데이터 흐름이 입력에서 새 데이터를 가져와서 수행할 수 있는 모든 업데이트로 모든 변환 및 출력을 다시 평가합니다. 세부 정보 표시 또는 숨기기 옵션도 사용할 수 있습니다(2).
작성 오류
작성 오류 또는 경고가 있는 경우 다음 스크린샷과 같이 작성 오류 탭(1)에 해당 항목이 나열됩니다. 목록에는 오류 또는 경고의 세부 정보, 카드 유형(입력, 변환 또는 출력), 오류 수준 및 오류 또는 경고에 대한 설명(2)이 포함됩니다. 오류 또는 경고 중 하나를 선택하면 해당 카드가 선택되고 구성 측면 창이 열려 필요한 변경 작업을 수행할 수 있습니다.
런타임 오류
미리 보기에서 사용할 수 있는 마지막 탭은 다음 스크린샷과 같이 런타임 오류(1)입니다. 이 탭에는 스트리밍 데이터 흐름을 시작한 후 수집 및 분석하는 프로세스의 모든 오류가 나열됩니다. 예를 들어 메시지가 손상되고 데이터 흐름에서 메시지를 수집할 수 없고 정의된 변환을 수행할 수 없는 경우 런타임 오류가 발생할 수 있습니다.
데이터 흐름은 오랜 기간 동안 실행될 수 있으므로 이 탭은 시간 범위를 기준으로 필터링할 수 있는 옵션과 오류 목록을 다운로드하고 필요한 경우 새로 고칠 수 있는 옵션을 제공합니다(2).
스트리밍 데이터 흐름에 대한 설정 수정
일반 데이터 흐름과 마찬가지로 스트리밍 데이터 흐름에 대한 설정은 소유자 및 작성자의 필요에 따라 수정할 수 있습니다. 다음 설정은 스트리밍 데이터 흐름에 고유합니다. 나머지 설정은 두 유형의 데이터 흐름 간에 인프라를 공유하므로 사용 방법이 동일한 것으로 간주할 수 있습니다.
새로 고침 기록: 스트리밍 데이터 흐름이 지속적으로 실행되기 때문에 새로 고침 기록에는 데이터 흐름이 시작된 시기, 취소된 시기 또는 실패한 시기(해당하는 경우 세부 정보 및 오류 코드 사용)에 대한 정보만 표시됩니다. 이 정보는 일반 데이터 흐름에 표시되는 정보와 비슷합니다. 이 정보를 사용하여 문제를 해결하거나 요청된 세부 정보를 Power BI 지원에 제공할 수 있습니다.
데이터 원본 자격 증명: 이 설정은 특정 스트리밍 데이터 흐름에 대해 구성된 입력을 표시합니다.
향상된 컴퓨팅 엔진 설정: 스트리밍 데이터 흐름에는 실시간 시각적 개체를 제공하기 위해 향상된 계산 엔진이 필요하므로 이 설정은 기본적으로 켜져 있으며 변경할 수 없습니다.
보존 기간: 이 설정은 스트리밍 데이터 흐름에만 적용됩니다. 여기에서 보고서에서 시각화하기 위해 실시간 데이터를 유지할 기간을 정의할 수 있습니다. 기록 데이터는 기본적으로 Azure Blob Storage에 저장됩니다. 이 설정은 데이터의 실시간 측면(핫 스토리지)에만 적용됩니다. 최소값은 1일 또는 24시간입니다.
Important
이 보존 기간에서 저장하는 핫 데이터의 양은 이 데이터를 기반으로 보고서를 만들 때 실시간 시각적 개체의 성능에 직접적인 영향을 미칩니다. 이 보존 기간이 길수록 보고서의 실시간 시각적 개체의 성능 저하가 커질 수 있습니다. 기록 분석을 수행해야 하는 경우 스트리밍 데이터 흐름에 제공된 콜드 스토리지를 사용해야 합니다.
스트리밍 데이터 흐름 실행 및 편집
스트리밍 데이터 흐름을 저장하고 구성하면 모든 데이터를 실행할 수 있습니다. 그런 다음, 정의한 스트리밍 분석 논리를 사용하여 Power BI로 데이터 수집을 시작할 수 있습니다.
스트리밍 데이터 흐름 실행
스트리밍 데이터 흐름을 시작하려면 먼저 데이터 흐름을 저장하고 데이터 흐름을 만든 작업 영역으로 이동합니다. 스트리밍 데이터 흐름을 마우스로 가리키고 표시되는 재생 단추를 선택합니다. 스트리밍 데이터 흐름이 시작되고 있음을 알리는 팝업 메시지가 표시됩니다.
참고 항목
데이터가 수집되기 시작하고 들어오는 데이터를 확인하여 Power BI Desktop에서 보고서와 대시보드를 만들 수 있으려면 최대 5분이 걸릴 수 있습니다.
스트리밍 데이터 흐름 편집
스트리밍 데이터 흐름이 실행되는 동안에는 데이터 흐름을 편집할 수 없습니다. 하지만 실행 중인 상태의 스트리밍 데이터 흐름으로 이동하여 데이터 흐름이 빌드된 분석 논리를 확인할 수 있습니다.
실행 중인 스트리밍 데이터 흐름을 이동하면 모든 편집 옵션이 비활성화되고 다음과 같은 메시지가 표시됩니다. "데이터 흐름이 실행되는 동안에는 데이터 흐름을 편집할 수 없습니다. 계속하려면 데이터 흐름을 중지하세요." 데이터 미리 보기도 사용할 수 없습니다.
스트리밍 데이터 흐름을 편집하려면 이를 중지해야 합니다. 중지된 데이터 흐름으로 인해 데이터가 누락됩니다.
스트리밍 데이터 흐름이 실행되는 동안 사용할 수 있는 유일한 환경은 런타임 오류 탭이며, 데이터 흐름 동작에서 삭제된 메시지 및 유사한 상황을 모니터링할 수 있습니다.
데이터 흐름을 편집하는 경우 데이터 스토리지 고려
데이터 흐름을 편집하는 경우 다른 고려 사항을 고려해야 합니다. 일반 데이터 흐름에서 스키마를 변경하는 것과 마찬가지로, 출력 테이블을 변경하는 경우 이미 푸시되어 Power BI에 저장된 데이터가 손실됩니다. 인터페이스는 저장하기 전에 변경한 내용에 대한 선택 사항과 함께 스트리밍 데이터 흐름에서 이러한 변경의 결과에 대한 명확한 정보를 제공합니다.
이 경험은 다음 예제에 잘 나와 있습니다. 다음 스크린샷에서는 한 테이블에 열을 추가하고, 두 번째 테이블의 이름을 변경하고, 세 번째 테이블을 이전과 동일한 상태로 유지할 경우 표시되는 메시지를 보여 줍니다.
이 예제에서 변경 내용을 저장하면 스키마 및 이름이 변경된 두 테이블에 이미 저장된 데이터가 삭제됩니다. 동일하게 유지된 테이블의 경우 이전 데이터를 모두 삭제하고 처음부터 새로 시작할 수도 있고 나중에 새 데이터와 함께 분석할 수 있도록 저장할 수도 있습니다.
특히 추가 분석을 위해 사용할 수 있는 기록 데이터를 필요로 하는 경우에는 스트리밍 데이터 흐름을 편집할 때 이러한 미묘한 차이를 염두에 두어야 합니다.
스트리밍 데이터 흐름 사용
스트리밍 데이터 흐름이 실행되면 스트리밍 데이터를 기반으로 콘텐츠를 만들 준비가 되었습니다. 실시간으로 업데이트되는 보고서를 만들기 위해 해야 하는 것과 비교할 때 구조적 변경은 없습니다. 고려해야 할 몇 가지 미묘한 차이와 업데이트가 있으므로 스트리밍 데이터에 대한 새로운 유형의 데이터 준비를 활용할 수 있습니다.
데이터 스토리지 설정
앞서 언급했듯이 스트리밍 데이터 흐름은 데이터를 다음 두 위치에 저장합니다. 이러한 원본은 수행하려는 분석 유형에 따라 다르게 사용됩니다.
- 핫 스토리지(실시간 분석): 데이터가 스트리밍 데이터 흐름에서 Power BI로 들어가면 실시간 시각적 개체를 사용하여 액세스할 수 있는 핫 위치에 데이터가 저장됩니다. 이 스토리지에 저장되는 데이터의 양은 스트리밍 데이터 흐름 설정에서 보존 기간에 대해 정의한 값에 따라 달라집니다. 기본값(및 최솟값)은 24시간입니다.
- 콜드 스토리지(기록 분석): 필요한 경우 사용할 수 있도록 보존 기간에 대해 정의된 기간에 속하지 않는 기간이 Power BI의 콜드 스토리지(Blob)에 저장됩니다.
참고 항목
이러한 두 데이터 스토리지 위치가 겹칩니다. 두 위치를 함께 사용해야 하는 경우(예: 매일 백분율 변경) 레코드를 중복 제거해야 할 수 있습니다. 만드는 시간 인텔리전스 계산 및 보존 정책에 따라 달라집니다.
Power BI Desktop에서 스트리밍 데이터 흐름에 연결
Power BI Desktop은 사용할 데이터 흐름이라는 커넥터를 제공합니다. 이 커넥터의 일부로, 스트리밍 데이터 흐름을 위해 앞에서 설명한 데이터 스토리지와 일치하는 두 개의 테이블이 표시됩니다.
스트리밍 데이터 흐름의 데이터에 연결하려면 다음을 수행합니다.
데이터 가져오기로 이동하여 Power Platform을 선택한 다음, 데이터 흐름 커넥터를 선택합니다.
Power BI 자격 증명을 사용하여 로그인합니다.
작업 영역을 선택합니다. 스트리밍 데이터 흐름이 포함된 데이터 흐름을 찾아 해당 데이터 흐름을 선택합니다. (이 예제에서는 스트리밍 데이터 흐름을 Toll이라고 합니다.)
모든 출력 테이블이 두 번 표시됩니다. 하나는 스트리밍 데이터용(핫)이고 다른 하나는 보관된 데이터용(콜드)입니다. 테이블 이름 뒤에 추가된 레이블과 아이콘으로 구분할 수 있습니다.
스트리밍 데이터에 연결합니다. 보관된 데이터 사례는 동일하게 가져오기 모드에서만 사용할 수 있습니다. 스트리밍 및 핫 레이블이 포함된 테이블을 선택한 다음, 로드를 선택합니다.
스토리지 모드를 선택하라는 메시지가 표시되면 실시간 시각적 개체를 만드는 것이 목표인 경우 DirectQuery를 선택합니다.
이제 Power BI Desktop에서 사용할 수 있는 기능을 사용하여 시각적 개체, 측정값 등을 만들 수 있습니다.
참고 항목
일반 Power BI 데이터 흐름 커넥터를 계속 사용할 수 있으며, 스트리밍 데이터 흐름을 사용할 때 두 가지 주의 사항이 있습니다.
- 핫 스토리지에만 연결할 수 있습니다.
- 커넥터의 데이터 미리 보기는 스트리밍 데이터 흐름에서 작동하지 않습니다.
실시간 시각적 개체에 자동 페이지 새로 고침 설정
보고서가 준비되고 공유하려는 모든 콘텐츠를 추가한 후에는 시각적 개체를 실시간으로 업데이트하는 것만 남았습니다. 자동 페이지 새로 고침이라는 기능을 사용할 수 있습니다. 이 기능을 사용하면 DirectQuery 원본에서 시각적 개체를 최대 1초까지 새로 고칠 수 있습니다.
기능에 대한 자세한 내용은 Power BI에서 자동 페이지 새로 고침을 참조하세요. 이 문서에는 사용하는 방법, 설정하는 방법 및 문제가 있는 경우 관리자에게 문의하는 방법에 대한 정보가 포함됩니다. 다음은 설정하는 방법에 대한 기본 사항입니다.
시각적 개체를 실시간으로 업데이트하고자 하는 보고서 페이지로 이동합니다.
페이지에서 시각적 개체의 선택을 취소합니다. 가능하면 페이지의 배경을 선택합니다.
서식 창(1)으로 이동하여 페이지 새로 고침(2)을 켭니다.
원하는 빈도를 설정합니다(관리자가 허용한 경우 최대 1초).
실시간 보고서를 공유하려면 먼저 Power BI 서비스에 다시 게시합니다. 그런 다음, 의미 체계 모델 및 공유에 대한 데이터 흐름 자격 증명을 설정할 수 있습니다.
팁
보고서가 필요한 만큼 빨리 또는 실시간으로 업데이트되지 않는 경우 설명서에서 자동 페이지 새로 고침을 확인합니다. FAQ 및 문제 해결 지침에 따라 이 문제가 발생하는 이유를 파악합니다.
고려 사항 및 제한 사항
일반적인 제한 사항
- 스트리밍 데이터 흐름을 만들고 실행하려면 Power BI Premium 구독(용량 또는 PPU)이 필요합니다.
- 작업 영역당 하나의 데이터 흐름 유형만 허용됩니다.
- 일반 데이터 흐름과 스트리밍 데이터 흐름을 연결할 수는 없습니다.
- A3보다 작은 용량은 스트리밍 데이터 흐름을 사용할 수 없습니다.
- 데이터 흐름 또는 향상된 계산 엔진이 테넌트에서 활성화되지 않은 경우 스트리밍 데이터 흐름을 만들거나 실행할 수 없습니다.
- 스토리지 계정에 연결된 작업 영역은 지원되지 않습니다.
- 각 스트리밍 데이터 흐름은 초당 최대 1MB의 처리량을 제공할 수 있습니다.
가용성
다음 지역에서는 스트리밍 데이터 흐름의 미리 보기를 사용할 수 없습니다.
- 인도 중부
- 독일 북부
- 노르웨이 동부
- 노르웨이 서부
- 아랍에미리트 중부
- 남아프리카 북부
- 남아프리카 공화국 서부
- 스위스 북부
- 스위스 서부
- 브라질 남동부
라이선스
사용하는 라이선스에 따라 테넌트당 허용되는 스트리밍 데이터 흐름 수가 다릅니다.
일반 용량의 경우 다음 수식을 사용하여 용량에서 허용되는 최대 스트리밍 데이터 흐름 수를 계산합니다.
용량당 최대 스트리밍 데이터 흐름 수 = 용량의 vCore 수 x 5
예를 들어 P1에는 8개의 vCore가 있습니다(8 * 5 = 40개 스트리밍 데이터 흐름).
사용자 단위 Premium의 경우 사용자당 하나의 스트리밍 데이터 흐름을 사용할 수 있습니다. 다른 사용자가 PPU 작업 영역에서 스트리밍 데이터 흐름을 사용하려는 경우에는 PPU 라이선스도 필요합니다.
데이터 흐름 작성
스트리밍 데이터 흐름을 작성할 때 다음 고려 사항에 유의해야 합니다.
- 스트리밍 데이터 흐름의 소유자는 수정만 할 수 있으며 데이터 흐름이 실행되고 있지 않은 경우에만 수정할 수 있습니다.
- 스트리밍 데이터 흐름은 내 작업 영역에서 사용할 수 없습니다.
Power BI Desktop에서 연결
2021년 7월 Power BI Desktop 업데이트부터 사용 가능한 데이터 흐름 커넥터를 사용해야만 콜드 스토리지에 액세스할 수 있습니다. 이전 Power BI 데이터 흐름 커넥터는 스트리밍 데이터(핫) 스토리지에 대한 연결만 허용합니다. 커넥터의 데이터 미리 보기가 작동하지 않습니다.
관련 콘텐츠
이 문서에서는 스트리밍 데이터 흐름을 사용하여 셀프 서비스 스트리밍 데이터 준비를 개략적으로 설명했습니다. 다음 문서에서는 이 기능을 테스트하는 방법과 Power BI의 다른 스트리밍 데이터 기능을 사용하는 방법에 대한 정보를 제공합니다.