실시간 데이터 수집 및 변환
Microsoft Fabric의 이벤트스트림은 광범위한 스트리밍 데이터 원본에서 실시간 데이터를 캡처, 변환 및 로드하는 데 사용됩니다. 시스템에서 이벤트 스트림을 설정할 때 실시간 데이터를 수집하고 변환하기 위해 영구적으로 실행되는 데이터 처리 엔진을 정의합니다. 데이터를 어디서 가져올지, 어디로 보낼지, 필요한 경우 도중에 데이터를 변경하는 방법을 알려 줍니다.
이벤트스트림에 대한 데이터 원본
Microsoft Fabric의 이벤트스트림은 다음을 비롯한 다양한 데이터 원본을 지원합니다.
- 외부 서비스(예: Azure Storage, Azure Event Hubs, Azure IoT Hubs, Apache Kafka Hubs, 관계형 데이터베이스 서비스의 CDC(변경 데이터 캡처) 피드 등).
- Fabric 이벤트(예: Fabric 작업 영역의 항목 변경, OneLake 데이터 저장소의 데이터 변경, Fabric 작업과 관련된 이벤트).
- 샘플 데이터에는 Microsoft Fabric에서 실시간 분석 시나리오를 탐색하는 데 도움이 될 수 있는 다양한 샘플이 포함되어 있습니다.
팁
지원되는 소스에 대한 자세한 내용은 Fabric 실시간 허브에 지원되는 소스를 참조하세요.
이벤트스트림의 데이터 변환
이벤트스트림에서 데이터가 흐르면서 데이터를 변환하여 저장하기 전에 필터링, 요약, 재구성할 수 있습니다. 사용 가능한 변환은 다음과 같습니다.
- 필터: 입력의 필드 값을 기준으로 이벤트를 필터링하려면 필터 변환을 사용합니다. 데이터 형식(숫자 또는 텍스트)에 따라 변환은
null또는is not null와(과) 같이 선택한 조건과 일치하는 값을 유지합니다. - 필드 관리: 이 변환을 사용하면 데이터 형식을 추가, 제거, 변경하거나 입력 또는 다른 변환에서 들어오는 필드의 이름을 바꿀 수 있습니다.
- 집계: 집계 변환을 사용하면 일정 기간 동안 새 이벤트가 발생할 때마다 집계(합계, 최솟값, 최댓값 또는 평균)를 계산할 수 있습니다. 또한 이 작업을 통해 계산 열의 이름을 바꾸고 데이터의 다른 차원을 기반으로 집계를 필터링하거나 분할할 수 있습니다. 동일한 변환에 하나 이상의 집계가 있을 수 있습니다.
- 그룹화: 그룹화 변환을 사용하여 특정 시간 범위 내의 모든 이벤트에 대한 집계를 계산합니다. 하나 이상의 필드에 있는 값을 기준으로 그룹화할 수 있습니다. 집계 변환을 통해서 열 이름을 변경하실 수는 있겠지만 집계에 더 많은 옵션을 제공하시고 기간에 대한 더 복잡한 옵션이 포함되는 것과 같은 것입니다. 집계와 마찬가지로 변환당 둘 이상의 집계를 추가할 수 있습니다.
- 결합: 공용 구조체 변환을 사용하여 두 개 이상의 노드를 연결하고 공유 필드(동일한 이름 및 데이터 형식 포함)가 있는 이벤트를 하나의 테이블에 추가합니다. 일치하지 않는 필드는 삭제되고 출력에 포함되지 않습니다.
- 확장: 이 배열 변환을 사용하여 배열 내의 각 값에 대해 새 행을 만듭니다.
- 조인: 두 스트림 간의 일치 조건을 기반으로 두 스트림의 데이터를 조인하는 변환입니다.
팁
지원되는 변환에 대한 자세한 내용은 이벤트 프로세서 편집기로 이벤트 데이터 처리를 참조하세요.
이벤트스트림의 데이터 대상
스트림에서 다음 대상으로 데이터를 로드할 수 있습니다.
- Eventhouse: 이 대상을 사용하면 실시간 이벤트 데이터를 이벤트하우스로 수집할 수 있으며, 여기서 KQL(Kusto 쿼리 언어)을 사용하여 데이터를 쿼리하고 분석할 수 있습니다.
- 레이크하우스: 이 목적지는 실시간 이벤트를 레이크하우스로 수집하기 전에 변환할 수 있는 기능을 제공합니다. 실시간 이벤트는 Delta Lake 형식으로 변환된 다음, 지정된 레이크하우스 테이블에 저장됩니다.
- 파생 스트림: 파생 스트림은 이벤트 스트림의 출력을 다른 이벤트 스트림으로 리디렉션하는 데 사용됩니다. 파생 스트림은 스트림 처리 후 변환된 기본 스트림을 나타냅니다.
- Fabric Activator: 이 대상을 사용하면 실시간 이벤트데이터를 스트림의 값에 따라 작업을 자동화할 수 있는 지능형 에이전트인 Fabric Activator에 직접 연결할 수 있습니다.
- 사용자 지정 엔드포인트: 이 목적지를 사용하면 실시간 이벤트를 사용자 지정 엔드포인트로 라우팅할 수 있습니다. 이 대상은 실시간 데이터를 Microsoft Fabric 바깥에 있는 외부 시스템이나 사용자 지정 애플리케이션에 전달하려는 경우에 유용합니다.
팁
지원되는 소스에 대한 자세한 내용은 이벤트스트림에서 대상 추가 및 관리를 참조하세요.