이벤트 스트림의 상태 및 성능을 모니터링
Microsoft Fabric 이벤트 스트림 기능을 사용하시게 되면 스트리밍 이벤트 데이터, 수집 상태 및 수집 성능을 쉽게 모니터링하실 수 있습니다. 이 문서에서는 메트릭을 사용하셔서 이벤트 스트림 상태를 모니터링하시고 로그, 오류 및 데이터 인사이트를 확인하기 위한 방법을 설명해 드려요.
이벤트 스트림에는 두 가지 형식의 모니터링 경험이 있습니다: 데이터 인사이트 및 런타임 로그. 선택한 소스 혹은 대상에 따라서 하나 혹은 두 개의 보기를 모두 보실 수 있습니다.
필수 조건
시작하기 전에 다음이 있어야 합니다.
- Eventstream 항목이 있는 뷰어 이상의 권한이 있는 작업 영역에 액세스합니다.
- 이벤트 스트림에 Azure 이벤트 허브 소스 혹은 레이크하우스 대상을 추가해 주세요.
데이터 인사이트
데이터 인사이트 탭에서는 하단 창에 기본 편집기를 표시합니다. 탭에는 이벤트 스트림, 소스 및 대상의 상태 및 성능을 모니터링하시기 위해 사용하실 수 있는 메트릭을 제공해 드립니다. 소스와 대상에 따라서 다른 메트릭을 가지고 있습니다. 기본 편집기 캔버스에서 노드를 선택하실 때 해당 특정 노드를 위한 메트릭이 데이터 인사이트 탭에 표시됩니다.
이벤트 스트림 노드의 데이터 인사이트
데이터 인사이트 탭의 이벤트 스트림 노드를 위한 메트릭이 다음과 같이 표시됩니다:
| 메트릭 | 단위 | 설명 |
|---|---|---|
| IncomingMessages | Count | 이벤트 스트림에서 지정하신 기간 동안에 전송된 이벤트 혹은 메시지의 수입니다. |
| OutgoingMessages | Count | 이벤트 스트림에서 지정하신 기간 동안에 유입된 이벤트 혹은 메시지의 수입니다. |
| IncomingBytes | 바이트 | 이벤트 스트림에 대해 지정하신 기간 동안에 수신된 바이트입니다. |
| OutgoingBytes | 바이트 | 이벤트 허브에서 지정하신 기간 동안에 발신한 바이트입니다. |
이벤트 스트림에 대해 데이터 인사이트를 보시기 위해서는:
이벤트 스트림 노드를 기본 편집기 캔버스에서 선택해 주세요.
하단 창에서 데이터 인사이트탭을 선택해 주세요.
이벤트 스트림 내에 데이터가 있는 경우 메트릭 차트는 데이터 인사이트 탭에 표시됩니다.
탭의 오른쪽에서 표시하고 싶으신 메트릭 옆에 있는 확인란을 선택해 주세요.
Azure 이벤트 허브, Azure IoT Hub, 레이크하우스, 이벤트하우스, 유도 스트림 및 패브릭 액티베이터 노드의 데이터 인사이트
다음 메트릭은 Azure 이벤트 허브, Azure iot Hub, lakehouse, Eventhouse('수집 전 이벤트 처리' 모드), 파생 스트림 및 패브릭 활성화기 노드에 대한 데이터 인사이트 탭에서 사용할 수 있습니다.
| 메트릭 | 단위 | 설명 |
|---|---|---|
| 입력 이벤트 | Count | Eventstream 엔진이 이벤트 스트림(레이크하우스, Eventhouse, 파생 스트림 또는 패브릭 활성화자 대상) 또는 이벤트 원본(Azure 이벤트 허브 또는 Azure IoT 허브 원본)에서 가져오는 이벤트 데이터 수입니다. |
| 입력 이벤트의 바이트 | 바이트 | 이벤트스트림 엔진이 이벤트스트림(레이크하우스, Eventhouse, 파생 스트림 또는 패브릭 활성화자 목적지) 혹은 이벤트 소스(Azure 이벤트 허브 또는 Azure IoT 허브 소스)에서 가져오는 이벤트 데이터의 양입니다. |
| 출력 이벤트 | Count | Eventstream 엔진이 레이크하우스 또는 Eventhouse(파생 스트림 또는 패브릭 활성화자 대상인 레이크하우스, Eventhouse)로 보내는 이벤트 데이터 수, 혹은 이벤트 원본(Azure 이벤트 허브 또는 Azure IoT 허브 원본)으로부터의 이벤트 데이터 수입니다. |
| 백로그된 입력 이벤트 | Count | 이벤트 스트림 엔진에 백로그된 입력 이벤트의 수입니다. |
| 런타임 오류 | Count | 이벤트 처리와 관련되는 총 오류 수입니다. |
| 데이터 변환의 오류 | Count | 예상되는 출력 스키마로 변환할 수 없는 출력 이벤트의 수입니다. |
| 역직렬화 오류 | Count | 이벤트 스트림 엔진 내부에서 역직렬화 하실 수 없는 입력 이벤트의 수입니다. |
| 워터마크의 지연 | 둘째 | 이 소스 혹은 대상을 위한 모든 출력에 대한 모든 파티션에서 발생하는 최대 워터마크 지연입니다. 가장 큰 워터마크를 뺀 벽시계 시간으로 계산됩니다. |
Azure 이벤트 허브, Azure IoT Hub, 레이크하우스, Eventhouse('수집 전 이벤트 처리' 모드), 파생 스트림 및 패브릭 활성화자에 대한 데이터 인사이트를 보기 위해 아래 단계를 따르세요.
기본 편집기 캔버스에서 Azure 이벤트 허브, Azure IoT Hub, lakehouse, Eventhouse, 파생 스트림 또는 패브릭 활성화자 노드를 선택합니다.
하단 창에서 데이터 인사이트탭을 선택해 주세요.
Azure 이벤트 허브, Azure IoT Hub, Lakehouse, Eventhouse, 파생 스트림 또는 패브릭 활성화기 내에 데이터가 있는 경우 메트릭 차트는 데이터 인사이트 탭에 표시됩니다.
탭의 오른쪽에서 표시하고 싶으신 메트릭 옆에 있는 확인란을 선택해 주세요.
스트리밍 커넥터 원본 노드의 데이터 인사이트
스트리밍 커넥터 원본 노드에는 다음 원본이 포함됩니다.
- Azure SQL 데이터베이스 변경 데이터 캡처(CDC)
- Azure Service Bus
- PostgreSQL 데이터베이스 CDC
- MySQL Database CDC
- Azure Cosmos DB CDC
- VM DB의 SQL Server(CDC)
- Azure SQL Managed Instance CDC
- Google Cloud Pub/Sub
- Amazon Kinesis Data Streams
- Confluent Cloud Kafka
- Apache Kafka
- Amazon MSK Kafka
다음 메트릭은 스트리밍 커넥터 원본 노드에 대한 데이터 인사이트 탭에서 사용할 수 있습니다.
| 메트릭 | 단위 | 설명 |
|---|---|---|
| 원본 나가는 이벤트 | Count | 변환에서 출력되고(있는 경우) 작업자의 명명된 원본 커넥터에 속하는 작업의 eventstream에 기록된 레코드 수입니다(작업이 마지막으로 다시 시작된 이후). |
| 들어오는 이벤트 원본 | Count | 변환을 적용하기 전에 작업자의 명명된 원본 커넥터에 속하는 태스크에서 생성되거나 폴링된 레코드의 수입니다(작업이 마지막으로 다시 시작된 이후). |
| 커넥터 오류 기록됨 | Count | 이 커넥터 작업에 대해 기록된 오류 수입니다. |
| 커넥터 처리 오류 | Count | 이 커넥터 작업의 레코드 처리 오류 수입니다. |
| 커넥터 처리 실패 | Count | 재시도 실패를 포함하여 이 커넥터 작업의 레코드 처리 실패 수입니다. |
| 건너뛴 커넥터 이벤트 | Count | 이 커넥터 작업 내의 오류로 인해 건너뛴 레코드 수입니다. |
스트리밍 커넥터 원본에 대한 데이터 인사이트를 보려면 다음을 수행합니다.
- 외부 원본 사용을 선택한 다음 스트리밍 커넥터 원본을 선택합니다.
- 스트리밍 커넥터 원본을 구성하고 게시합니다.
- 라이브 보기의 아래쪽 창에서 데이터 인사이트 탭을 선택합니다.
- 스트리밍 커넥터 원본 내에 데이터가 있는 경우 메트릭 차트가 데이터 인사이트 탭에 표시됩니다.
- 탭의 오른쪽에서 표시하고 싶으신 메트릭 옆에 있는 확인란을 선택해 주세요.
런타임 로그
런타임 로그 탭을 사용하시게 되면 이벤트 스트림 엔진에서 발생하는 자세한 로그를 확인해 보실 수 있습니다. 런타임 로그는 경고, 오류 및 정보의 심각도 수준이 세가지 있습니다.
Azure 이벤트 허브, Azure IoT Hub, 스트리밍 커넥터 원본, Lakehouse, Eventhouse('수집 전 이벤트 처리' 모드) 또는 Fabric 활성 도구에 대한 런타임 로그를 보려면 다음을 수행합니다.
주 편집기 캔버스에서 노드를 선택합니다.
하단 창에서 런타임 로그 탭을 선택해 주세요.
Azure 이벤트 허브, Azure iot Hub, 스트리밍 커넥터 원본, lakehouse, Eventhouse 또는 Fabric 활성화기 내에 데이터가 있는 경우 로그는 런타임 로그 탭에 표시됩니다.
키워드별 필터링 옵션을 통해서 로그를 검색해 보시거나 심각도 혹은 형식을 변경하셔서 목록을 필터링 해주세요.
최신 로그를 보기 위해서는 새로 고침을 선택해 주세요.
