데이터 분석을 위한 Azure Stream Analytics 솔루션 디자인
데이터 스트림을 사용하고 분석하여 실행 가능한 인사이트를 도출하는 프로세스를 스트림 처리라고 합니다. Azure Stream Analytics는 완전 관리형(PaaS 제품) 실시간 분석 및 복잡한 이벤트 처리 엔진입니다. IoT 디바이스 데이터, 센서, 클릭 스트림, 소셜 미디어 피드와 같은 원본의 여러 데이터 스트림에 대해 실시간 분석을 수행할 수 있는 가능성을 제공합니다.
Azure Stream Analytics에 대해 알아야 할 사항
Azure Stream Analytics는 다음 개념으로 작동합니다.
- 데이터 스트림 - 데이터 스트림은 애플리케이션, IoT 디바이스 또는 센서에서 생성된 연속 데이터입니다. 데이터 스트림이 분석되고 실행 가능한 인사이트가 도출됩니다. 몇 가지 예를 들면 산업 및 제조 장비의 데이터 스트림을 모니터링하고 공공설비 공급자의 물 파이프라인 데이터를 모니터링이 있습니다. 데이터 스트림은 시간에 따른 변화를 이해하는 데 도움이 됩니다.
- 이벤트 처리: 이벤트 처리는 해당 스트림 내에서 발생하는 이벤트로부터 실행 가능한 인사이트를 도출하는 연속 데이터 스트림의 소비 및 분석을 나타냅니다. 고속도로 요금소를 통과하는 차량에 이벤트가 발생한 시점을 나타내는 타임스탬프와 같은 시간 정보를 포함하는 방법을 예로 들 수 있습니다.
중요
Azure Stream Analytics는 세 가지 CSV, JSON 및 Avro 데이터 형식의 이벤트 처리를 지원합니다.
다음 그림은 프레젠테이션 또는 작업을 위해 데이터가 수집, 분석 및 전송되는 방법과 Stream Analytics 파이프라인을 보여 줍니다.
주요 특징
Stream Analytics는 Azure Event Hubs(Apache Kafka의 Azure Event Hubs 포함), Azure IoT Hub 또는 Azure Blob Storage에서 데이터를 수집합니다. SQL 쿼리 언어를 기반으로 하는 쿼리를 사용하여 일정 기간의 스트리밍 데이터를 쉽게 필터링, 정렬, 집계 및 조인할 수 있습니다. JavaScript 및 C# UDF(사용자 정의 기능)를 사용하여 이 SQL 언어를 확장할 수도 있습니다.
Azure Stream Analytics 작업은 입력, 쿼리 및 출력으로 구성됩니다. 작업 출력으로 다음 작업을 수행할 수 있습니다.
- Azure Blob Storage, Azure SQL Database, Azure Data Lake Store 및 Azure CosmosDB와 같은 스토리지 시스템으로 데이터를 라우팅합니다.
- 실시간 시각화를 위해 Power BI로 데이터를 보냅니다.
- Azure Synapse Analytics 같은 데이터 웨어하우스 서비스에 데이터를 저장하여 과거 데이터를 기반으로 기계 학습 모델을 학습하거나 일괄 처리 분석을 수행합니다.
- Azure Functions, Azure Service Bus 토픽 또는 Azure 큐와 같은 서비스에 데이터를 전송하여 사용자 지정 다운스트림 워크플로를 트리거합니다.
비즈니스 시나리오
Tailwind Traders는 회사의 성장을 돕기 위해 애플리케이션 및 서비스의 디지털 트랜스포메이션을 사용 중입니다. 이 회사는 상품을 배달 중인 배달 트럭에 장착된 GPS의 센서 데이터를 액세스, 저장 및 분석을 지원해야 합니다. 여러분은 관리자가 실시간으로 결정을 내릴 수 있도록 트럭의 GPS 스트리밍 데이터에 대한 실시간 분석을 제공하는 솔루션을 찾고 있습니다. 추가 분석에서 팀에서는 이 데이터가 기존 Power BI 시각화 대시보드에 표시되기를 원하는 것이 확인되었습니다. Azure Stream Analytics는 이 시나리오의 요구 사항을 충족하는 데 도움이 될 수 있습니다.
Azure Stream Analytics는 다른 일반적인 엔터프라이즈 데이터 요구 사항을 충족하는 데 이상적인 솔루션입니다. 다음 시나리오를 고려하세요.
| 요구 사항 | Description |
|---|---|
| IoT 디바이스의 실시간 원격 분석 스트림을 분석합니다. | 온도, 습도, 팬 런타임을 릴레이하는 자동화 시스템을 빌드하여 Azure Stream Analytics에서 실시간 센서 데이터를 수집합니다. 조정을 통해 최적의 건물 온도를 유지하여 비용을 절감할 수 있습니다. |
| 웹 로그를 빌드하고 클릭스트림 분석을 수행합니다. | 소비재 소매업체는 전자 상거래 분석을 기반으로 사용자에게 실시간 제품 추천을 제공할 수 있습니다. |
| 지리 공간적 분석을 생성합니다. | 센서, 소셜 미디어, 위성 이미지, 모바일 디바이스와 같은 지리 공간적 데이터 원본에 대한 분석을 준비합니다. 산불 및 허리케인과 같은 혹독한 기상 이벤트를 예측하여 항공사의 라우팅을 도울 수 있습니다. 고객의 지리적 위치를 기반으로 안 좋은 기상 상태에 대한 모바일 경고를 고객에게 보낼 수 있습니다. |
| 고부가가치 자산의 원격 모니터링 및 예측 유지 관리를 수행합니다. | Azure Stream Analytics에서 운영 데이터를 수집하여 산업 장비와 같은 고부가가치 자산을 모니터링합니다. 예측 유지 관리를 통해 장비의 유효 수명을 최대화할 수 있습니다. 변압기에서 수집된 데이터는 공공기업체에서 작동 중단을 방지하기 위해 사용됩니다. |
| POS(Point of Sale) 데이터에 대한 실시간 분석을 수행합니다. | 사기성 신용 카드 거래를 검색하고 판매 시점에 의심스러운 활동을 식별합니다. 신용 카드 소유자의 연락처 정보에 따라 비정상적으로 큰 거래 또는 비정상적인 위치 활동을 발견할 수 있습니다. Azure Stream Analytics에 수집된 데이터에 대해 경고 트리거를 설정할 수 있습니다. |
Tailwind Traders 시나리오에서는 Azure Stream Analytics를 적용하여 Power BI를 통해 트럭의 실시간 위치를 시각화할 수 있습니다. 분석 워크로드에 대한 경영진 결정의 경우 향후 분석을 위해 Azure Cosmos DB 또는 Azure Data Lake와 같은 데이터 웨어하우스에 데이터를 저장할 수 있습니다.
Azure Stream Analytics를 사용할 때 고려해야 할 사항
Azure Stream Analytics는 Tailwind Traders의 데이터 통합 계획에서 중요한 구성 요소가 될 수 있습니다. 서비스의 다음과 같은 이점을 검토합니다.
- 프로비전 요구 사항을 고려합니다. Azure Stream Analytics는 완전 관리형 서비스입니다. PaaS(Platform as a Service) 제품으로 제공되므로 하드웨어 또는 인프라를 프로비전하는 오버헤드가 없습니다. Azure Stream Analytics는 작업을 완벽하게 관리하므로 인프라가 아닌 비즈니스 논리에 집중할 수 있습니다.
- 비용을 고려합니다. Stream Analytics는 비용이 저렴합니다. 할당된 CPU 및 메모리 리소스의 양을 나타내는 소비된 SU(스트리밍 단위)를 기준으로 비용이 청구됩니다. 비즈니스 요구 사항에 따라 스케일 업 및 다운이 이루어지므로 비용을 절감할 수 있습니다. 유지 관리 비용이 발생하지 않습니다.
- 구현을 고려합니다. 대규모 분석을 위해 클라우드에서 Azure Stream Analytics를 실행할 수 있습니다. 분석 대기 시간을 크게 단축하기 위해 IoT Edge 또는 Azure Stack에서 Stream Analytics를 실행합니다.
- 성능을 고려합니다. Stream Analytics는 안정적인 성능을 보장합니다. 분할을 통해 더 높은 성능을 지원하여 복잡한 쿼리를 병렬화하고 여러 스트리밍 노드에서 실행할 수 있습니다. Stream Analytics는 초당 수백만 개의 이벤트를 처리할 수 있습니다. 대기 시간을 크게 단축하면서 결과를 제공할 수 있습니다.
- 보안을 고려합니다. Stream Analytics는 들어오고 나가는 모든 통신을 암호화하고 TLS 1.2를 지원합니다. 기본 제공 검사점도 암호화됩니다. 모든 처리가 메모리에서 완료되기 때문에 Stream Analytics는 들어오는 데이터를 저장하지 않습니다.