솔루션 아이디어
이 문서는 솔루션 아이디어 설명입니다. 클라우드 설계자는 이 지침을 사용하여 이 아키텍처의 일반적인 구현을 위한 주요 구성 요소를 시각화할 수 있습니다. 이 문서를 시작점으로 사용하여 워크로드의 특정 요구 사항에 맞는 잘 설계된 솔루션을 디자인할 수 있습니다.
이 솔루션 아이디어는 다양한 원본의 대규모 고속 데이터에 대한 빅 데이터 분석을 보여줍니다.
Apache® 및 Apache Kafka®는 미국 및/또는 기타 국가에서 Apache Software Foundation의 등록 상표 또는 상표입니다. 이러한 표시의 사용은 Apache Software Foundation에 의한 보증을 암시하지 않습니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
데이터 흐름
- 모든 유형의 로그, 비즈니스 이벤트 및 사용자 활동과 같은 원시 정형 데이터, 반정형 데이터 및 비정형 데이터(자유 텍스트)는 여러 원본으로부터 Azure Data Explorer로 수집할 수 있습니다.
- Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka 등에 대한 커넥터를 사용해서 낮은 대기 시간 및 높은 처리량으로 Azure Data Explorer에 데이터를 수집합니다. 또는 Azure Storage(Blob 또는 ADLS Gen2)를 통해 데이터를 수집하는데, Azure Event Grid를 사용하고 Azure Data Explorer에 수집 파이프라인을 트리거하게 됩니다. 또한 압축되고 분할된 parquet 형식으로 Azure Storage에 지속적으로 데이터를 내보내고, 지속적인 데이터 내보내기 개요에 설명된 대로 데이터를 원활하게 쿼리할 수 있습니다.
- Azure Data Explorer의 미리 집계된 데이터를 Azure Storage로 내보낸 다음, Synapse Analytics에 데이터를 수집하여 데이터 모델 및 보고서를 빌드합니다.
- Azure Data Explorer의 네이티브 기능을 사용하여 데이터를 처리, 집계 및 분석합니다. 매우 신속한 인사이트를 얻기 위해 Azure Data Explorer 대시보드, Power BI, Grafana 또는 기타 도구를 사용하여 근 실시간 분석 대시보드를 빌드합니다. Azure Synapse Analytics를 사용하여 최신 데이터 웨어하우스를 빌드하고 Azure Data Explorer 데이터와 결합하여 큐레이팅되고 집계된 데이터 모델에 대한 BI 보고서를 생성합니다.
- Azure Data Explorer는 시계열 분석, 패턴 인식 및 변칙 검색 및 예측을 위한 네이티브 고급 분석 기능을 제공합니다. Azure Data Explorer는 Databricks 및 Azure Machine Learning과 같은 ML 서비스와도 통합됩니다. 통합을 사용하면 다른 도구와 서비스를 사용하여 모델을 빌드하고 ML 모델을 Azure Data Explorer로 내보내 점수를 매길 수 있습니다.
구성 요소
- Azure Event Hubs: 간단하고 신뢰할 수 있으며 확장 가능한 완전 관리형 실시간 데이터 수집 서비스입니다.
- Azure IoT Hub: IoT 디바이스와 Azure 사이의 양방향 통신을 위한 관리형 서비스입니다.
- Kafka on HDInsight: Apache Kafka를 사용한 오픈 소스 분석을 위한 쉽고 비용 효율적인 엔터프라이즈급 서비스입니다.
- Azure Data Explorer: 애플리케이션, 웹 사이트, IoT 디바이스 등에서 스트리밍되는 대량의 데이터를 실시간으로 분석할 수 있는 빠르고 확장성이 뛰어난 완전 관리형 데이터 분석 서비스입니다.
- Azure Data Explorer Dashboards: 웹 UI에서 탐색한 Kusto 쿼리를 최적화된 대시보드로 고유하게 내보낼 수 있습니다.
- Azure Synapse Analytics: 엔터프라이즈 데이터 웨어하우징과 빅 데이터 분석을 결합한 분석 서비스입니다.
시나리오 정보
잠재적인 사용 사례
이 솔루션은 거의 실시간 분석 및 최신 데이터 웨어하우징 사용 사례를 위해 Azure Data Explorer와 Azure Synapse Analytics가 어떻게 서로를 보완하는지 보여줍니다.
이 솔루션은 이미 Microsoft 고객이 사용하고 있습니다. 예를 들어 싱가포르에 본사를 둔 승차 운송 회사인 Grab은 택시 및 음식 배달 서비스뿐만 아니라 상점 파트너 앱에서 수집된 방대한 양의 데이터에 대한 실시간 분석을 구현했습니다. 이 비디오에서 Grab의 팀은 MS Ignite에서 솔루션을 발표했습니다(20:30부터). 이 패턴을 사용하여 Grab은 하루에 1조 개가 넘는 이벤트를 처리했습니다.
이 솔루션은 소매 업계에 최적화되어 있습니다.
참가자
Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.
보안 주체 작성자:
- Ornat Spodek | 수석 콘텐츠 관리자
비공개 LinkedIn 프로필을 보려면 LinkedIn에 로그인하세요.