편집

다음을 통해 공유

AKS를 사용한 데이터 스트리밍

Azure App Service
Azure API Management
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

솔루션 아이디어

이 문서는 솔루션 아이디어 설명입니다. 클라우드 설계자는 이 지침을 사용하여 이 아키텍처의 일반적인 구현을 위한 주요 구성 요소를 시각화할 수 있습니다. 이 문서를 시작점으로 사용하여 워크로드의 특정 요구 사항에 맞는 잘 설계된 솔루션을 디자인할 수 있습니다.

이 문서에서는 AKS(Azure Kubernetes Service)를 사용하여 디바이스에서 대량의 스트리밍 데이터를 신속하게 처리하고 분석하기 위한 솔루션을 보여 줍니다.

*Apache®, Apache Kafka 및 Apache Spark는 미국 및/또는 기타 국가에서 Apache Software Foundation의 등록 상표 또는 상표입니다. 이러한 표시의 사용은 Apache Software Foundation에 의한 보증을 암시하지 않습니다. 스플렁크는 시스코의 등록 상표입니다. *

아키텍처

디바이스의 스트리밍 데이터를 수집, 처리 및 분석하는 방법을 보여 주는 아키텍처 다이어그램

이 아키텍처의 Visio 파일을 다운로드합니다.

데이터 흐름

  1. 센서가 데이터를 생성하고 이를 Azure API Management로 스트리밍합니다.
  2. AKS 클러스터가 서비스 메시 뒤에서 컨테이너로 배포된 마이크로 서비스를 실행합니다. 컨테이너는 DevOps 프로세스를 사용하여 빌드됩니다. 컨테이너 이미지는 Azure Container Registry에 저장됩니다.
  3. AKS의 수집 서비스는 Azure Cosmos DB에 데이터를 저장합니다.
  4. AKS의 분석 서비스는 비동기적으로 데이터를 수신하고 Azure HDInsight의 Apache Kafka로 스트리밍합니다.
  5. 데이터 과학자는 Azure HDInsights 및 Splunk 플랫폼에서 기계 학습 모델을 사용하여 데이터를 분석합니다.
  6. AKS의 처리 서비스는 데이터를 처리하고 결과를 Azure Database for PostgreSQL에 저장합니다. 또한 서비스가 데이터를 Azure Cache for Redis에 캐시합니다.
  7. Azure App Service에서 실행되는 웹 앱이 결과의 시각화를 만듭니다.

구성 요소

이 솔루션에는 다음과 같은 주요 기술이 사용됩니다.

시나리오 정보

이 솔루션은 데이터 원본에 IoT(사물 인터넷) 디바이스, 센서 및 차량이 포함된 수백만 건의 데이터 요소가 관련된 시나리오에 적합합니다. 이러한 상황에서는 대량의 데이터를 처리하는 것이 한 가지 과제입니다. 조직에서 복잡한 시나리오에 대한 인사이트가 필요하므로 데이터를 빠르게 분석하는 것도 필요합니다.

AKS의 컨테이너화된 마이크로 서비스가 이 솔루션의 핵심 부분입니다. 이러한 자체 포함된 서비스가 실시간 데이터 스트림을 수집하고 처리합니다. 또한 필요에 따라 확장될 수도 있습니다. 컨테이너 이식성이 있어서 서비스를 다른 환경에서 실행하고 여러 원본의 데이터를 처리할 수 있습니다. 마이크로 서비스 개발 및 배포를 위해서는 DevOps 및 연속 통합/지속적 업데이트(CI/CD)가 사용됩니다. 이러한 접근 방식은 개발 주기를 단축시켜 줍니다.

이 솔루션에서는 수집된 데이터를 저장하기 위해 Azure Cosmos DB를 사용합니다. 이 데이터베이스는 처리량 및 스토리지 크기를 탄력적으로 조정하므로, 대량의 데이터에 적합합니다.

또한 이 솔루션은 Apache Kafka를 사용합니다. 낮은 대기 시간의 스트리밍 플랫폼으로 실시간 데이터 피드를 매우 빠른 속도로 처리할 수 있습니다.

또 다른 주요 솔루션 구성 요소는 가장 인기 있는 오픈 소스 프레임워크를 사용하여 대량의 데이터를 효율적으로 처리할 수 있는 관리형 클라우드 서비스인 Azure HDInsight입니다. Azure HDInsight는 Azure에서 Apache Spark를 사용하는 동안 대용량 및 속도로 빅 데이터 프레임워크를 실행하는 것을 간소화합니다. Splunk는 데이터 분석 프로세스에 도움이 됩니다. Splunk는 실시간 데이터에서 시각화를 만들고 비즈니스 인텔리전스를 제공합니다.

잠재적인 사용 사례

이 솔루션은 다음 영역에서 이점이 있습니다.

  • 차량 안전(특히 자동차 업계)
  • 유통 및 기타 산업의 고객 서비스
  • 의료 클라우드 솔루션
  • 금융 산업의 금융 기술 솔루션

다음 단계

제품 설명서:

Microsoft 학습 모듈: