Azure 데이터 탐색기란?
Azure Data Explorer는 대용량 데이터를 거의 실시간으로 쉽게 분석할 수 있는 완전 관리형 고성능 빅 데이터 분석 플랫폼입니다. Azure Data Explorer 도구 상자는 데이터 수집, 쿼리, 시각화 및 관리를 위한 엔드투엔드 솔루션을 제공합니다.
Azure Data Explorer는 시계열에서 정형, 반정형, 비정형 데이터를 분석하고 Machine Learning을 사용하여 간편하게 핵심 인사이트를 추출하고 패턴 및 추세를 파악하고 예측 모델을 만들 수 있도록 합니다. Azure Data Explorer는 기존의 관계형 모델을 사용하여 강력한 형식의 스키마가 있는 테이블로 데이터를 구성합니다. 테이블은 데이터베이스 내에 저장되며 클러스터는 여러 데이터베이스를 관리할 수 있습니다. Azure Data Explorer는 확장 가능하고 안전하며 강력하며 엔터프라이즈급이며 로그 분석, 시계열 분석, IoT 및 범용 탐색 분석에 유용합니다.
Azure Data Explorer 기능은 쿼리 언어인 Kusto 쿼리 언어(KQL)를 기반으로 하는 다른 서비스에 의해 확장됩니다. 이러한 서비스에는 Azure Monitor 로그, Application Insights, Time Series Insights 및 엔드포인트용 Microsoft Defender 포함됩니다.
Azure Data Explorer는 언제 사용해야 하나요?
다음 질문을 사용하여 Azure Data Explorer가 사용 사례에 적합한지 확인할 수 있습니다.
- 대화형 분석: 대화형 분석이 솔루션의 일부인가요? 예를 들어 집계, 상관 관계 또는 변칙 검색이 있습니다.
- 다양성, 속도, 볼륨: 스키마가 다양하나요? 거의 실시간으로 대량의 데이터를 수집해야 하나요?
- 데이터 조직: 원시 데이터를 분석하시겠습니까? 예를 들어 완전히 큐레이팅된 스타 스키마는 아닙니다.
- 쿼리 동시성: 여러 사용자 또는 프로세스가 Azure Data Explorer를 사용하나요?
- 빌드 및 구매: 데이터 플랫폼을 사용자 지정할 계획인가요?
Azure Data Explorer는 고속의 다양한 원시 데이터를 통해 대화형 분석 기능을 지원하는 데 가장 이상적입니다. 다음 의사 결정 트리를 사용하여 Azure Data Explorer가 적합한지 결정하는 데 도움이 됩니다.
Azure 데이터 탐색기의 특성은 무엇인가요?
데이터 속도, 다양성 및 볼륨
Azure Data Explorer를 사용하면 대기 중인 수집 또는 스트리밍 수집을 통해 몇 분 안에 테라바이트 단위의 데이터를 수집할 수 있습니다. 밀리초에서 몇 초 이내에 결과가 반환되는 페타바이트 규모의 데이터를 쿼리할 수 있습니다. Azure Data Explorer는 원시 데이터의 고속(초당 수백만 개의 이벤트), 짧은 대기 시간(초) 및 선형 확장 수집을 제공합니다. 다양한 파이프라인과 소스에서 유입되는 다양한 형식과 구조의 데이터를 수집합니다.
사용자 친화적인 쿼리 언어
팀에서 처음 개발한 오픈 소스 언어인 KQL(Kusto Query Language)를 사용하여 Azure Data Explorer를 쿼리합니다. 이 언어는 이해하고 알아보기 쉽고 매우 생산적입니다. 간단한 연산자와 고급 분석을 사용할 수 있습니다. Azure Data Explorer는 T-SQL도 지원합니다.
고급 분석
시계열 추가 및 빼기, 필터링, 회귀, 계절성 감지, 지리 공간적 분석, 변칙 검색, 스캔 및 예측을 비롯한 다양한 기능을 사용하여 시계열 분석에 Azure Data Explorer를 사용합니다. 시계열 함수는 수천 개의 시계열을 초 단위로 처리하도록 최적화되어 있습니다. 변칙을 진단하고 근본 원인을 분석할 수 있는 클러스터 플러그 인을 사용하여 패턴을 쉽게 검색할 수 있습니다. KQL 쿼리에 python 코드를 포함하여 Azure Data Explorer 기능을 확장할 수도 있습니다.
사용하기 쉬운 마법사
데이터 가져오기 환경을 사용하면 데이터 수집 프로세스를 쉽고 빠르고 직관적으로 처리할 수 있습니다. Azure Data Explorer 웹 UI는 데이터 수집, 데이터베이스 테이블 생성 및 구조 매핑을 빠르게 시작하는 데 도움이 되는 직관적인 안내형 환경을 제공합니다. 다양한 소스와 다양한 데이터 형식에서 한 번 또는 연속적으로 수집할 수 있습니다. 테이블 매핑 및 스키마는 자동으로 제안되며 쉽게 수정할 수 있습니다.
다목적 데이터 시각화
데이터 시각화를 통해 중요한 인사이트를 얻을 수 있습니다. Azure Data Explorer는 다양한 차트 및 시각화를 지원하는 기본 제공 시각화 및 대시보드를 즉시 제공합니다. 여기에는 Power BI와의 네이티브 통합, Grafana, Kibana 및 Databricks용 기본 커넥터, Tableau, Sisense, Qlik 등에 대한 ODBC 지원이 있습니다.
자동 수집, 처리 및 내보내기
Azure Data Explorer는 서버 쪽 저장 함수, 지속적인 수집 및 Azure Data Lake 저장소로의 연속 내보내기를 지원합니다. 또한 서버 쪽에서 수집 시간 매핑 변환, 업데이트 정책 및 구체화된 뷰를 사용하여 미리 계산된 예약 집계를 지원합니다.
Azure 데이터 탐색기 흐름
다음 다이어그램은 Azure 데이터 탐색기 작업의 다양한 측면을 보여 줍니다.
일반적으로 Azure Data Explorer와 상호 작용할 때 다음 워크플로를 살펴보겠습니다.
참고
Azure Data Explorer 웹 UI에서 또는 SDK를 사용하여 Azure Data Explorer 리소스에 액세스할 수 있습니다.
데이터베이스 만들기: ‘클러스터’를 만들고 해당 클러스터에서 하나 이상의 ‘데이터베이스’를 만듭니다. 각 Azure Data Explorer 클러스터는 최대 10,000개의 데이터베이스를 보유할 수 있고 각 데이터베이스는 최대 10,000개의 테이블을 보유할 수 있습니다. 각 테이블의 데이터는 “익스텐트”라는 데이터 분할 데이터베이스에 저장됩니다. 모든 데이터는 수집 시간을 기준으로 자동으로 인덱싱되고 분할됩니다. 즉, 다양한 데이터를 많이 저장할 수 있으며 저장 방식 때문에 쿼리에 빠르게 액세스할 수 있습니다. 빠른 시작: Azure 데이터 탐색기 클러스터 및 데이터베이스 만들기
데이터 수집: 쿼리를 실행할 수 있도록 데이터를 데이터베이스 테이블에 로드합니다. Azure Data Explorer는 여러 가지 수집 방법을 지원하며, 방법마다 고유의 시나리오가 있습니다. 이러한 방법에는 수집 도구, 다양한 서비스에 대한 커넥터 및 플러그 인, 관리형 파이프라인, SDK를 사용하는 프로그래밍 방식 수집, 그리고 직접 액세스 수집이 있습니다. 데이터 가져오기 환경을 시작합니다.
쿼리 데이터베이스: Azure Data Explorer는 표현력이 뛰어나고 직관적이며 생산성이 높은 쿼리 언어인 Kusto 쿼리 언어를 사용합니다. 간단한 한 줄짜리 스크립트에서 복잡한 데이터 처리 스크립트로 원활하게 전환할 수 있으며 정형, 반정형 및 비정형(텍스트 검색) 데이터 쿼리를 지원합니다. 다양한 쿼리 언어 연산자 및 함수(집계, 필터링, 시계열 함수, 지리 공간적 함수, 조인, 합집합 등) 언어로 제공됩니다. KQL은 클러스터 간 및 데이터베이스 간 쿼리를 지원하며 구문 분석(json, XML 등) 관점에서 기능이 풍부합니다. 또한 이 언어는 기본적으로 고급 분석을 지원합니다.
웹 애플리케이션을 사용하여 쿼리를 실행하고 결과를 검토 및 공유합니다. 쿼리를 프로그래밍 방식으로(SDK 사용) 또는 REST API 엔드포인트로 보낼 수도 있습니다. SQL에 대해 잘 알고 있는 경우 SQL 대 Kusto 참고 자료로 시작하세요. 빠른 시작: Azure Data Explorer 웹 UI에서 데이터 쿼리
결과 시각화: 기본 Azure Data Explorer 대시보드에서 데이터의 다양한 시각적 표시를 사용합니다. Power BI 및 Grafana와 같은 일부 주요 시각화 서비스에 대한 커넥터를 사용하여 결과를 표시할 수도 있습니다. Azure Data Explorer에는 Tableau 및 Sisense와 같은 도구에 대한 ODBC 및 JDBC 커넥터도 지원됩니다.
피드백을 제공하는 방법
다음에서 Azure Data Explorer 및 Kusto 쿼리 언어에 대한 피드백을 보내 주세요.