Azure Data Explorerとは
Azure Data Explorer は、大量のデータをほぼリアルタイムで簡単に分析できるようにする、フル マネージドかつハイ パフォーマンスなビッグ データ分析プラットフォームです。 Azure Data Explorer ツールボックスにより、データ インジェスト、クエリ、視覚化、管理のためのエンドツーエンドのソリューションを利用できます。
Azure Data Explorer を使用すると、構造化データ、半構造化データ、および非構造化データが時系列で分析され、Machine Learning が使用されるので、重要な分析情報の抽出、パターンと傾向の特定、予測モデルの作成が簡単になります。 Azure Data Explorerでは、従来のリレーショナル モデルを使用して、厳密に型指定されたスキーマを持つテーブルにデータを整理します。 テーブルはデータベース内に格納され、クラスターは複数のデータベースを管理できます。 Azure Data Explorer はスケーラブルかつ安全で堅牢、そしてエンタープライズに対応しており、ログ分析、時系列分析、IoT、汎用の調査分析に役立ちます。
Azure Data Explorer機能は、クエリ言語 (Kusto 照会言語 (KQL) に基づいて構築された他のサービスによって拡張されます。 これらのサービスには、Azure Monitor ログ、Application Insights、Time Series Insights、Microsoft Defender for Endpointが含まれます。
Azure Data Explorer を使用する必要があるのはどのような場合ですか。
次の質問を使用すると、Azure Data Explorer がお客様のユース ケースに適しているかを判断するのに役立ちます。
- 対話型分析: 対話型分析はソリューションの一部ですか? たとえば、集計、関連付け、異常検出などです。
- バラエティ、ベロシティ、ボリューム: スキーマは多様ですか? 大量のデータをほぼリアルタイムで取り込む必要がありますか?
- データの編成: 生データを分析しますか? たとえば、完全にキュレーションされていないスター スキーマです。
- クエリのコンカレンシー: 複数のユーザーまたはプロセスによって Azure Data Explorer が使用されますか?
- ビルドと購入: データ プラットフォームのカスタマイズを計画していますか?
高速で多様な生データに対して対話型の分析機能を利用できるようにするには、Azure Data Explorer が最適です。 次のデシジョン ツリーを使用すると、Azure Data Explorer がお客様に適しているかを判断するのに役立ちます。
Azure Data Explorerを唯一無二の存在にしている要素は何ですか?
データのベロシティ、種類、量
Azure Data Explorerでは、キューに登録されたインジェストまたはストリーミング インジェストを使用して、テラバイト単位のデータを数分で取り込むことができます。 ミリ秒から数秒以内に返された結果を使用して、ペタバイト単位のデータに対してクエリを実行できます。 Azure Data Explorer には、高速度 (1 秒あたり数百万のイベント)、短い待機時間 (秒)、生データの線形スケール インジェストが備わっています。 さまざまなパイプラインとソースから流れるデータをさまざまな形式と構造で取り込みます。
ユーザーフレンドリなクエリ言語
チームによって最初に考案されたオープンソース言語である Kusto 照会言語 (KQL) を使用して、Azure Data Explorer にクエリを実行します。 この言語は、理解と習得が簡単であり、生産性を高めることができます。 単純な演算子と高度な分析を使用できます。 Azure Data Explorerでは T-SQL もサポートされています。
高度な分析
Azure Data Explorer を使用すると、時系列の追加と削除、フィルター処理、回帰、季節性の検出、地理空間分析、異常検出、スキャン、予測など、多数の関数を使用した時系列分析を行うことができます。 時系列関数は、何千もの時系列を秒単位で処理するように最適化されています。 異常を診断し、根本的な原因を分析することができるクラスター プラグインを使用すると、パターン検出が簡単になります。 また、KQL クエリに python コードを埋め込むことで、Azure Data Explorer の機能を拡張することもできます。
使いやすいウィザード
インジェスト ウィザードを使用すると、データ インジェスト プロセスを簡単かつ迅速に、直感的に行うことができます。 Azure Data Explorer Web UI により、直感的なガイド付きエクスペリエンスが提供されます。これは、データ インジェスト、データベース テーブルの作成、構造マッピングをすばやく開始するのに役立ちます。 これによって、1 回または連続したインジェストが、さまざまなソースからのさまざまなデータ形式で可能になります。 テーブルのマッピングとスキーマは自動的に提案され、簡単に変更することができます。
さまざまな用途に使えるデータの視覚化
データの視覚化は、重要な分析情報を得るために役立ちます。 Azure Data Explorer には、さまざまなグラフや視覚化をサポートする、組み込みの視覚化とダッシュボードが用意されています。 Power BI を使用したネイティブ インジェスト、Grafana、Kibana、Databricks 用のネイティブ コネクタ、および Tableau、Sisense、Qlik などの ODBC サポートを備えています。
自動取り込み、処理、およびエクスポート
Azure Data Explorer は、サーバー側のストアド関数、連続的な取り込み、Azure Data Lake ストアへの連続エクスポートをサポートしています。 また、サーバー側でのインジェスト時間マッピング変換、ポリシーの更新、および具体化されたビューを使用した事前計算済みのスケジュールされた集計もサポートしています。
Azure Data Explorerのフロー
次は、Azure Data Explorerの使用をさまざまな側面から見た図です。
一般に、Azure Data Explorer を操作するときは、次のワークフローを実行します。
注意
Azure Data Explorer のリソースには、Azure Data Explorer Web UI から、または SDK を使用してアクセスできます。
データベースの作成:クラスターを作成し、そのクラスターで 1 つまたは複数のデータベースを作成します。 各 Azure Data Explorer クラスターには最大 10,000 個のデータベース、各データベースには最大 10,000 個のテーブルを保持できます。 各テーブルのデータは "エクステント" と呼ばれるデータ シャードに格納されます。 すべてのデータは、インジェスト時間に基づいて自動的にインデックスが作成され、パーティション分割されます。 つまり、多数のさまざまなデータを格納することができます。また、このような格納方法のため、すばやくアクセスしてクエリを実行できます。 クイック スタート: Azure Data Explorer クラスターとデータベースを作成する
データの取り込み: クエリを実行できるように、データをデータベース テーブルに読み込みます。 Azure Data Explorer では複数のインジェスト方法がサポートされており、それぞれに固有のターゲット シナリオがあります。 これらの方法には、インジェスト ツール、さまざまなサービスへのコネクタとプラグイン、マネージド パイプライン、SDK を使用したプログラムによる取り込み、インジェストへの直接アクセスなどがあります。 インジェスト ウィザードの使用を開始します。
データベースのクエリ: Azure Data Explorer では、Kusto クエリ言語 が使用されます。これは、表現力豊かで直感的な生産性の高いクエリ言語です。 シンプルなワンライナーから複雑なデータ処理スクリプトへとスムーズに移行できます。また、構造化データ、半構造化データ、非構造化 (テキスト検索) データのクエリをサポートしています。 この言語には、さまざまなクエリ言語の演算子と関数 (集計、フィルター処理、時系列関数、地理空間関数、join、union など) が用意されています。 KQL は、クラスター間およびデータベース間のクエリをサポートしています。また、解析 (JSON、XML など) の観点からも機能豊富です。 この言語では、高度な分析もネイティブでサポートされています。
Web アプリケーションを使用してクエリを実行し、結果を確認して共有します。 SDK を利用してプログラミングでクエリを送信したり、REST API エンドポイントにクエリを送信したりすることもできます。 SQL に慣れている場合は、「SQL から Kusto へのチート シート」を参照して開始してください。 クイック スタート: Azure Data Explorer の Web UI でデータのクエリを実行する
結果の視覚化: ネイティブの Azure Data Explorer ダッシュボードで、データのさまざまなビジュアル表示を使用します。 Power BI や Grafana など、主要な視覚化サービスの一部に対してコネクタを使用し、結果を表示することもできます。 また、Azure Data Explorer では、Tableau や Sisense などのツールへの ODBC および JDBC コネクタのサポートも提供されます。
フィードバックの提供方法
Azure Data Explorer と Kusto クエリ言語に関するフィードバックをお待ちしております。次の方法をご利用ください。