Azure Data Explorer を使用する場合
ここでは、自分のビッグ データ分析のニーズにとって Azure Data Explorer が適した選択かどうかを判断する方法について説明します。 次の条件を評価することで、Azure Data Explorer がパフォーマンスと機能の目標を満たしているかどうかを判断できます。
- 対話型分析
- データの多様性
- データのベロシティ
- データ ボリューム
- データの編成
- クエリのコンカレンシー
- 構築と購入
意思決定の基準
Azure Data Explorer は、人々が高度なアジャイル環境でデータに基づいた意思決定を行うことを支援するビッグ データの対話的な分析プラットフォームです。 以下で列挙する要素は、Azure Data Explorer が手元のワークロードに適しているかどうかを評価するのに役立ちます。 以下の重要な点について自問してください。
対話型分析
データを対話形式で分析する必要はありますか。
データ分析には、集計、スコープ、評価、相関関係、異常検出、予測、一般的なモデル評価などの手法があり、大量のデータを実用的な結論に落とし込むのに役立ちます。 このようなアクティビティを対話形式で行うことが、Azure Data Explorer の特徴です。 このようなアクティビティは、対話型のダッシュボード、分析用のカスタム アプリケーション、または人間にとってわかりやすいクエリと視覚化によるデータの直接操作を通じて行うことができます。 Azure Data Explorer は、データに対する長期のバッチ ジョブの実行には最適なテクノロジではない可能性があります。 長期タスクには、Azure Data Explorer と上手く連携できる Microsoft Spark のようなテクノロジの使用を検討してください。
データの多様性
データ構造にはどのような種類がありますか。
Azure Data Explorer は、スケーラブルでハイパフォーマンスなフル テキスト インデックスと動的スキーマをサポートしています。 構造化データ、半構造化データ (json、xml)、テキスト データを分析および処理する必要がある場合、Azure Data Explorer がワークロードに適している可能性があります。
データのベロシティ
リアルタイムのデータ分析は重要な要素ですか。
Azure Data Explorer を使用すると、大量のデータをすばやく低待機時間で取り込むことができます。 一般的なデータ セットには、トレース、トランザクション ログ、時系列、メトリック、一般的なアクティビティ レコード ストリームなどがあります。 最新データに対する凖リアルタイムの分析は、よくあるユース ケースです。 Azure Data Explorer を使用すると、Azure Event Hubs、IoT Hubs、Kafka などのストリーミング テクノロジと適切に接続し、このようなワークロードを強化することができます。 しかし、リアルタイム分析の必要性がある場合、Azure Data Explorer は最適な選択ではない可能性があります。
データ ボリューム
取り込む必要があるデータの量はどのくらいですか。
Azure Data Explorer は、大量のデータ ワークロードに対して、対話形式と API 経由でウォーム パス分析を提供するように構築されています。 累積データの合計サイズが数ギガバイト程度の場合は、よりコスト効率の高いソリューションが他にあるかもしれません。
データの編成
データはどのくらい一貫して整理されていますか。
Azure Data Explorer は、生データに対してスキーマオンリードを適用するように構築されています。 このアプローチにより、現在のニーズに基づいて、さまざまな方法や視点でデータを調査する柔軟性が生まれます。 この機能は、セキュリティ、運用、および他の領域と競合する環境における予期しない課題に対処する場合に価値を発揮します。 Azure Data Explorer を使用すると、極めて高い速度、スケーラビリティ、コスト効率で生データを分析できます。 データ ウェアハウスのデプロイにおいては多くの場合、抽出、変換、読み込み (ETL) プロセスによって、適切にキュレーションが行われ、一貫性が高く、適切に文書化されたエンティティと属性のセットが定期的に生成されます。 このような複雑なスター スキーマの分析には、通常、大規模なファクト - ファクト - ファクト間の結合が必要であり、Azure Data Explorer はこれに最適化されていません。
クエリのコンカレンシー
"同時にデータのクエリ/取り込み/処理を行う必要があるユーザーの人数は何人ですか?"
Azure Data Explorer は、分析 SaaS オファリングの実装に広く使用されています。 もし、並行する多数の要求に起因する多様で特有の分析ニーズをサポートする必要があるのなら、Azure Data Explorer は優れたソリューションを提供するはずです。
構築と購入
データ プラットフォームをどの程度カスタマイズしたいですか。
Azure Data Explorer は、フル マネージド型のサービスとしてのプラットフォームです。 しかし、すぐに使用できるターンキー ソリューションを提供するわけではありません。 このソリューションを実現 (構築) するには、これを基にしてエクスペリエンスのカスタマイズ、構成、接続、および作成が必要です。 さまざまなドメインおよび業種において、Azure Data Explorer を使用してそのようなターンキー ソリューションを提供する Microsoft やサード パーティによるソリューションは豊富に存在します。 たとえば、IT 運用のための Azure Monitor です。 セキュリティ ドメインにおいては Microsoft Advanced Threat Protection と Microsoft Sentinel、IoT ドメインにおいては Azure Time Series Insights と Azure IoT Central が存在します。
基準を適用する
高速で多様な生データを扱うナレッジ ワーカーが対話型の分析機能を利用できるようにするには、Azure Data Explorer が最適です。 衣料品会社のシナリオのプロセス例に、上記の基準をどのように適用できるかを考えてみましょう。
製造データに Azure Data Explorer を使用すべきか
例に挙げた衣料品会社の製造部門では、在庫量と製造量をどのように管理するかを判断する必要があります。 在庫に関するデータの受信ログがあります。 また、マーケティングからの地理空間データを使用して、地域ごとの製品ニーズを予測したいと考えています。 このデータには、さまざまな多様性、ベロシティ、量があります。 これは一貫した方法で "組織化" されておらず、多くの関係者がこのデータに対して "同時に" クエリを実行する必要があります。 インジェストからクエリまで、低待機時間にする必要があります。 クエリの応答時間は 1 秒未満にする必要があります。 意思決定の基準に基づくと、Azure Data Explorer はこの衣料品会社の製造部門に適しています。
マーケティング データに Azure Data Explorer を使用すべきか
衣料品会社のマーケティング部門では、キャンペーンの効果を評価したいと考えています。 Web サイトと広告キャンペーンのクリックストリーム データがあります。 また、ソーシャル メディアのフリー テキスト (非構造化) データもあります。 このデータは非常に多様であり、整理されていません。 この部門では、探索的な対話型分析を実行したいと考えています。 意思決定の基準に基づくと、Azure Data Explorer はこの衣料品会社のマーケティング部門に適しています。
ガイダンスのまとめ
次の表は、新しいユース ケースを評価する方法を示しています。 ここではすべてのユース ケースを網羅しているわけではありませんが、これは Azure Data Explorer が自分にとって適したソリューションかどうかを判断するために役立つと私たちは考えています。
| ユース ケース | 対話型分析 | ビッグ データ (多様性、ベロシティ、量) | データの編成 | コンカレンシー | 構築と購入 | Azure Data Explorer を使用すべきか |
|---|---|---|---|---|---|---|
| セキュリティ分析 SaaS の実装 | 対話型で凖リアルタイムの分析の多用。 | セキュリティ データは多様であり、大量かつ高速。 | 可変 | このシステムは多くの場合、複数のテナントからの複数のアナリストによって使用されます。 | SaaS オファリングの実装は構築のシナリオです。 | はい |
| CDN ログ分析 | トラブルシューティング、QoS 監視のための対話型。 | CDN ログは多様であり、大量かつ高速。 | 個別のログ レコード。 | これらの分析を使用するのは小規模なグループのデータ サイエンティストであるかもしれませんが、これが多数のダッシュボードを動かす場合もあります。 | CDN 分析から抽出される値はシナリオ固有であり、カスタム分析を必要とします。 | はい |
| IoT テレメトリのための時系列データベース | トラブルシューティング、傾向と使用状況の分析、異常の検出に関して対話的です。 | IoT テレメトリは高速ですが、構造化されたものだけであったり、サイズが中規模である可能性があります。 | 関連するレコードのセット。 | これらの分析を使用するのは小規模なグループのデータ サイエンティストであるかもしれませんが、これが多数のダッシュボードを動かす場合もあります。 | データベースを検索する場合、コンテキストは通常、構築です。 | はい |
次のフローチャート表は、Azure Data Explorer の使用を検討する際に自問するべき主な点をまとめたものです。
