このソリューションでは、Azure Data Explorer にセキュリティ ログを長期的に格納します。 このソリューションでは、コストを最小限に抑え、データを照会する必要があるときに簡単にアクセスできるようにします。
Grafana および Jupyter Notebooks は、各社の商標です。 これらのマークを使用することが、保証を意味するものではありません。
アーキテクチャ
このアーキテクチャの Visio ファイルをダウンロードします。
データフロー
SIEM と SOAR のために、企業は Sentinel と Defender for Endpoint を使用します。
Defender for Endpoint では、ネイティブな機能を使用して、Azure Event Hubs と Azure データ レイクにデータをエクスポートします。 Sentinel では、Defender for Endpoint のデータを取り込んでデバイスを監視します。
Sentinel では、データを Event Hubs と Azure データ レイクにエクスポートするためのデータ プラットフォームとして Log Analytics を使用します。
Azure Data Explorer では、Event Hubs、Azure Blob Storage、Azure Data Lake Storage のコネクタを使用して、低遅延、高スループットでデータを取り込みます。 このプロセスでは Azure Event Grid が使用されます。これにより、Azure Data Explorer のインジェスト パイプラインがトリガーされます。
必要に応じて、Azure Data Explorer ではセキュリティ ログを Azure Storage に継続的にエクスポートします。 これらのログは、パーティション分割されて圧縮された Parquet 形式であり、クエリを行う準備ができています。
規制要件に従うために、Azure Data Explorer では事前に集計されたデータをアーカイブ用に Data Lake Storage にエクスポートします。
Log Analytics と Sentinel では、Azure Data Explorer を使用したサービス間クエリがサポートされます。 SOC アナリストは、この機能を使用して、セキュリティ データに対するすべての調査を実行します。
Azure Data Explorer には、データの処理、集計、分析のためのネイティブな機能が用意されています。
さまざまなツールによって、分析情報を迅速に提供するほぼリアルタイムの分析ダッシュボードが提供されます。
Components
Defender For Endpoint によって、デバイス、ID、アプリ、電子メール、データ、およびクラウドのワークロード間の脅威から組織が保護されます。
Sentinel は、クラウドネイティブの SIEM および SOAR ソリューションです。 高度な AI およびセキュリティ分析を使用して、企業全体で脅威を検出、追跡、防止、対応します。
Monitor は、環境と Azure リソースのデータを収集して分析するサービスとしてのソフトウェア (SaaS) ソリューションです。 このデータには、パフォーマンス メトリックやアクティビティ ログなどのアプリ テレメトリが含まれます。 Monitor はアラート機能も備えています。
Log Analytics は、Monitor のログ データを照会して検査するために使用できる Monitor サービスです。 Log Analytics には、クエリ結果をグラフ化および統計分析するための機能も用意されています。
Event Hubs は、直感的でスケーラブルなフル マネージドのリアルタイム データ インジェスト サービスです。
Data Lake Storage は、大量のデータを未加工のデータのネイティブ形式で保持するスケーラブルなストレージ リポジトリです。 このデータ レイクは、Blob Storage の上に構築されており、データを格納および処理するための機能を提供します。
Azure Data Explorer は、高速で完全に管理され、高度にスケーラブルなデータ分析プラットフォームです。 このクラウド サービスを使用して、大量のデータに対するリアルタイム分析を行うことができます。 Azure Data Explorer は、対話型のアドホック クエリ用に最適化されています。 アプリケーション、Web サイト、IoT デバイス、その他のソースからのさまざまなデータ ストリームを処理できます。
Azure Data Explorer ダッシュボードでは、Azure Data Explorer Web UI クエリからネイティブにデータをインポートします。 これらの最適化されたダッシュボードを使用すると、クエリ結果を表示して調査することができます。
代替
セキュリティ ログの長期的な保存に Azure Data Explorer を使用する代わりに、Storage を使用できます。 この方法では、アーキテクチャが簡素化され、コストを制御することができます。 欠点は、セキュリティ監査と対話型調査クエリのログをリハイドレートする必要があることです。 Azure Data Explorer では、ポリシーを変更することで、コールド パーティションからホット パーティションにデータを移動できます。 この機能により、データの調査が迅速になります。
このソリューションのもう 1 つのオプションは、セキュリティ値に関係なくすべてのデータを Sentinel と Azure Data Explorer に同時に送信することです。 結果が一部で重複しますが、コストが大きく削減される可能性があります。 Azure Data Explorer では長期的なストレージが提供されるため、この方法を使用すると、Sentinel のデータ保有コストを削減できます。
Log Analytics では、現在、カスタム ログ テーブルのエクスポートをサポートしていません。 このシナリオでは、Azure Logic Apps を使用して Log Analytics ワークスペースからデータをエクスポートできます。 詳細については、「ロジック アプリを使用して Log Analytics ワークスペースから Azure ストレージにデータをアーカイブする」を参照してください。
シナリオの詳細
セキュリティ ログは、脅威を特定したり、認可されていないデータ アクセスの試行を追跡したりする場合に役立ちます。 セキュリティ攻撃は、検出される前に開始されることがあります。 そのため、長期間のセキュリティ ログにアクセスできることが重要になります。 長期間のログを照会することは、脅威の影響を特定し、不正アクセスの試行の拡散を調査するために重要です。
この記事では、セキュリティ ログの長期保有に関するソリューションの概要を示します。 アーキテクチャの中核となるのは Azure Data Explorer です。 このサービスでは最小限のコストでセキュリティ データのストレージが提供されますが、そのデータはクエリ可能な形式で保持されます。 その他の主要なコンポーネントは次のとおりです。
次の機能を備えた Microsoft Defender for Endpoint と Microsoft Sentinel。
- 包括的なエンドポイント セキュリティ
- セキュリティ情報とイベント管理 (SIEM)
- セキュリティ オーケストレーション自動応答 (SOAR)
Log Analytics (Sentinel セキュリティ ログの短期的な保存用)
考えられるユース ケース
このソリューションは、さまざまなシナリオに適用されます。 具体的には、セキュリティ オペレーション センター (SOC) のアナリストは、次の目的でこのソリューションを使用できます。
- 本格的な調査。
- フォレンジック分析。
- 脅威のハンティング。
- セキュリティ監査。
あるお客様がソリューションの有用性を証言しています。「Azure Data Explorer クラスターをデプロイしたのは 1 年半ほど前です。 最後の Solorigate データ侵害では、フォレンジック分析に Azure Data Explorer クラスターを使用しました。 Microsoft Dart チームは、Azure Data Explorer クラスターを使用して調査を完了しました。 長期的なセキュリティ データの保有は、フルスケールのデータ調査に不可欠です。」
監視スタック
次の図は、Azure 監視スタックを示しています。
- Sentinel では、Log Analytics ワークスペースを使用してセキュリティ ログを格納し、SIEM および SOAR ソリューションを提供します。
- Monitor では、IT 資産の状態を追跡し、必要に応じてアラートを送信します。
- Azure Data Explorer では、Log Analytics のワークスペース、Monitor、Sentinel のセキュリティ ログを格納する、基になるデータ プラットフォームが提供されます。
主要な機能
以下のセクションで説明するように、このソリューションの主要な機能により、多くの利点が提供されます。
長期間照会可能なデータ ストア
Azure Data Explorer では、保存処理中にデータのインデックスを作成し、データをクエリで使用できるようにします。 監査と調査の実行に専念する必要があるときに、データを処理する必要はありません。 データは簡単に照会できます。
フルスケールのフォレンジック分析
Azure Data Explorer、Log Analytics、Sentinel では、サービス間クエリがサポートされます。 そのため、これらのサービスのいずれかに格納されているデータを 1 つのクエリで参照できます。 SOC アナリストは Kusto クエリ言語 (KQL) を使用して、すべての調査を実行できます。 また、追跡のために、Sentinel で Azure Data Explorer のクエリを使用することもできます。 詳細については、新機能: Sentinel の追跡での ADX クロスリソース クエリのサポートに関する記事を参照してください。
オンデマンド データ キャッシュ
Azure Data Explorer では、ウィンドウベースのホット キャッシュがサポートされます。 この機能により、選択した期間からホット キャッシュにデータを移動することができます。 その後、データに対して高速なクエリを実行し、調査の効率を高めることができます。 このためには、ホット キャッシュにコンピューティング ノードを追加する必要がある場合があります。 調査が完了したら、ホット キャッシュ ポリシーを変更して、コールド パーティションにデータを移動することができます。 クラスターを元のサイズに復元することもできます。
アーカイブ データへの連続エクスポート
規制要件に従うために、一部の企業では無期限にセキュリティ ログを格納する必要があります。 Azure Data Explorer では、データの連続エクスポートがサポートされます。 この機能を使用して、セキュリティ ログを Storage に格納することで、アーカイブ層を構築できます。
実績のあるクエリ言語
Kusto クエリ言語は、Azure Data Explorer でネイティブです。 この言語は、Log Analytics ワークスペースと Sentinel の脅威ハンティング環境でも使用できます。 これより、SOC アナリストの学習曲線が大幅に短縮されます。 Sentinel で実行するクエリは、Azure Data Explorer クラスターに格納されたデータに対しても機能します。
考慮事項
以降の考慮事項には、ワークロードの品質向上に使用できる一連の基本原則である Azure "Well-Architected Framework" の要素が組み込まれています。 詳細については、「Microsoft Azure Well-Architected Framework」を参照してください。
このソリューションを実装する場合は、次の点に留意してください。
スケーラビリティ
次のスケーラビリティの問題を考慮してください。
データのエクスポート方法
Log Analytics から大量のデータをエクスポートする必要がある場合は、Event Hubs の容量制限に達する可能性があります。 この状況を回避するには、次のようにします。
- Log Analytics から Blob Storage にデータをエクスポートします。
- Azure Data Factory ワークロード使用して、データを Azure Data Explorer に定期的にエクスポートします。
この方法を使用すると、Sentinel または Log Analytics のデータの保有期間の制限に近い場合にのみ、Data Factory からデータをコピーできます。 その結果、データの重複を回避できます。 詳細については、「データを Log Analytics から Azure Data Explorer にエクスポートする」を参照してください。
クエリの使用と監査の準備
一般に、データは Azure Data Explorer クラスター内のコールド キャッシュに保持します。 この方法では、クラスターのコストが最小限に抑えられ、前の月のデータに関するほとんどのクエリに対して十分に機能します。 ただし、大規模なデータ範囲に対してクエリを実行する場合は、クラスターをスケールアウトし、ホット キャッシュにデータを読み込む必要があることがあります。
このためには、ホット キャッシュ ポリシーのホット ウィンドウ機能を使用できます。 この機能は、長期的なデータを監査するときにも使用できます。 ホット ウィンドウを使用する場合は、クラスターをスケールアップまたはスケールアウトして、より多くのデータのための領域をホット キャッシュに追加する必要があることがあります。 大規模なデータ範囲のクエリが完了したら、ホット キャッシュ ポリシーを変更してコンピューティング コストを削減します。
Azure Data Explorer クラスターで最適化された自動スケール機能を有効にすることで、キャッシュ ポリシーに基づいてクラスターのサイズを最適化できます。 Azure Data Explorer でのコールド データの照会の詳細については、「ホット ウィンドウを使用してコールド データに対するクエリを実行する」を参照してください。
パフォーマンス効率
パフォーマンス効率とは、ユーザーによって行われた要求に合わせて効率的な方法でワークロードをスケーリングできることです。 詳細については、「パフォーマンス効率の柱の概要」を参照してください。
セキュリティ データを長期間または無期限に保存する必要がある場合は、ログを Storage にエクスポートします。 Azure Data Explorer では、データの連続エクスポートがサポートされます。 この機能を使用すると、パーティション分割されて圧縮された Parquet 形式でデータを Storage にエクスポートできます。 その後、そのデータにシームレスに照会できます。 詳細については、継続的データ エクスポートの概要に関するページを参照してください。
コスト最適化
コストの最適化とは、不要な費用を削減し、運用効率を向上させる方法を検討することです。 詳しくは、コスト最適化の柱の概要に関する記事をご覧ください。
Azure Data Explorer クラスターのコストは、ホット キャッシュにデータを格納するために使用されるコンピューティング能力に主に基づいています。 ホット キャッシュ データに対するクエリは、コールド キャッシュに対するクエリよりも良いパフォーマンスになります。 このソリューションでは、ほとんどのデータをコールド キャッシュに格納することで、コンピューティング コストを最小限に抑えています。
お使いの環境でこのソリューションを実行するためのコストを調べるには、Azure 料金計算ツールを使用します。
このシナリオのデプロイ
デプロイを自動化するには、この PowerShell スクリプトを使用します。 このスクリプトでは、次のコンポーネントが作成されます。
- ターゲット テーブル
- 生テーブル
- Event Hubs レコードが生テーブルに配置される方法を定義するテーブル マッピング
- データ保有ポリシーと更新ポリシー
- Event Hubs 名前空間
- Log Analytics ワークスペースのデータ エクスポート ルール
- Event Hubs と Azure Data Explorer の生データ テーブル間のデータ接続
共同作成者
この記事は、Microsoft によって保守されています。 当初の寄稿者は以下のとおりです。
プリンシパル作成者:
- Deepak Agrawal | プロダクト マネージャー
パブリックでない LinkedIn プロファイルを表示するには、LinkedIn にサインインします。
次のステップ
- 長期的なログ保持のために Azure Data Explorer を統合する
- Microsoft Sentinel のログを簡単に長期ストレージに移動する
- Azure Monitor を使用した Azure Data Explorer のクロスリソース クエリ
- 方法: 長期ストレージ用に Microsoft Sentinel データのエクスポートを構成する
- Microsoft Sentinel ログの長期保有に Azure Data Explorer 使用する
- 新機能: Microsoft Sentinel ハンティングでの ADX クロスリソース クエリのサポート
- Azure Data Explorer で Microsoft Defender ATP ハンティング ログをストリーミングする方法
- ブログ シリーズ: Azure Data Explorer (ADX) を使用した制限のない高度なハンティング
関連リソース
- Azure Data Explorer による監視
- [Azure Data Explorer の対話型分析][Azure Data Explorer の対話型分析]
- Azure Data Explorer を使用したビッグ データ分析