Microsoft Sentinel のカスタム データ インジェストと変換
Azure Monitor の Log Analytics は、Microsoft Sentinel ワークスペースの手前のプラットフォームとしての役割を果たします。 Microsoft Sentinel に取り込まれたすべてのログは、既定では Log Analytics に格納されます。 格納されたログに Microsoft Sentinel からアクセスして KQL (Kusto 照会言語) クエリを実行することにより、脅威を検出したりネットワーク アクティビティを監視したりできます。
Log Analytics のカスタム データ インジェスト プロセスには、取り込まれたデータの高度な制御手段が用意されています。 データ収集ルール (DCR) を使用してデータを収集し、ワークスペースに格納される前の時点でそれを操作することができます。 標準のテーブルにフィルター処理やエンリッチメント処理を適用し、高度にカスタマイズしたテーブルを作成して、固有のログ形式を生成するソースからのデータを格納することが可能です。
Microsoft Sentinel には、このプロセスを制御する 2 つのツールが用意されています。
ログ インジェスト API を使用すると、任意のデータ ソースからカスタム形式のログを Log Analytics ワークスペースに送信し、特定の標準テーブル、または自分が作成したカスタム形式のテーブルにそれらのログを格納できます。 これらのカスタム テーブルの作成は、列名や型の指定に至るまですべて制御できます。 これらのデータ フローに対する変換を定義、構成、適用するには、DCR を作成します。
データ収集の変換とは、受信した標準ログ (および特定のタイプのカスタム ログ) がワークスペースに格納される前に、DCR を使用して基本的な KQL クエリを適用するものです。 その変換により、重要でないデータをフィルターで除外したり、分析や外部データで既存のデータをエンリッチしたり、機密または個人情報をマスクしたりすることができます。
以降、これら 2 つのツールについて詳しく説明します。
ユース ケースとサンプル シナリオ
フィルター処理
インジェスト時の変換を使用すると、ワークスペースに格納される前であっても、重要でないデータをフィルターで除外することができます。
フィルタリングは、追加するレコードの条件を指定してレコード (行) レベルで適用するか、または特定のフィールドの内容を除外してフィールド (列) レベルで適用できます。 重要でないデータをフィルターで除外することによって、次のことが可能になります。
- ストレージ要件が低くなるのでコスト削減につながります。
- クエリ時に必要な調整が少なくて済むのでパフォーマンスが向上します。
インジェスト時のデータ変換は、複数ワークスペースのシナリオをサポートします。
正規化
取り込み時の変換では、Advanced Security Information Model (ASIM) を使用して、組み込みテーブルまたは顧客が正規化したテーブルにログを取り込む際にログを正規化することもできます。 取り込み時の正規化を使用すると、正規化されたクエリのパフォーマンスが向上します。
詳細については、「取り込み時の正規化」を参照してください。
エンリッチメントとタグ付け
インジェスト時の変換には、構成済みの KQL 変換に列を追加してデータをエンリッチすることで分析の質を高める効果もあります。 追加する列としては、既存の列に基づく解析済みのデータや計算済みのデータのほか、実行時に作成したデータ構造が考えられます。
たとえば、外部の人事データやイベントの詳細な説明、さらに、ユーザー、場所、アクティビティの種類に応じた分類などの情報を追加することもできます。
マスキング
インジェスト時の変換を使用して、個人情報をマスクしたり取り除いたりすることもできます。 たとえばデータ変換を使用して、社会保障番号やクレジット カード番号を最後の数桁を除いてすべてマスクしたり、他の種類の個人データを意味のないデータや定番のテキスト、ダミー データに置き換えたりすることが考えられます。 インジェスト時に個人情報をマスクすることで、ネットワーク全体のセキュリティが向上します。
Microsoft Sentinel のデータ インジェスト フロー
次の画像は、Microsoft Sentinel のデータ インジェスト フローに、インジェスト時のデータ変換が適用される部分を示したものです。
Microsoft Sentinel は、複数のソースから Log Analytics ワークスペースにデータを収集します。
- 組み込みデータ コネクタからのデータは、ワークスペース DCR のハードコーディングされたワークフローとインジェスト時変換の組み合わせを使用して Log Analytics で処理されます。 このデータは、標準テーブルまたは特定のカスタム テーブル セットに保存できます。
- ログ インジェスト API エンドポイントに直接取り込まれたデータは、インジェスト時変換を含む可能性のある標準 DCR によって処理されます。 この後、このデータは、任意の種類の標準またはカスタム テーブルに保存できます。
Microsoft Sentinel での DCR のサポート
Log Analytics では、さまざまな入力ストリームのデータ フローがデータ収集ルール (DCR) によって決定されます。 データ フローには、変換 (標準またはカスタム) の対象となるデータ ストリーム、送信先ワークスペースへのデータ ストリーム、KQL 変換へのデータ ストリーム、出力テーブルへのデータ ストリームなどがあります。 標準入力ストリームの場合、出力テーブルは入力ストリームと同じです。
Microsoft Sentinel では、次の DCR がサポートされます。
"標準 DCR"。現在、サポートされるのは、ログ インジェスト API を使用した AMA ベースのコネクタとワークフローに限られます。
各コネクタまたはログ ソース ワークフローに、それぞれ専用の "標準 DCR" を使用できます。ただし、共通の "標準 DCR" を複数のコネクタまたはソースで共有することもできます。
"ワークスペース変換 DCR"。標準 DCR が現時点でサポートされていないワークフローに使用します。
ワークスペースでサポートされるワークフローのうち、標準 DCR では処理されないすべてのワークフローが、1 つの " ワークスペース変換 DCR" によって処理されます。 1 つのワークスペースに使用できる "ワークスペース変換 DCR" は 1 つだけですが、その DCR には、入力ストリームごとに別個の変換が存在します。 また、"ワークスペース変換 DCR" のサポートは、特定のテーブル一式に限定されます。
Microsoft Sentinel によるインジェスト時の変換のサポートは、ご使用のデータ コネクタの種類によって異なります。 カスタム ログ、インジェスト時の変換、データ収集ルールの詳細については、この記事の最後にある「関連するコンテンツ」セクションのリンク先の記事を参照してください。
Microsoft Sentinel データ コネクタの DCR サポート
次の表は、Microsoft Sentinel データ コネクタの種類ごとにサポートされる DCR を表したものです。
| データ コネクタの種類 | DCR のサポート |
|---|---|
| ログ インジェスト API を介した直接取り込み | 標準 DCR |
| AMA 標準ログ (例): |
標準 DCR |
| 診断設定ベースの接続 | 特定のデータ コネクタのサポート対象出力テーブルに基づくワークスペース変換 DCR |
| 組み込みのサービス間データ コネクタ (例): |
特定のデータ コネクタのサポート対象出力テーブルに基づくワークスペース変換 DCR |
| 組み込みの API ベース データ コネクタ (例): |
標準 DCR |
| 組み込みの API ベース データ コネクタ (例): |
現在、サポートされていません |
カスタム データ コネクタのデータ変換サポート
Microsoft Sentinel のカスタム データ コネクタを作成した場合、どのようにデータを解析し、Log Analytics ワークスペースに格納するかを、DCR を使用して構成できます。
現在、カスタム ログ インジェストでサポートされているのは次のテーブルのみです。
- WindowsEvent
- SecurityEvent
- CommonSecurityLog
- Syslog
- ASimAuditEventLogs
- ASimAuthenticationEventLogs
- ASimDnsActivityLogs
- ASimFileEventLogs
- ASimNetworkSessionLogs
- ASimWebSessionLogs
詳細については、取り込み時の変換をサポートするテーブルに関するページを参照してください。
制限事項
Microsoft Sentinel のデータ コネクタに関して、インジェスト時のデータ変換には現在、次の問題が確認されています。
"ワークスペース変換 DCR" を使用したデータ変換のサポートは、あくまでテーブル単位であり、コネクタ単位ではありません。
使用できるワークスペース変換 DCR は、ワークスペース全体で 1 つだけです。 その DCR 内で各テーブルは、個別の入力ストリームとその独自の変換を使用できます。 ワークスペース変換 DCR を使用して、複数の宛先 (Log Analytics ワークスペース) にデータを分割することはできません。 AMA ベースのデータ コネクタは、関連付けられた入出力ストリームと変換用の DCR 内でユーザーが定義した構成を使用し、ワークスペース変換 DCR は無視します。
次の構成は API 経由でのみサポートされます。
AMA ベースのコネクタ用の標準 DCR (Windows セキュリティ イベント、Windows の転送済みイベントなど)。
標準テーブルへのカスタム ログ インジェスト用の標準 DCR。
データ変換の構成が適用されるまで、最大で 60 分かかる場合があります。
KQL 構文: 一部サポートされない演算子があります。 詳細については、Azure Monitor のドキュメントで KQL の制限事項とサポートされる KQL 機能に関するセクションを参照してください。
ログは、特定の 1 つのデータ ソースから 1 つのワークスペースにのみ送信できます。 標準 DCR を使用して、1 つのデータ ソースから複数のワークスペース (宛先) にデータを送信するには、ワークスペースごとに 1 つの DCR を作成してください。
関連するコンテンツ
詳細については、以下を参照してください:
- Microsoft Sentinel で取り込み時にデータを変換またはカスタマイズする (プレビュー)
- Microsoft Sentinel データ コネクタ
- Microsoft Azure Sentinel データ コネクタを見つける
インジェスト時の変換、カスタム ログ API、データ収集ルールの詳細については、Azure Monitor のドキュメントで次の記事を参照してください。