Azure Monitor エージェントを使用してテキストファイルからログを収集し、Microsoft Sentinel に取り込む

[アーティクル]
10/16/2024
適用対象:

Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

この記事では、AMA 経由のカスタムログ コネクタを使用して、Windows または Linux マシンにインストールされているネットワークアプリケーションやセキュリティアプリケーションからテキストファイル形式でログをすばやくフィルター処理して取り込む方法について説明します。

多くのアプリケーションでは、Windows イベントログや Syslog などの標準のログ記録サービスを使わずに、テキストファイルにデータが記録されています。 Azure Monitor エージェント (AMA) を使用すれば、Windows および Linux コンピューターから、非標準形式のテキストファイル内のデータを収集できます。 AMA は、収集時にデータに変換を適用して、別のフィールドに対して解析することもできます。

Microsoft Sentinel でログ収集をサポートするソリューションが利用できるアプリケーションの詳細については、「AMA 経由のカスタムログデータコネクタ - 特定のアプリケーションから Microsoft Sentinel へのデータインジェストの構成」をご覧ください。

テキストファイルからカスタムログを取り込む方法の詳細については、「Azure Monitor エージェントを使用してテキストファイルからログを収集する」をご覧ください。

重要

AMA 経由のカスタムログ データコネクタは現在、プレビュー段階です。ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用されるその他の法律条項については、「Microsoft Azure プレビューの追加使用条件」を参照してください。
Microsoft Sentinel は Microsoft Defender ポータルの Microsoft 統合セキュリティオペレーションプラットフォーム内での一般提供を開始しました。詳しくは、「Microsoft Defender ポータルの Microsoft Sentinel」を参照してください。

前提条件

開始する前に、このセクションで説明するようにリソースを構成し、適切なアクセス許可を割り当てる必要があります。

Microsoft Sentinel の前提条件

お使いのアプリケーションに合った Microsoft Sentinel ソリューションをインストールし、この記事の手順を完了するためのアクセス許可があることを確認します。これらのソリューションは、Microsoft Sentinel のコンテンツハブで確認できます。すべてのソリューションに、AMA 経由のカスタムログ コネクタが含まれています。

コンテンツハブにソリューションが用意されているアプリケーションの一覧については、「アプリケーションごとの特定の手順」を参照してください。お使いのアプリケーションで使用できるソリューションがない場合は、AMA 経由のカスタムログ ソリューションをインストールします。

詳細については、「Microsoft Sentinel のそのまま使えるコンテンツを検出して管理する」を参照してください。

次の Azure ロールベースのアクセス制御 (Azure RBAC) の各ロールを持つ Azure アカウントが必要です。

組み込みのロール	Scope	理由
- Virtual Machine Contributor - Azure Connected Machine リソース管理者	仮想マシン (VM) Virtual Machine Scale Sets Azure Arc 対応サーバー	エージェントをデプロイするため
次のアクションを含む任意のロール Microsoft.Resources/deployments/*	サブスクリプション Resource group 既存のデータ収集ルール	Azure Resource Manager テンプレートをデプロイするには
Monitoring Contributor	サブスクリプション Resource group 既存のデータ収集ルール	データ収集ルールを作成または編集するには

ログフォワーダーの前提条件

特定のカスタムアプリケーションは、閉じたアプライアンスでホストされ、ログを外部ログコレクター/フォワーダーに送信する必要があります。このようなシナリオでは、ログフォワーダーに次の前提条件が適用されます。

ログを収集するには、指定された Linux VM (ログフォワーダー) が必要です。
- Azure portal で Linux VM を作成する。
- Azure Monitor エージェントでサポートされている Linux オペレーティングシステム。
ログフォワーダーが Azure 仮想マシン "でない" 場合、Azure Arc Connected Machine エージェントがインストールされている必要があります。
Linux ログフォワーダー VM に Python 2.7 または 3 がインストールされている必要があります。 python --version または python3 --version コマンドを使用して確認してください。 Python 3 を使用している場合は、マシンで既定のコマンドとして設定されていることを確認するか、'python' ではなく 'python3' コマンドを使用してスクリプトを実行します。
ログフォワーダーでは、syslog-ng または rsyslog デーモンのいずれかが有効になっている必要があります。
ログフォワーダーの領域要件については、「Azure Monitor エージェントのパフォーマンスベンチマーク」を参照してください。また、スケーラブルなインジェストの設計に関する記載を含むこのブログ投稿も確認することをお勧めします。
ログソース、セキュリティデバイス、アプライアンスは、ローカルの syslog デーモンではなく、ログフォワーダーの syslog デーモンにログメッセージを送信するように構成する必要があります。

マシンのセキュリティの前提条件

組織のセキュリティポリシーに従って、ログフォワーダーマシンのセキュリティを構成してください。たとえば、企業のネットワークセキュリティポリシーに合わせてネットワークを構成し、デーモンのポートとプロトコルを要件に合わせて変更することができます。マシンのセキュリティ構成を向上させるには、Azure で VM をセキュリティで保護するか、ネットワークセキュリティに関するこれらのベストプラクティスを確認してください。

ログフォワーダーがクラウドにあるなどの理由で、デバイスが TLS 経由でログを送信する場合は、syslog デーモン (rsyslog または syslog-ng) がTLS で通信するように構成する必要があります。詳細については、以下を参照してください:

データコネクターを構成する

AMA 経由のカスタムログデータコネクタのセットアッププロセスには、次の手順が含まれます。

Log Analytics で宛先テーブルを作成します (Defender ポータルの場合は Advanced Hunting)。

テーブルの名前は _CL で終わる必要があり、次の 2 つのフィールドのみで構成されている必要があります。
- TimeGenerated (DateTime型): ログメッセージ作成時のタイムスタンプ。
- RawData (String型): ログメッセージ全体。
  (アプリケーションをホストしているデバイスから直接ではなく、ログフォワーダーからログを収集する場合は、このフィールド名を RawData ではなく Message に設定します。)
次のいずれかの方法で、Azure Monitor エージェントをインストールし、データ収集ルール (DCR) を作成します。
- Azure または Defender ポータル
- Azure Resource Manager テンプレート
ログフォワーダーを使用してログを収集する場合は、そのマシン上の syslog デーモンが他のソースからのメッセージをリッスンするように構成し、必要なローカルポートを開きます。詳細については、「ログを受け入れるようにログフォワーダーを構成する」を参照してください。

手順に適したタブを選択します。

Azure または Defender ポータル
Resource Manager テンプレート

データ収集ルール (DCR) を作成する

まず、どちらかのAMA 経由のカスタムログ データコネクタを Microsoft Sentinel で開き、データ収集ルール (DCR) を作成します。

Azure portal の Microsoft Sentinel の場合、[構成] の下にある [データコネクタ] を選びます。
Defender ポータルの Microsoft Sentinel の場合は、[Microsoft Sentinel]>[構成]>[データコネクタ] を選びます。
[検索] ボックスに custom と入力します。結果から、AMA 経由のカスタムログ コネクタを選択します。
詳細ウィンドウで [コネクタページを開く] を選択します。
[構成] 領域で、[+データ収集ルールの作成] を選びます。
[基本] タブで次の操作を行います。
- DCR 名を入力します。
- サブスクリプションを選択します。
- DCR を置くリソースグループを選びます。
[次へ: リソース]> を選択します。

VM のリソースの定義

[リソース] タブで、ログを収集するマシンを選択します。アプリケーションがインストールされているマシンか、ログフォワーダーマシンのいずれかです。目的のマシンが一覧に表示されない場合は、Azure Connected Machine エージェントがインストールされている Azure VM ではない可能性があります。

使用可能なフィルターまたは検索ボックスを使用して、目的のマシンを見つけます。一覧でサブスクリプションを展開するとそのリソースグループを表示でき、リソースグループを展開するとその VM を表示できます。
ログを収集するマシンを選択します。 VM 名にマウスポインターを合わせると、その横にチェックボックスが表示されます。

選択したマシンに Azure Monitor エージェントがまだインストールされていない場合、DCR の作成およびデプロイ時にエージェントがインストールされます。
変更内容を確認し、[Next: Collect > (次へ: 収集 >) を選択します。

アプリケーションに DCR を構成する

[収集] タブで、[デバイスの種類の選択 (省略可能)] ドロップダウンボックスからアプリケーションまたはデバイスの種類を選択します。または、アプリケーションまたはデバイスが一覧にない場合は、[新規テーブルのカスタム] のままにします。
一覧からアプリケーションまたはデバイスのいずれかを選択した場合は、[テーブル名] フィールドに適切なテーブル名が自動的に入力されます。 [新しいテーブル] を選択した場合は、[テーブル名] にテーブル名を入力します。名前は _CL サフィックスで終わる必要があります。
[ファイルパターン] フィールドに、収集するテキストログファイルのパスとファイル名を入力します。各アプリケーションまたはデバイスの種類の既定のファイル名とパスについては、「アプリケーションの種類ごとの具体的な手順」を参照してください。既定のファイル名やパスを使用する必要はありません。ファイル名にはワイルドカードを使用できます。
手順 1 でカスタムの新しいテーブルを選択した場合は、[変換] フィールドには、選択した変換をデータに適用する Kusto クエリを入力します。

手順 1 の一覧にあるアプリケーションまたはデバイスのいずれかを選択した場合、このフィールドには適切な変換が自動的に設定されます。その変換は編集しないようご注意ください。選択した型に応じて、この値は次のいずれかになります。
- source (既定値-変換なし)
- source | project-rename Message=RawData (フォワーダーにログを送信するデバイスの場合)
選択内容を確認し、[次へ: 確認と作成] を選択します。

ルールを確認して作成する

すべてのタブを完了したら、入力した内容を確認し、データ収集ルールを作成します。

[レビューと作成] タブで、 [作成] を選択します。

コネクタにより、DCR の作成時に選択したマシンに Azure Monitor エージェントがインストールされます。
Azure portal または Microsoft Defender ポータルで通知を確認し、DCR が作成されてエージェントがインストールされるタイミングを確認します。
コネクタページで [最新の情報に更新] を選択して、DCR が一覧に表示されていることを確認します。

Azure Monitor エージェントのインストール

Azure Monitor ドキュメントの適切な手順に従って、アプリケーションをホストしているマシンまたはログフォワーダーに Azure Monitor エージェントをインストールします。適宜、Windows または Linux の手順を実行します。

Azure Monitor ログインジェスト API を使用して、データ収集ルール (DCR) を作成します。詳細については、「Azure Monitor のデータ収集ルール」を参照してください。

データ収集ルールを作成する

次の ARM テンプレートを使用して、テキストログファイルを収集するための DCR を作成または変更します。

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

{PLACE_HOLDER} の値を次の値に置き換えます。

プレースホルダー	Value
{DCR_NAME}	データ収集ルールに選択する名前。ワークスペース内で一意の名前にする必要があります。
{DCR_LOCATION}	DCR を含むリソースグループが配置されているリージョン。
{TABLE_NAME}	Log Analytics 内の宛先テーブルの名前。末尾は `_CL` である必要があります。
{LOCAL_PATH_FILE_1} (必須)、 {LOCAL_PATH_FILE_2} (省略可能)	収集するログを含むテキストファイルのパスとファイル名。これらは、Azure Monitor エージェントがインストールされているマシン上にある必要があります。
{WORKSPACE_RESOURCE_PATH}	Microsoft Sentinel ワークスペースの Azure リソースパス。
{WORKSPACE_ID}	Microsoft Sentinel ワークスペースの GUID。

DCR を Azure Monitor エージェントに関連付ける

ARM テンプレートを使用して DCR を作成する場合でも、使用するエージェントに DCR を関連付ける必要があります。 Azure portal で DCR を編集し、「VM リソースを定義する」の説明に従ってエージェントを選択します。

ログフォワーダーがログを受け入れるように構成する

ログフォワーダーを使用してアプライアンスからログを収集する場合は、ログフォワーダーに syslog デーモンを構成して他のマシンからのメッセージをリッスンし、必要なローカルポートを開きます。

次のコマンドラインをコピーします。

sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py

AMA をインストールしたばかりのログフォワーダーマシンにサインインします。
最後の手順でコピーしたコマンドを貼り付けて、インストールスクリプトを起動します。
スクリプトは、必要なプロトコルを使用するように rsyslog または syslog-ng デーモンを構成し、デーモンを再起動します。このスクリプトは、UDP および TCP プロトコルの両方で受信メッセージをリッスンするために、ポート 514 を開きます。この設定を変更するには、マシン上で実行されているデーモンの種類に応じて syslog デーモンの構成ファイルを参照してください。
- Rsyslog: /etc/rsyslog.conf
- Syslog-ng: /etc/syslog-ng/syslog-ng.conf
Python 3 を使用していて、それがマシンで既定のコマンドとして設定されていない場合は、貼り付けたコマンドで python を python3 に置き換えてください。「ログフォワーダーの前提条件」を参照してください。

Note

エージェントが機能できないディスクがいっぱいになるシナリオを回避するため、不要なログを格納しないように syslog-ng または rsyslog の構成を設定することをお勧めします。ディスクがいっぱいになるシナリオでは、インストールされている AMA の機能が中断されます。詳細については、「RSyslog」または「Syslog-ng」を参照してください。

セキュリティデバイスまたはアプライアンスを構成する

セキュリティアプリケーションやアプライアンス具体的な構成手順については、「AMA 経由のカスタムログデータコネクタ - 特定のアプリケーションから Microsoft Sentinel へのデータインジェストを構成する」を参照してください。

アプライアンスやデバイスに関する詳しい情報、または情報を入手できない場合については、ソリューションプロバイダーにお問い合わせください。

次の方法で共有

Azure Monitor エージェントを使用してテキストファイルからログを収集し、Microsoft Sentinel に取り込む