你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Azure Monitor 边缘管道的配置

项目
10/15/2024

Azure Monitor 管道是一个数据引入管道，为 Azure Monitor 提供一致且集中的数据收集功能。边缘管道支持大规模收集，并可在将遥测数据发送到云中之前对其进行路由。它可以在本地缓存数据并在连接恢复时与云同步，并在网络分段且数据无法直接发送到云的情况下将遥测数据路由到 Azure Monitor。本文介绍如何在环境中启用和配置位于边缘的管道。

概述

Azure Monitor 边缘管道是一种容器化解决方案，它部署在已启用 Arc 的 Kubernetes 群集上，并利用 OpenTelemetry Collector 作为基础。下图显示了边缘管道的组件。一个或多个数据流侦听来自客户端的传入数据，管道扩展将数据转发到云，必要时使用本地缓存。

管道配置文件定义了边缘管道的数据流和缓存属性。 DCR 定义发送到云管道的数据的架构、筛选或修改数据的转换以及数据应发送到的目标。管道配置的每个数据流定义指定 DCR 和该 DCR 中将处理云管道中的数据的流。

注意

边缘管道支持使用专用链接来连接到云管道。

启用 Azure Monitor 边缘管道需要以下组件和配置。如果使用 Azure 门户来配置边缘管道，则会为你创建这些组件中的每个组件。使用其他方法时，需要配置每个组件。

组件	说明
边缘管道控制器扩展	添加到已启用 Arc 的 Kubernetes 群集以支持管道功能的扩展 - `microsoft.monitor.pipelinecontroller`。
边缘管道控制器实例	在已启用 Arc 的 Kubernetes 群集上运行的边缘管道的实例。
数据流	在管道控制器实例上运行的接收器和导出器的组合。接收器接受来自客户端的数据，导出器将该数据传送到 Azure Monitor。
管道配置	定义管道实例的数据流的配置文件。每个数据流包括接收器和导出器。接收器侦听传入的数据，导出器将数据发送到目标。
数据收集终结点 (DCE)	将数据发送到 Azure Monitor 管道的终结点。管道配置包括 DCE URL 的属性，以便管道实例知道将数据发送到何处。

配置	说明
数据收集规则 (DCR)	定义如何在云管道中接收数据以及将其发送到何处的配置文件。 DCR 还可以包括在将数据发送到目标之前筛选或修改数据的转换。
管道配置	定义管道实例的数据流的配置，包括数据流和缓存。

支持的配置

支持的发行版
以下 Kubernetes 分发版支持 Azure Monitor 边缘管道：

Canonical
适用于 Azure 的群集 API 提供程序
K3
Rancher Kubernetes 引擎
VMware Tanzu Kubernetes 网格

支持的位置
以下 Azure 区域支持 Azure Monitor 边缘管道：

美国东部 2
美国西部 2
西欧

先决条件

你自己的环境中具有外部 IP 地址的已启用 Arc 的 Kubernetes 群集。有关为群集启用 Arc 的详细信息，请参阅将现有 Kubernetes 群集连接到 Azure Arc。
已启用 Arc 的 Kubernetes 群集必须启用自定义位置功能。请参阅在已启用 Azure Arc 的 Kubernetes 上创建和管理自定义位置。
Azure Monitor 中的 Log Analytics 工作区，用于从边缘管道接收数据。有关创建工作区的详细信息，请参阅在 Azure 门户中创建 Log Analytics 工作区。
必须已在 Azure 订阅中注册以下资源提供程序。请参阅 Azure 资源提供程序和类型。
- Microsoft.Insights
- Microsoft.Monitor

Workflow

无需详细了解 Azure Monitor 管道执行的不同步骤即可使用 Azure 门户进行配置。但是，如果你使用其他安装方法或者需要执行更高级的配置（例如在将数据存储到目标位置之前转换数据），则可能需要更详细地了解它。

下面的表和关系图描述了使用边缘管道收集数据并将其传递到云管道以存储在 Azure Monitor 中的过程的详细步骤和组件。表中还包括每个组件所需的配置。

步骤	操作	支持配置
1.	客户端将数据发送到边缘管道接收器。	客户端配置了边缘管道接收器的 IP 和端口，并以接收器类型的预期格式发送数据。
2.	接收器将数据转发给导出器。	接收器和导出器配置在同一管道中。
3.	导出器尝试将数据发送到云管道。	管道配置中的导出器包括 DCE 的 URL、DCR 的唯一标识符以及定义如何处理数据的 DCR 中的流。
3a.	如果导出器无法连接到 DCE，则将数据存储在本地缓存中。	缓存的持久卷和本地缓存的配置在管道配置中启用。

步骤	操作	支持配置
4.	云管道接受传入数据。	DCR 包括传入流的架构定义，它必须与来自边缘管道的数据架构相匹配。
5.	云管道对数据进行转换。	DCR 包括在将数据发送到目标之前筛选或修改数据的转换。转换可能会筛选数据、删除或添加列，或者完全更改其架构。转换的输出必须与目标表的架构相匹配。
6.	云管道将数据发送到目标。	DCR 包括指定将存储数据的 Log Analytics 工作区和表的目标。

分段网络

网络分段是一种模型，可在其中使用软件定义的边界为网络的不同部分创建不同的安全状态。在此模型中，可能有一个网段无法连接到 Internet 或其他网段。边缘管道可用于从这些网段收集数据并将其发送到云管道。

若要在分层网络配置中使用 Azure Monitor 管道，必须将以下条目添加到已启用 Arc 的 Kubernetes 群集的允许列表中。请参阅在级别 4 群集上配置 Azure IoT 分层网络管理预览版。

- destinationUrl: "*.ingest.monitor.azure.com"
  destinationType: external
- destinationUrl: "login.windows.net"
  destinationType: external

在 Log Analytics 工作区中创建表

在为边缘管道配置数据收集流程之前，需要在 Log Analytics 工作区中创建一个表来接收数据。该表必须是自定义表，因为当前不支持内置表。表的架构必须与其接收的数据相匹配，但收集过程中有多个步骤可以修改传入的数据，因此表架构不需要与你正在收集的源数据相匹配。 Log Analytics 工作区中的表的唯一要求是具有 TimeGenerated 列。

有关创建表的不同方法的详细信息，请参阅在 Azure Monitor 日志中添加或删除表和列。例如，使用下面的 CLI 命令创建一个表，其中包含名为 Body、TimeGenerated 和 SeverityText 的三列。

az monitor log-analytics workspace table create --workspace-name my-workspace --resource-group my-resource-group  --name my-table_CL --columns TimeGenerated=datetime Body=string SeverityText=string

启用缓存

由于网络拥塞、信号干扰、断电或移动性等各种因素，某些环境中的边缘设备可能会出现间歇性连接。在这些环境中，可以通过在群集中创建永久性卷，以配置边缘管道来缓存数据。此过程将根据特定环境而有所不同，但配置必须满足以下要求：

元数据命名空间必须与指定的 Azure Monitor 管道实例相同。
访问模式必须支持 ReadWriteMany。

在适当的命名空间中创建卷后，请使用下面的管道配置文件中的参数对其进行配置。

注意

边缘管道的每个副本将数据存储在特定于该副本的持久卷中的某个位置。在群集与云断开连接时减少副本数量将防止在连接恢复时回填数据。

从缓存中检索数据使用的是先出先出 (FIFO)。将会丢弃任何超过 48 小时的数据。

启用并配置管道

以下选项卡详细介绍了当前用于启用和配置的选项。

使用 Azure 门户配置管道

使用 Azure 门户启用和配置管道时，将根据你的选择创建所有必需的组件。这使你无需执行单独创建每个组件的复杂工作（使用其他方法时可能需要）

在 Azure 门户中执行以下操作之一以启动 Azure Monitor 管道的安装过程：

从 Azure Monitor 管道（预览版）菜单中，单击“创建”。
从已启用 Arc 的 Kubernetes 群集的菜单中，选择“扩展”，然后添加 Azure Monitor 管道扩展（预览版）扩展。

“基本”选项卡会提示你输入以下信息，以在群集上部署扩展和管道实例。

下表描述了此选项卡中的设置。

properties	说明
实例名称	Azure Monitor 管道实例的名称。该名称对于订阅必须是唯一的。
订阅	用于创建管道实例的 Azure 订阅。
资源组	用于创建管道实例的资源组。
群集名称	选择将安装管道的已启用 Arc 的 Kubernetes 群集。
自定义位置	已启用 Arc 的 Kubernetes 群集的自定义位置。这将自动填充为群集创建的自定义位置的名称，或者，你也可以在群集中选择另一个自定义位置。

“数据流”选项卡可用于创建和编辑管道实例的数据流。每个数据流包括以下详细信息：

下表描述了此选项卡中的设置。

properties	说明
Name	数据流的名称。该名称对于此管道必须是唯一的。
源类型	所收集数据的类型。当前支持以下源类型： - Syslog - OTLP
端口	管道侦听传入数据的端口。如果两个数据流使用同一端口，它们都会接收并处理数据。
Log Analytics 工作区	将数据发送到的 Log Analytics 工作区。
表名称	Log Analytics 工作区中要将数据发送到的表的名称。

使用 Azure CLI 配置管道

以下是使用 Azure CLI 创建和配置 Azure Monitor 边缘管道所需组件时需要执行的步骤。

边缘管道扩展

以下命令将边缘管道扩展添加到已启用 Arc 的 Kubernetes 群集。

az k8s-extension create --name <pipeline-extension-name> --extension-type microsoft.monitor.pipelinecontroller --scope cluster --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --release-train Preview

## Example
az k8s-extension create --name my-pipe --extension-type microsoft.monitor.pipelinecontroller --scope cluster --cluster-name my-cluster --resource-group my-resource-group --cluster-type connectedClusters --release-train Preview

自定义位置

以下 ARM 模板为已启用 Arc 的 Kubernetes 群集创建自定义位置。

az customlocation create --name <custom-location-name>  --resource-group <resource-group-name> --namespace <name of namespace> --host-resource-id <connectedClusterId> --cluster-extension-ids <extensionId>

## Example
az customlocation create --name my-cluster-custom-location --resource-group my-resource-group --namespace my-cluster-custom-location --host-resource-id /subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Kubernetes/connectedClusters/my-cluster --cluster-extension-ids /subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Kubernetes/connectedClusters/my-cluster/providers/Microsoft.KubernetesConfiguration/extensions/my-cluster

DCE

以下 ARM 模板可创建将边缘管道连接到云管道所需的数据收集终结点 (DCE)。如果你在同一区域已有 DCE，则可以使用现有的 DCE。在部署模板之前，替换下表中的属性。

az monitor data-collection endpoint create -g "myResourceGroup" -l "eastus2euap" --name "myCollectionEndpoint" --public-network-access "Enabled"

## Example
 az monitor data-collection endpoint create --name strato-06-dce --resource-group strato --public-network-access "Enabled"

DCR

DCR 存储在 Azure Monitor 中，并定义从边缘管道接收数据后如何处理数据。边缘管道配置指定了 DCR 的 immutable ID，以及 DCR 中将处理数据的 stream。创建 DCR 时会自动生成 immutable ID。

在运行 CLI 命令创建 DCR 之前，替换以下模板中的属性并将其保存在 json 文件中。有关 DCR 结构的详细信息，请参阅 Azure Monitor 中的数据收集规则的结构。

参数	说明
`name`	DCR 的名称。该名称对于订阅必须是唯一的。
`location`	DCR 的位置。该位置必须与 DCE 的位置一致。
`dataCollectionEndpointId`	DCE 的资源 ID。
`streamDeclarations`	要接收的数据的架构。管道配置中的每个数据流都需要一个流。该名称在 DCR 中必须是唯一的，并且必须以 Custom- 开头。下面示例中的 `column` 部分应用于 OLTP 和 Syslog 数据流。如果目标表的架构不同，则可以使用 `transformKql` 参数中定义的转换来修改它。
`destinations`	添加附加部分以将数据发送到多个工作区。
- `name`	在 `dataFlows` 部分中引用的目标的名称。该名称对于 DCR 必须是唯一的。
- `workspaceResourceId`	Log Analytics 工作区的资源 ID。
- `workspaceId`	Log Analytics 工作区的工作区 ID。
`dataFlows`	匹配流和目标。每个流/目标组合一个条目。
- `streams`	一个或多个流（在 `streamDeclarations` 中定义）。如果多个流被发送到同一目标，则可以包含多个流。
- `destinations`	一个或多个目标（在 `destinations` 中定义）。如果多个目标被发送到同一目标，则可以包含多个目标。
- `transformKql`	在将数据发送到目的地之前应用于数据的转换。使用 `source` 在不进行任何更改的情况下发送数据。转换的输出必须与目标表的架构相匹配。有关转询的详细信息，请参阅 Azure Monitor 中的数据收集转换。
- `outputStream`	在 Log Analytics 工作区中指定目标表。该表必须已存在于工作区中。对于自定义表，请在表名称中添加 Custom- 前缀。边缘管道当前不支持内置表。

{
    "properties": {
        "dataCollectionEndpointId": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Insights/dataCollectionEndpoints/my-dce",
        "streamDeclarations": {
            "Custom-OTLP": {
                "columns": [
                    {
                        "name": "Body",
                        "type": "string"
                    },
                    {
                        "name": "TimeGenerated",
                        "type": "datetime"
                    },
                    {
                        "name": "SeverityText",
                        "type": "string"
                    }
                ]
            },
            "Custom-Syslog": {
                "columns": [
                    {
                        "name": "Body",
                        "type": "string"
                    },
                    {
                        "name": "TimeGenerated",
                        "type": "datetime"
                    },
                    {
                        "name": "SeverityText",
                        "type": "string"
                    }
                ]
            }
        },
        "dataSources": {},
        "destinations": {
            "logAnalytics": [
                {
                    "name": "LogAnayticsWorkspace01",
                    "workspaceResourceId": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.OperationalInsights/workspaces/my-workspace",
                    "workspaceId": "00000000-0000-0000-0000-000000000000"
                }
            ]
        },
        "dataFlows": [
            {
                "streams": [
                    "Custom-OTLP"
                ],
                "destinations": [
                    "LogAnayticsWorkspace01"
                ],
                "transformKql": "source",
                "outputStream": "Custom-OTelLogs_CL"
            },
            {
                "streams": [
                    "Custom-Syslog"
                ],
                "destinations": [
                    "LogAnayticsWorkspace01"
                ],
                "transformKql": "source",
                "outputStream": "Custom-Syslog_CL"
            }
        ]
    }
}

使用以下命令安装 DCR：

az monitor data-collection rule create --name 'myDCRName' --location <location> --resource-group <resource-group>  --rule-file '<dcr-file-path.json>' 

## Example
az monitor data-collection rule create --name my-pipeline-dcr  --location westus2 --resource-group 'my-resource-group' --rule-file 'C:\MyDCR.json'

DCR 访问

已启用 Arc 的 Kubernetes 群集必须有权访问 DCR 才能将数据发送到云管道。使用以下命令检索群集的系统分配标识的对象 ID。

az k8s-extension show --name <extension-name> --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --query "identity.principalId" -o tsv 

## Example:
az k8s-extension show --name my-pipeline-extension --cluster-name my-cluster --resource-group my-resource-group --cluster-type connectedClusters --query "identity.principalId" -o tsv

使用此命令的输出作为以下命令的输入，为 Azure Monitor 管道授予将其遥测数据发送到 DCR 的权限。

az role assignment create --assignee "<extension principal ID>" --role "Monitoring Metrics Publisher" --scope "/subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Insights/dataCollectionRules/<dcr-name>" 

## Example:
az role assignment create --assignee "00000000-0000-0000-0000-000000000000" --role "Monitoring Metrics Publisher" --scope "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Insights/dataCollectionRules/my-dcr"

边缘管道配置

边缘管道配置定义了边缘管道实例的详细信息，并部署接收遥测数据和将其发送到云所需的数据流。

在部署模板之前，替换下表中的属性。

properties	说明
常规
`name`	管道实例的名称。该名称在订阅中必须是唯一的。
`location`	管道实例的位置。
`extendedLocation`
接收器	每个接收器一个条目。每个条目指定正在接收的数据类型、将侦听的端口以及将在配置的 `pipelines` 部分中使用的唯一名称。
`type`	接收数据的类型。当前选项为 `OTLP` 和 `Syslog`。
`name`	`service` 部分中引用的接收器的名称。该名称对于管道实例必须是唯一的。
`endpoint`	接收器侦听的地址和端口。所有地址均使用 `0.0.0.0`。
Processors	保留供将来使用。
导出器	每个目标一个条目。
`type`	当前仅支持 `AzureMonitorWorkspaceLogs` 类型。
`name`	该名称对于管道实例必须是唯一的。该名称用于配置的 `pipelines` 部分。
`dataCollectionEndpointUrl`	边缘管道将向其中发送数据的 DCE 的 URL。可以通过导航到 DCE 并复制日志引入值在 Azure 门户中找到它。
`dataCollectionRule`	定义云管道中的数据收集的 DCR 的不可变 ID。从 Azure 门户中 DCR 的 JSON 视图中，复制“常规”部分中不可变 ID 的值。
- `stream`	DCR 中将接受数据的流的名称。
- `maxStorageUsage`	缓存的容量。达到此容量的 80% 时，将删除最早的数据，以便为更多数据腾出空间。
- `retentionPeriod`	保留期（以分钟为单位）。在此时间之后数据将被删除。
- `schema`	要发送到云管道的数据的模式。这必须与 DCR 中的流中定义的架构相匹配。示例中使用的架构对于 Syslog 和 OTLP 均有效。
服务	每个管道实例一个条目。建议每个管道扩展仅使用一个实例。
管道	每个数据流一个条目。每个条目都将 `receiver` 与 `exporter` 相匹配。
`name`	管道的唯一名称。
`receivers`	用于侦听要接收的数据的一个或多个接收器。
`processors`	保留供将来使用。
`exporters`	用于将数据发送到云管道的一个或多个导出器。
`persistence`	用于缓存的永久性卷的名称。如果你不想启用缓存，请删除此参数。

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "metadata": {
        "description": "This template deploys an edge pipeline for azure monitor."
    },
    "resources": [
        {
            "type": "Microsoft.monitor/pipelineGroups",
            "location": "eastus",
            "apiVersion": "2023-10-01-preview",
            "name": "my-pipeline-group-name",
            "extendedLocation": {
                "name": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.ExtendedLocation/customLocations/my-custom-location",
                "type": "CustomLocation"
            },
            "properties": {
                "receivers": [
                    {
                        "type": "OTLP",
                        "name": "receiver-OTLP",
                        "otlp": {
                            "endpoint": "0.0.0.0:4317"
                        }
                    },
                    {
                        "type": "Syslog",
                        "name": "receiver-Syslog",
                        "syslog": {
                            "endpoint": "0.0.0.0:514"
                        }
                    }
                ],
                "processors": [],
                "exporters": [
                    {
                        "type": "AzureMonitorWorkspaceLogs",
                        "name": "exporter-log-analytics-workspace",
                        "azureMonitorWorkspaceLogs": {
                            "api": {
                                "dataCollectionEndpointUrl": "https://my-dce-4agr.eastus-1.ingest.monitor.azure.com",
                                "dataCollectionRule": "dcr-00000000000000000000000000000000",
                                "stream": "Custom-OTLP",
                                "schema": {
                                    "recordMap": [
                                        {
                                            "from": "body",
                                            "to": "Body"
                                        },
                                        {
                                            "from": "severity_text",
                                            "to": "SeverityText"
                                        },
                                        {
                                            "from": "time_unix_nano",
                                            "to": "TimeGenerated"
                                        }
                                    ]
                                }
                            },
                            "cache": {
                                "maxStorageUsage": 10000,
                                "retentionPeriod": 60
                            }
                        }
                    }
                ],
                "service": {
                    "pipelines": [
                        {
                            "name": "DefaultOTLPLogs",
                            "receivers": [
                                "receiver-OTLP"
                            ],
                            "processors": [],
                            "exporters": [
                                "exporter-log-analytics-workspace"
                            ],
                            "type": "logs"
                        },
                        {
                            "name": "DefaultSyslogs",
                            "receivers": [
                                "receiver-Syslog"
                            ],
                            "processors": [],
                            "exporters": [
                                "exporter-log-analytics-workspace"
                            ],
                            "type": "logs"
                        }
                    ],
                    "persistence": {
                        "persistentVolumeName": "my-persistent-volume"
                    }
                },
                "networkingConfigurations": [
                    {
                        "externalNetworkingMode": "LoadBalancerOnly",
                        "routes": [
                            {
                                "receiver": "receiver-OTLP"
                            },
                            {
                                "receiver": "receiver-Syslog"
                            }
                        ]
                    }
                ]
            }
        }
    ]
}

使用以下命令安装模板：

az deployment group create --resource-group <resource-group-name> --template-file <path-to-template>

## Example
az deployment group create --resource-group my-resource-group --template-file C:\MyPipelineConfig.json

用于配置所有组件的 ARM 模板示例

可以使用如下所示的单个 ARM 模板部署 Azure Monitor 边缘管道的所有必需组件。使用适合环境的特定值编辑参数文件。下面描述了模板的每个部分，包括使用前必须修改的部分。

组件	类型	说明
Log Analytics 工作区	`Microsoft.OperationalInsights/workspaces`	如果使用现有 Log Analytics 工作区，请删除此部分。唯一必需参数是工作区名称。将自动创建其他组件所需的工作区的不可变 ID。
数据收集终结点 (DCE)	`Microsoft.Insights/dataCollectionEndpoints`	如果使用现有的 DCE，请删除此部分。唯一必需参数是 DCE 名称。将自动创建其他组件所需的 DCE 日志引入 URL。
边缘管道扩展	`Microsoft.KubernetesConfiguration/extensions`	唯一必需参数是管道扩展名称。
自定义位置	`Microsoft.ExtendedLocation/customLocations`	用于创建自定义的已启用 Arc 的 Kubernetes 群集的自定义位置
边缘管道实例	`Microsoft.monitor/pipelineGroups`	边缘管道实例，包括侦听器、导出器和数据流的配置。部署模板之前，必须修改管道实例的属性。
数据收集规则 (DCR)	`Microsoft.Insights/dataCollectionRules`	唯一必需参数是 DCR 名称，但在部署模板之前，必须先修改 DCR 的属性。

模板文件

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
            "type": "string"
        },
        "clusterId": {
            "type": "string"
        },
        "clusterExtensionIds": {
            "type": "array"
        },
        "customLocationName": {
            "type": "string"
        },
        "cachePersistentVolume": {
            "type": "string"
        },
        "cacheMaxStorageUsage": {
            "type": "int"
        },
        "cacheRetentionPeriod": {
            "type": "int"
        },
        "dceName": {
            "type": "string"
        },
        "dcrName": {
            "type": "string"
        },
        "logAnalyticsWorkspaceName": {
            "type": "string"
        },
        "pipelineExtensionName": {
            "type": "string"
        },
        "pipelineGroupName": {
            "type": "string"
        },
        "tagsByResource": {
            "type": "object",
            "defaultValue": {}
        }
    },
    "resources": [
        {
            "type": "Microsoft.OperationalInsights/workspaces",            
            "name": "[parameters('logAnalyticsWorkspaceName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2017-03-15-preview",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.OperationalInsights/workspaces'), parameters('tagsByResource')['Microsoft.OperationalInsights/workspaces'], json('{}')) ]",
            "properties": {
                "sku": {
                    "name": "pergb2018"
                }
            }
        },
        {
            "type": "Microsoft.Insights/dataCollectionEndpoints",            
            "name": "[parameters('dceName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2021-04-01",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.Insights/dataCollectionEndpoints'), parameters('tagsByResource')['Microsoft.Insights/dataCollectionEndpoints'], json('{}')) ]",
            "properties": {
                "configurationAccess": {},
                "logsIngestion": {},
                "networkAcls": {
                    "publicNetworkAccess": "Enabled"
                }
            }
        },
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "[parameters('dcrName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2021-09-01-preview",
            "dependsOn": [
                "[resourceId('Microsoft.OperationalInsights/workspaces', 'DefaultWorkspace-westus2')]",
                "[resourceId('Microsoft.Insights/dataCollectionEndpoints', 'Aep-mytestpl-ZZPXiU05tJ')]"
            ],
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.Insights/dataCollectionRules'), parameters('tagsByResource')['Microsoft.Insights/dataCollectionRules'], json('{}')) ]",
            "properties": {
                "dataCollectionEndpointId": "[resourceId('Microsoft.Insights/dataCollectionEndpoints', 'Aep-mytestpl-ZZPXiU05tJ')]",
                "streamDeclarations": {
                    "Custom-OTLP": {
                        "columns": [
                            {
                                "name": "Body",
                                "type": "string"
                            },
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "SeverityText",
                                "type": "string"
                            }
                        ]
                    },
                    "Custom-Syslog": {
                        "columns": [
                            {
                                "name": "Body",
                                "type": "string"
                            },
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "SeverityText",
                                "type": "string"
                            }
                        ]
                    }
                },
                "dataSources": {},
                "destinations": {
                    "logAnalytics": [
                        {
                            "name": "DefaultWorkspace-westus2",
                            "workspaceResourceId": "[resourceId('Microsoft.OperationalInsights/workspaces', 'DefaultWorkspace-westus2')]",
                            "workspaceId": "[reference(resourceId('Microsoft.OperationalInsights/workspaces', 'DefaultWorkspace-westus2'))].customerId"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-OTLP"
                        ],
                        "destinations": [
                            "localDest-DefaultWorkspace-westus2"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-OTelLogs_CL"
                    },
                    {
                        "streams": [
                            "Custom-Syslog"
                        ],
                        "destinations": [
                            "DefaultWorkspace-westus2"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-Syslog_CL"
                    }
                ]
            }
        },
        {
            "type": "Microsoft.KubernetesConfiguration/extensions",
            "apiVersion": "2022-11-01",
            "name": "[parameters('pipelineExtensionName')]",
            "scope": "[parameters('clusterId')]",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.KubernetesConfiguration/extensions'), parameters('tagsByResource')['Microsoft.KubernetesConfiguration/extensions'], json('{}')) ]",
            "identity": {
                "type": "SystemAssigned"
            },
            "properties": {
                "aksAssignedIdentity": {
                    "type": "SystemAssigned"
                },
                "autoUpgradeMinorVersion": false,
                "extensionType": "microsoft.monitor.pipelinecontroller",
                "releaseTrain": "preview",
                "scope": {
                    "cluster": {
                        "releaseNamespace": "my-strato-ns"
                    }
                },
                "version": "0.37.3-privatepreview"
            }
        },
        {
            "type": "Microsoft.ExtendedLocation/customLocations",
            "apiVersion": "2021-08-15",
            "name": "[parameters('customLocationName')]",
            "location": "[parameters('location')]",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.ExtendedLocation/customLocations'), parameters('tagsByResource')['Microsoft.ExtendedLocation/customLocations'], json('{}')) ]",
            "dependsOn": [
                "[parameters('pipelineExtensionName')]"
            ],
            "properties": {
                "hostResourceId": "[parameters('clusterId')]",
                "namespace": "[toLower(parameters('customLocationName'))]",
                "clusterExtensionIds": "[parameters('clusterExtensionIds')]",
                "hostType": "Kubernetes"
            }
        },
        {
            "type": "Microsoft.monitor/pipelineGroups",
            "location": "[parameters('location')]",
            "apiVersion": "2023-10-01-preview",
            "name": "[parameters('pipelineGroupName')]",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.monitor/pipelineGroups'), parameters('tagsByResource')['Microsoft.monitor/pipelineGroups'], json('{}')) ]",
            "dependsOn": [
                "[parameters('customLocationName')]",
                "[resourceId('Microsoft.Insights/dataCollectionRules','Aep-mytestpl-ZZPXiU05tJ')]"
            ],
            "extendedLocation": {
                "name": "[resourceId('Microsoft.ExtendedLocation/customLocations', parameters('customLocationName'))]",
                "type": "CustomLocation"
            },
            "properties": {
                "receivers": [
                    {
                        "type": "OTLP",
                        "name": "receiver-OTLP-4317",
                        "otlp": {
                            "endpoint": "0.0.0.0:4317"
                        }
                    },
                    {
                        "type": "Syslog",
                        "name": "receiver-Syslog-514",
                        "syslog": {
                            "endpoint": "0.0.0.0:514"
                        }
                    }
                ],
                "processors": [],
                "exporters": [
                    {
                        "type": "AzureMonitorWorkspaceLogs",
                        "name": "exporter-lu7mbr90",
                        "azureMonitorWorkspaceLogs": {
                            "api": {
                                "dataCollectionEndpointUrl": "[reference(resourceId('Microsoft.Insights/dataCollectionEndpoints','Aep-mytestpl-ZZPXiU05tJ')).logsIngestion.endpoint]",
                                "stream": "Custom-DefaultAEPOTelLogs_CL-FqXSu6GfRF",
                                "dataCollectionRule": "[reference(resourceId('Microsoft.Insights/dataCollectionRules', 'Aep-mytestpl-ZZPXiU05tJ')).immutableId]",
                                "cache": {
                                    "maxStorageUsage": "[parameters('cacheMaxStorageUsage')]",
                                    "retentionPeriod": "[parameters('cacheRetentionPeriod')]"
                                },
                                "schema": {
                                    "recordMap": [
                                        {
                                            "from": "body",
                                            "to": "Body"
                                        },
                                        {
                                            "from": "severity_text",
                                            "to": "SeverityText"
                                        },
                                        {
                                            "from": "time_unix_nano",
                                            "to": "TimeGenerated"
                                        }
                                    ]
                                }
                            }
                        }
                    }
                ],
                "service": {
                    "pipelines": [
                        {
                            "name": "DefaultOTLPLogs",
                            "receivers": [
                                "receiver-OTLP"
                            ],
                            "processors": [],
                            "exporters": [
                                "exporter-lu7mbr90"
                            ]
                        }
                    ],
                    "persistence": {
                        "persistentVolume": "[parameters('cachePersistentVolume')]"
                    }
                }
            }
        }
    ],
    "outputs": {}
}

示例参数文件

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentParameters.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
        "value": "eastus"
        },
        "clusterId": {
            "value": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Kubernetes/connectedClusters/my-arc-cluster"
        },
        "clusterExtensionIds": {
            "value": ["/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.KubernetesConfiguration/extensions/my-pipeline-extension"]
        },
        "customLocationName": {
            "value": "my-custom-location"
        },
        "dceName": {
            "value": "my-dce"
        },
        "dcrName": {
            "value": "my-dcr"
        },
        "logAnalyticsWorkspaceName": {
            "value": "my-workspace"
        },
        "pipelineExtensionName": {
            "value": "my-pipeline-extension"
        },
        "pipelineGroupName": {
            "value": "my-pipeline-group"
        },
        "tagsByResource": {
            "value": {}
        }   
    }
}

验证配置

验证在群集中运行的管道组件

在 Azure 门户中，导航到 Kubernetes 服务菜单并选择已启用 Arc 的 Kubernetes 群集。选择服务和入口并确保看到以下服务：

<管道名称>-external-service
<管道名称>-service

单击 <管道名称>-external-service 条目，并记下终结点列中的 IP 地址和端口。这是客户端将数据发送到的外部 IP 地址和端口。请参阅检索入口终结点，以了解如何从客户端检索此地址。

验证检测信号

管道实例中配置的每个管道每分钟都会向 Log Analytics 工作区中的 Heartbeat 表发送一条检测信号记录。 OSMajorVersion 列的内容应与管道实例的名称匹配。如果管道实例中有多个工作区，则将使用配置的第一个工作区。

使用日志查询检索检测信号记录，如下例所示：

客户端配置

安装边缘管道扩展和实例后，需要配置客户端以将数据发送到管道。

检索入口终结点

每个客户端都需要 Azure Monitor 管道服务的外部 IP 地址。使用以下命令检索该地址：

kubectl get services -n <namespace where azure monitor pipeline was installed>

如果生成日志的应用程序在群集外部，请复制服务 <管道名称>-service 或 <管道名称>-external-service的 external-ip 值，以及负载均衡器类型。
如果应用程序位于群集内的 pod 上，请复制cluster-ip 值。

注意

如果 external-ip 字段设置为挂起，你将需要根据群集配置手动为此入口配置外部 IP。

客户端	说明
Syslog	更新 Syslog 客户端，将数据发送到管道终结点和 Syslog 数据流的端口。
OTLP	Azure Monitor 边缘管道在端口 4317 上公开基于 gRPC 的 OTLP 终结点。将检测配置为发送到此 OTLP 终结点将取决于检测库本身。有关 OpenTelemetry 文档，请参阅 OTLP 终结点或收集器。环境变量方法记录在 OTLP 导出器配置中。

验证数据

最后一步是验证 Log Analytics 工作区中是否收到了数据。可以通过在 Log Analytics 工作区中运行查询以从表中检索数据来执行此验证。

后续步骤

阅读有关 Azure Monitor 管道的更多信息。

通过