Правила сбора данных (DCR) в Azure Monitor
Правила сбора данных (DCR) являются частью процесса сбора данных, подобного ETL, который улучшает устаревшие методы сбора данных для Azure Monitor. Этот процесс использует общий конвейер приема данных для всех источников данных и стандартный метод конфигурации, который является более управляемым и масштабируемым, чем предыдущие методы сбора.
К конкретным преимуществам сбора данных на основе DCR относятся следующие преимущества:
- Согласованный метод для настройки различных источников данных.
- Возможность применить преобразование для фильтрации или изменения входящих данных перед отправкой в место назначения.
- Масштабируемые параметры конфигурации, поддерживающие модель "инфраструктура как код" и процессы DevOps.
- Возможность пограничного конвейера в собственной среде обеспечить высокоуровневую масштабируемость, многоуровневую конфигурацию сети и периодическое подключение.
Просмотр контроллеров домена
Правила сбора данных (DCR) хранятся в Azure, чтобы их можно было централизованно развертывать и управлять, как и любой другой ресурс Azure. Они предоставляют согласованный и централизованный способ определения и настройки различных сценариев сбора данных.
Просмотрите все контроллеры домена в подписке из параметра "Правила сбора данных" в меню "Монитор" в портал Azure. Независимо от метода, используемого для создания DCR и сведений о самом DCR, все контроллеры домена в подписке перечислены на этом экране.
Заменены устаревшие методы сбора данных
Процесс сбора данных DCR был заменен или находится в процессе замены других методов сбора данных в Azure Monitor. В следующей таблице перечислены устаревшие методы с их заменами на основе DCR. Ожидается, что другие методы сбора данных в Azure Monitor также будут заменены контроллерами домена в будущем.
| Устаревший метод | Метод DCR | Description |
|---|---|---|
| Агент Log Analytics | Агент Azure Monitor | Теперь агент Azure Monitor используется для мониторинга виртуальных машин и кластеров Kubernetes, поддерживающих аналитику виртуальных машин и аналитику контейнеров. |
| Параметры диагностики (только метрики) |
Экспорт метрик | Параметры диагностики по-прежнему используются для сбора журналов ресурсов из ресурсов Azure. Теперь метрики платформы можно собирать с помощью экспорта метрик. |
| Отправка данных в Log Analytics c помощью API сборщика данных HTTP (общедоступная предварительная версия) | API приема журналов | API приема журналов используется для отправки данных в рабочую область Log Analytics из любого клиента REST. Он заменяет API сборщика данных, который был менее безопасным и менее функциональным. |
Конвейер Azure Monitor
Процесс сбора данных, поддерживаемый контроллерами домена, основан на конвейере Azure Monitor, который предоставляет общий путь обработки для входящих данных. Облачный конвейер является одним из компонентов конвейера Azure Monitor (см . конвейер Edge ниже для другого компонента) и автоматически доступен в подписке Azure в рамках платформы Azure Monitor. Он не требует настройки и не отображается в портал Azure.
Каждый сценарий сбора данных с помощью конвейера Azure Monitor определен в DCR, который содержит инструкции о том, как облачный конвейер должен обрабатывать полученные данные. В зависимости от сценария контроллеры домена будут указывать все или некоторые из следующих вариантов:
- Данные для сбора и отправки в конвейер.
- Схема входящих данных.
- Преобразования, применяемые к данным перед сохранением.
- Назначение, в котором должны отправляться данные.
Использование DCR
Существует два основных способа указания контроллеров домена для определенного сценария сбора данных, как описано в следующих разделах. Каждый сценарий будет поддерживать один из этих методов, но не оба.
Примечание.
Контроллеры домена преобразования рабочей области активируются сразу после их создания. Они не используют ни один из методов, описанных в этом разделе.
Связи правил сбора данных (DCRA)
Сопоставления правил сбора данных (DCRAs) используются для связывания DCR с отслеживаемого ресурса. Это связь "многие ко многим", где один DCR может быть связан с несколькими ресурсами, а один ресурс может быть связан с несколькими контроллерами домена. Это позволяет разработать стратегию для поддержания мониторинга между наборами ресурсов с различными требованиями.
Например, на следующей схеме показана сбор данных для агента Azure Monitor (AMA), работающего на виртуальной машине. Когда агент установлен, он подключается к Azure Monitor, чтобы получить все контроллеры домена, связанные с ним. В этом сценарии контроллеры домена указывают события и данные производительности для сбора, которые агент использует для определения данных, собираемых с компьютера и отправки в Azure Monitor. После доставки данных облачный конвейер запускает любое преобразование , указанное в DCR, для фильтрации и изменения данных, а затем отправляет данные в указанную рабочую область и таблицу.
Прямое прием
При прямом приеме определенный DCR указывается для обработки входящих данных. Например, на следующей схеме показаны данные из пользовательского приложения с помощью API приема журналов. Каждый вызов API указывает DCR, который будет обрабатывать свои данные. DCR понимает структуру входящих данных, включает преобразование , которое гарантирует, что данные в формате целевой таблицы и указывают рабочую область и таблицу для отправки преобразованных данных.
Преобразования
Преобразования — это запросы KQL, включенные в DCR, которые выполняются в каждой записи, отправляемой в облачный конвейер. Они позволяют изменять входящие данные, прежде чем они хранятся в Azure Monitor или отправляются в другое место назначения. Вы можете отфильтровать ненужные данные, чтобы сократить затраты на прием, удалить конфиденциальные данные, которые не должны сохраняться в рабочей области Log Analytics, или форматировать данные, чтобы обеспечить соответствие схеме назначения. Преобразования также обеспечивают расширенные сценарии, такие как отправка данных в несколько назначений или обогащение данных дополнительными сведениями.
Пограничный конвейер
Пограничный конвейер расширяет конвейер Azure Monitor в собственный центр обработки данных. Он обеспечивает масштабируемую коллекцию и маршрутизацию данных телеметрии перед доставкой в облачный конвейер. В отличие от облачного конвейера, пограничный конвейер является необязательным и требует настройки.
Конкретные варианты использования для пограничного конвейера Azure Monitor:
- Масштабируемость. Пограничный конвейер может обрабатывать большие объемы данных из отслеживаемых ресурсов, которые могут быть ограничены другими методами сбора, такими как агент Azure Monitor.
- Периодическое подключение. Некоторые среды могут иметь ненадежное подключение к облаку или могут иметь длительные непредвиденные периоды без подключения. Пограничный конвейер может кэшировать данные локально и синхронизироваться с облаком при восстановлении подключения.
- Многоуровневая сеть. В некоторых средах сеть сегментирована и данные не могут отправляться непосредственно в облако. Пограничный конвейер можно использовать для сбора данных из отслеживаемых ресурсов без доступа к облаку и управления подключением к Azure Monitor в облаке.
Регионы DCR
Правила сбора данных доступны во всех общедоступных регионах, где поддерживаются рабочие области Log Analytics и Azure для государственных организаций и облака Китая. Облака с воздушным взглядом пока не поддерживаются. DCR создается и хранится в определенном регионе и резервируется в парном регионе в пределах одной географической области. Служба развертывается во всех трех зонах доступности в регионе. По этой причине это служба с избыточностью между зонами, которая увеличивает доступность.
Размещение данных в одном регионе — это предварительная версия функции для хранения данных клиентов в одном регионе и в настоящее время доступна только в регионе Юго-Восточной Азии (Сингапур) азиатско-тихоокеанского региона и южной Бразилии (штат Сан-Паулу) региона Бразилии Гео. По умолчанию в этих регионах включена однорегионная резиденция.
Следующие шаги
Дополнительные сведения о работе с контроллерами домена см. в следующих статьях.
- Структура правила сбора данных для описания структуры контроллеров домена JSON и различных элементов, используемых для различных рабочих процессов.
- Примеры правил сбора данных (DCR) для примеров контроллеров домена для различных сценариев сбора данных.
- Создание и изменение правил сбора данных (DCR) в Azure Monitor для различных методов создания контроллеров домена для различных сценариев сбора данных.
- Ограничения службы Azure Monitor для ограничений , применяемых к каждому DCR.