Установка дневного лимита в рабочей области Log Analytics

Ежедневное ограничение в рабочей области Log Analytics позволяет избежать непредвиденного увеличения расходов на прием данных путем остановки сбора оплачиваемых данных в течение остального дня при достижении указанного порогового значения. В этой статье описано, как работает ежедневное ограничение и как настроить его в рабочей области.

Внимание

Настраивая ежедневное ограничение следует проявлять осторожность, поскольку остановка сбора данных может повлиять на возможность наблюдать и получать оповещения о состоянии работоспособности ресурсов. Она также может повлиять на доступность в рабочей области служб и решений Azure, функциональные возможности которых зависят от актуальных данных. Данный метод применяется не с целью регулярного достижения значения ежедневного ограничения, а в качестве редко используемого средства профилактики незапланированных расходов, вызванных непредвиденным увеличением объема собранных данных.

Стратегии снижения затрат Azure Monitor см. в статье "Оптимизация затрат" и Azure Monitor.

Требуемые разрешения

Действие	Необходимые разрешения или роли
Установка ежедневного ограничения в рабочей области Log Analytics	Microsoft.OperationalInsights/workspaces/write разрешения для рабочих областей Log Analytics, которые вы устанавливаете ежедневное ограничение, как указано встроенной ролью участника Log Analytics, например.
Установка ежедневной крышки для классического ресурса Application Insights	microsoft.insights/components/CurrentBillingFeatures/write разрешения для классических ресурсов Application Insights, которые вы устанавливаете ежедневное ограничение, как указано встроенной ролью участника компонента Application Insights, например.
Создание оповещения при достижении ежедневного ограничения для рабочей области Log Analytics	microsoft.insights/scheduledqueryrules/writeразрешения, предоставляемые встроенной ролью участника мониторинга, например
Создание оповещения при достижении ежедневного ограничения для классического ресурса Application Insights	microsoft.insights/activitylogalerts/writeразрешения, предоставляемые встроенной ролью участника мониторинга, например
Просмотр эффекта применения ежедневного ограничения	Microsoft.OperationalInsights/workspaces/query/*/readразрешения для рабочих областей Log Analytics, которые вы запрашиваете, например, встроенной ролью Log Analytics Reader.

Как работает ежедневное ограничение

В каждой рабочей области устанавливается ежедневное ограничение, определяющее применимый к этой области лимит на собираемый объем данных. При достижении ежедневного ограничения в верхней части страницы для выбранной рабочей области Log Analytics на портале Azure появится предупреждающий баннер, и событие операции будет отправлено в таблицу Операция в категории LogManagement. При необходимости можно сформировать правило генерации оповещений для отправки оповещения при создании этого события.

Размер данных, используемый для ежедневной крышки, — это размер после преобразований данных, определенных клиентом. (Дополнительные сведения о преобразованиях данных в правилах сбора данных.)

Сбор данных возобновляется в момент сброса, который устанавливается в разные часы суток для каждой рабочей области. Изменение этого часа сброса невозможно. При необходимости можно сформировать правило генерации оповещений для отправки оповещения при создании этого события.

Примечание.

Ежедневное ограничение не может остановить сбор данных точно на указанном уровне ограничения, и ожидается некоторые избыточные данные. Сбор данных, превышающий ежедневное ограничение, может быть особенно большим, если рабочая область получает высокие показатели данных. Если объем собираемых данных превышает ограничение, для него по-прежнему выставляется счет. См. Просмотр влияния ежедневного ограничения для получения информации о запросе, который будет полезен при изучении действия ежедневного ограничения.

Когда следует использовать ежедневное ограничение

Ежедневное ограничение обычно используется организациями, которые особенно внимательно следят за своими расходами. Данный метод следует использовать не в качестве средства сокращения расходов, а в качестве профилактической меры для гарантии того, чтобы вы не выйдете за рамки установленного бюджета.

После остановке сбора данных вы фактически теряете возможность отслеживать компоненты и ресурсы, использующие эту рабочую область. Вместо того чтобы полагаться только на ежедневное ограничение, можно создать правило генерации оповещений, чтобы уведомить вас о достижении определенного уровня сбора данных до ежедневного ограничения. Уведомление позволит решить любые проблемы увеличения до остановки сбора данных или даже временно отключить сбор данных для менее критически важных ресурсов.

Application Insights

Необходимо настроить параметр ежедневного ограничения для Application Insights и Log Analytics, чтобы ограничить объем данных телеметрии, принятых службой. Для ресурсов Application Insights на основе рабочей области эффективное ежедневное ограничение — минимум двух параметров. Для классических ресурсов Application Insights применяется только ежедневное ограничение Application Insights, так как их данные не находятся в рабочей области Log Analytics.

Совет

Если вы обеспокоены объемом оплачиваемых данных, собранных Application Insights, следует настроить выборку для конфигурации объема данных на нужном уровне. Используйте ежедневное ограничение в качестве средства обеспечения безопасности в случае, если приложение неожиданно начинает отправлять значительно большие объемы данных телеметрии.

Максимальное ограничение в классическом ресурсе Application Insights составляет 1000 ГБ в сутки. Для приложения с большим объемом трафика можно запросить об увеличении этого ограничения. При создании ресурса на портале Azure устанавливается ограничение на уровне 100 ГБ в сутки. Ограничение по умолчанию при создании ресурса в Visual Studio достаточно мало (всего 32,3 МБ в сутки). Ежедневное ограничение по умолчанию задается для упрощения тестирования. Предполагается, что пользователь повысит ежедневное ограничение перед развертыванием приложения в рабочую среду.

Примечание.

Если вы используете строка подключения для отправки данных в Application Insights с помощью конечных точек приема регионов, то параметры ежедневной крышки Application Insights и Log Analytics эффективны для каждого региона. Если вы используете только ключ инструментирования (ikey) для отправки данных в Application Insights с помощью глобальной конечной точки приема, то параметр ежедневной крышки Application Insights может не быть эффективным в разных регионах, но параметр ежедневной крышки Log Analytics по-прежнему применяется.

Мы удалили ограничение для некоторых типов подписок с кредитом, который не может использоваться для Application Insights. Ранее, если для подписки была задана предельная сумма расходов, то в колонке ежедневного ограничения отображались инструкции по ее удалению, а также включению возможности повышения этого ограничения свыше 32,3 МБ в день.

Определение значения ежедневного ограничения

Для определения соответствующего ежедневного ограничения для рабочей области следует использовать статью Расходы и данные об использовании Azure Monitor, которая поможет вам понять тенденции приема данных. Вы также можете прочесть статью Анализ использования в рабочей области Log Analytics, в которой более подробно предоставлены методы анализа использования рабочей области.

Рабочие области с Microsoft Defender для облака

Внимание

Начиная с 18 сентября 2023 г. Azure Monitor применяет все оплачиваемые типы данных.
при выполнении ежедневной крышки. При включении Microsoft Defender для серверов в рабочей области особых действий не существует особых действий. Это изменение повышает способность полностью содержать затраты от приема данных выше, чем ожидалось. Если у вас есть ежедневное ограничение в рабочей области с включенным Microsoft Defender для серверов, убедитесь, что крышка достаточно высока, чтобы вместить это изменение. Кроме того, обязательно установите оповещение (см. ниже), чтобы получать уведомления сразу после выполнения ежедневной крышки.

До 18 сентября 2023 г. если рабочая область включена решение Microsoft Defenders для серверов после 19 июня 2017 г., некоторые типы данных, связанные с безопасностью, собираются для Microsoft Defender для облака или Microsoft Sentinel, несмотря на любое ежедневное ограничение. Следующие типы данных будут подвергаться этому специальному исключению из ежедневной крышки WindowsEvent, SecurityAlert, SecurityBaselineSummary, SecurityBaselineSummary, SecurityDetection, SecurityEvent, WindowsFirewall, MaliciousIPCommunication, LinuxAuditLog, SysmonEvent, ProtectionStatus, Update, UpdateSummary, CommonSecurityLog и Syslog

Установка ежедневного ограничения

Рабочая область Log Analytics

Чтобы задать или изменить ежедневное ограничение для рабочей области Log Analytics на портале Azure:

1. В меню Рабочие области Log Analytics выберите рабочую область, а затем раздел Данные об использовании и предполагаемые расходы.
2. Выберите "Ежедневное ограничение" в верхней части страницы.
3. Выберите ВКЛ, а затем настройте ограничение объема данных (ГБ/сутки).

Примечание.

Час сброса рабочей области отобразится, но настроить его нельзя.

Чтобы настроить ежедневное ограничение с помощью Azure Resource Manager, задайте параметр dailyQuotaGb в разделе WorkspaceCapping,как описано в разделе Рабочие области — создание или обновление.

Классический ресурс Application Insights

Чтобы задать или изменить ежедневное ограничение для классического ресурса Application Insights на портале Azure:

1. В меню Монитор нажмите Приложения, выберите ваше приложение, а затем щелкните Данные об использовании и предполагаемые расходы.
2. Выберите Ограничение данных в верхней части страницы.
3. Задайте ограничение объема данных в ГБ в сутки.
4. Если при достижении ежедневного ограничения вы хотите направлять администратору подписки сообщение по электронной почте, выберите соответствующий параметр.
5. Задайте уровень предупреждения о достижении ежедневного ограничения в процентах от ограничения объема данных.
6. Если на уровне предупреждения о достижении ежедневного ограничения вы хотите направлять администратору подписки сообщение по электронной почте, выберите соответствующий параметр.

Чтобы настроить ежедневное ограничение с помощью Azure Resource Manager, задайте параметры dailyQuota, dailyQuotaResetTime и warningThreshold, как описано в разделе Рабочие области — создание или обновление.

Оповещение при достижении дневного лимита

При достижении ежедневного ограничения для рабочей области Log Analytics, баннер отображается на портале Azure, а событие записывается в таблицу Операции в рабочей области. Чтобы вы знали, когда это произойдет, необходимо создать правило генерации оповещений.

Чтобы получить оповещение при достижении ежедневного ограничения, создайте правило генерации оповещений поиска по журналам со следующими сведениями.

Параметр	Значение
Область применения
Целевая область	Выберите рабочую область Log Analytics.
Условие
Тип сигнала	Журнал
Название сигнала	Поиск по пользовательским журналам
Query	_LogOperation | where Category =~ "Ingestion" | where Detail contains "OverQuota"
Измерение	Мера: строки таблицы Тип агрегирования: Количество Степень детализации агрегирования: 5 минут
Логика оповещений	Оператор: Больше Пороговое значение: 0 Частота вычислений: 5 минут
Действия	Выберите или добавьте группу действий для получения уведомлений о превышении порогового значения.
Сведения
Важность	Предупреждение
Имя правила генерации оповещений	"Достигнут ежедневный предел сбора данных";

Создание классического ресурса Application Insights

Когда ежедневное ограничение доступно для классического ресурса Application Insights, в журнале действий Azure создается событие со следующими именами сигналов. Кроме того, при необходимости можно настроить отправку сообщения по электронной почте администратору подписки как при достижении ограничения, так и при достижении указанного процента ежедневного ограничения.

• Достигнуто пороговое значение предупреждения для ежедневного ограничения компонента Application Insights
• Достигнуто ежедневное ограничение для компонента Application Insights

Для создания оповещения при достижении ежедневного ограничения, создайте правило генерации оповещений журнала действий со следующими сведениями.

Параметр	Значение
Область применения
Целевая область	Выберите приложение.
Условие
Тип сигнала	Журнал действий
Название сигнала	Достигнуто ежедневное ограничение для компонента Application Insights Or Достигнуто пороговое значение предупреждения для ежедневного ограничения компонента Application Insights
Важность	Предупреждение
Имя правила генерации оповещений	"Достигнут ежедневный предел сбора данных";

Просмотр эффекта применения ежедневного ограничения

Для мониторинга объемов данных в соответствии с ежедневным ограничением для рабочей области Log Analytics между сбросами ежедневного ограничения можно использовать следующий запрос. В этом примере час сброса для рабочей области — 14:00. Измените DailyCapResetHour время сброса рабочей области, которое можно просмотреть на странице конфигурации ежедневной крышки.

let DailyCapResetHour=14;
Usage
| where TimeGenerated > ago(32d)
| extend StartTime=datetime_add("hour",-1*DailyCapResetHour,StartTime)
| where StartTime > startofday(ago(31d))
| where IsBillable
| summarize IngestedGbBetweenDailyCapResets=sum(Quantity)/1000. by day=bin(StartTime , 1d) // Quantity in units of MB
| render areachart  

Добавить типы данных Update и UpdateSummary к строке where Datatype, если в рабочей области не выполняется решение "Управление обновлениями", или если включено целевое решение (подробнее.)

Следующие шаги

• См. Сведения о ценах на журналы Azure Monitor для получения информации о способах вычисления расходов для данных в рабочей области Log Analytics и о различных вариантах конфигурации для целей сокращения расходов.
• См. Сведения о ценах на журналы Azure Monitor для получения информации о способах вычисления расходов для данных в рабочей области Log Analytics и о различных вариантах конфигурации для целей сокращения расходов.
• См. Анализ использования в рабочей области Log Analytics для получения дополнительной информации об анализе данных в рабочей области и определении источника любого повышенного по сравнению с ожидаемым объема использования и возможностей уменьшения объема собранных данных.