Мониторинг Azure Data Explorer
Azure Monitor собирает и агрегирует метрики и журналы из системы для мониторинга доступности, производительности и устойчивости, а также уведомляет вас о проблемах, влияющих на систему. Вы можете использовать портал Azure, PowerShell, Azure CLI, REST API или клиентские библиотеки для настройки и просмотра данных мониторинга.
Различные метрики и журналы доступны для различных типов ресурсов. В этой статье описываются типы данных мониторинга, которые можно собирать для этой службы и способы анализа этих данных.
Сбор данных с помощью Azure Monitor
В этой таблице описывается, как собирать данные для мониторинга службы и что можно сделать с данными после сбора:
| Сбор данных | Описание | Сбор и маршрутизация данных | Где просмотреть данные | Поддерживаемые данные |
|---|---|---|---|---|
| Данные метрик | Метрики — это числовые значения, описывающие аспект системы в определенный момент времени. Метрики можно агрегировать с помощью алгоритмов, по сравнению с другими метриками и анализировать для тенденций с течением времени. | — собирается автоматически через регулярные интервалы.
. Вы можете направлять некоторые метрики платформы в рабочую область Log Analytics для выполнения запросов вместе с другими данными. Проверьте параметр экспорта |
обозреватель метрик | метрики Azure Data Explorer, поддерживаемые Azure Monitor |
| Данные журнала ресурсов | Журналы записывают системные события с меткой времени. Журналы могут содержать различные типы данных и быть либо структурированным текстом, либо текстом свободной формы. Данные журнала ресурсов можно направлять в рабочие области Log Analytics для запроса и анализа. | Создайте параметр диагностики для сбора и маршрутизации данных журналов ресурсов. | Анализ журналов | данные журналов ресурсов в Azure Data Explorer, поддерживаемые Azure Monitor |
| Данные журнала действий | Журнал действий Azure Monitor содержит сведения о событиях уровня подписки. Журнал действий включает такую информацию, как время изменения ресурса или запуска виртуальной машины. | — собирается автоматически.
- создать параметр диагностики в рабочую область Log Analytics без платы. |
журнал действий |
Список всех данных, поддерживаемых Azure Monitor, см. в следующих статье:
Встроенный мониторинг для Azure Data Explorer
Azure Data Explorer предлагает метрики и журналы для мониторинга службы.
Мониторинг производительности, работоспособности и использования Azure Data Explorer с помощью метрик
Метрики Azure Data Explorer предоставляют ключевые показатели работоспособности и производительности ресурсов кластера Azure Data Explorer. Используйте метрики для мониторинга использования кластера Azure Data Explorer, работоспособности и производительности в конкретном сценарии в качестве автономных метрик. Вы также можете использовать метрики в качестве основы для операционных панелей мониторинга Azure и оповещений Azure.
Чтобы использовать метрики для мониторинга ресурсов Azure Data Explorer на портале Azure:
- Войдите на портал Azure .
- В левой панели вашего кластера Azure Data Explorer найдите метрики
. - Выберите Метрики, чтобы открыть область метрик и начать анализ на вашем кластере.
В области метрик выберите определенные метрики для отслеживания, выберите способ агрегирования данных и создайте диаграммы метрик для просмотра на панели мониторинга.
Для кластера Azure Data Explorer предварительно выбраны ресурсы и пространства имен метрик. Числа на следующем рисунке соответствуют нумерованному списку. Они помогут вам в различных вариантах настройки и просмотра метрик.
- Чтобы создать диаграмму метрик, выберите имя метрики и соответствующее агрегирование для метрики. Дополнительные сведения о различных метриках см. в поддерживаемых метрик для Azure Data Explorer.
- Выберите Добавить метрики, чтобы просмотреть несколько метрик, которые отображаются на одной диаграмме.
- Выберите + Новую диаграмму, чтобы просмотреть несколько диаграмм одновременно.
- Используйте средство выбора времени для изменения диапазона времени (по умолчанию: за последние 24 часа).
- Используйте Добавить фильтр и Применить разделение для метрик с измерениями.
- Выберите Закрепить на панели мониторинга, чтобы добавить конфигурацию диаграммы на панель мониторинга и иметь возможность снова просматривать её.
- Задайте Новое правило генерации оповещений для визуализации метрик с помощью заданных условий. Новое правило генерации оповещений включает целевой ресурс, метрики, разделение и фильтрацию измерений на диаграмме. Измените эти параметры в области создания правила оповещений .
Мониторинг приема, команд, запросов и таблиц Azure Data Explorer с помощью журналов диагностики
Azure Data Explorer — это быстрая полностью управляемая служба аналитики данных для анализа больших объемов потоков данных из приложений, веб-сайтов, устройств Интернета вещей и т. д. журналы диагностики Azure Monitor предоставляют данные о работе ресурсов Azure. Azure Data Explorer использует журналы диагностики для получения аналитических сведений о приеме, командах, запросах и таблицах. Журналы операций можно экспортировать в службу хранилища Azure, концентратора событий или Log Analytics для мониторинга приема, команд и состояния запроса. Журналы из службы хранилища Azure и Центров событий Azure можно направлять в таблицу в кластере Azure Data Explorer для дальнейшего анализа.
Важный
Данные журнала диагностики могут содержать конфиденциальные данные. Ограничьте доступ к месту сохранения логов в соответствии с вашими потребностями мониторинга.
Заметка
На портале Azure необработанные данные метрик для страницы Метрики и страницы Аналитика хранятся в Azure Monitor. Запросы на этих страницах запрашивают необработанные данные метрик непосредственно для предоставления наиболее точных результатов. При использовании функции параметров диагностики можно перенести необработанные данные метрик в рабочую область Log Analytics. Во время миграции некоторые данные могут быть потеряны из-за округления; Следовательно, результаты запроса могут немного отличаться от исходных данных. Поле для ошибки меньше одного процента.
Журналы диагностики можно использовать для настройки сбора следующих данных журнала:
Заметка
Заметка
Журналы о неудачных приемах сообщаются только для окончательного состояния операции приема, в отличие от метрики результата приема , которая создается для временных сбоев, что повторяются внутренне.
- Успешные операции инжестации: эти журналы содержат сведения о успешно завершенных операциях инжестации.
- Неудачные операции приема: Эти журналы содержат подробную информацию о неудачных операциях приема, включая подробности ошибки.
- Операции пакетного приема: Эти журналы содержат подробную статистику пакетов, готовых к загрузке (длительность, размер пакета, количество BLOB и типы пакетной обработки).
Вы можете отправить данные журнала в рабочую область Log Analytics, учетную запись хранения или передать их в концентратор событий.
Журналы диагностики отключены по умолчанию. Чтобы включить журналы диагностики для кластера, выполните следующие действия.
На портале Azureвыберите ресурс кластера, который требуется отслеживать.
В разделе Мониторингвыберите параметры диагностики .
Выберите Добавить параметр диагностики.
В окне параметров диагностики:
- Введите имя параметра диагностики .
- Выберите один или несколько целевых объектов: рабочую область Log Analytics, учетную запись хранения или концентратор событий.
- Выберите журналы для сбора: успешный прием, неудачный прием, прием с пакетной обработкой, команды, запросы, статистика использования таблиц, сведения о таблицахили журнал.
- Выберите метрики для сбора (необязательно).
- Чтобы сохранить новые параметры и метрики журналов диагностики, выберите Сохранить.
После готовности параметров журналы начинают отображаться в настроенных целевых объектах назначения: учетной записи хранения, концентратора событий или рабочей области Log Analytics.
Заметка
Если вы отправляете журналы в рабочую область Log Analytics, SucceededIngestion, FailedIngestion, IngestionBatching, Command, Query, TableUsageStatistics, TableDetailsи Journal журналы хранятся в таблицах Log Analytics с именами: SucceededIngestion, FailedIngestion, ADXIngestionBatching, ADXCommand, ADXQuery, ADXTableUsageStatistics, ADXTableDetailsи ADXJournal соответственно.
Использование средств Azure Monitor для анализа данных
Эти средства Azure Monitor доступны на портале Azure для анализа данных мониторинга:
Некоторые службы Azure имеют встроенную панель мониторинга на портале Azure. Эти панели мониторинга называются Insights, и их можно найти в разделе Insights Azure Monitor на портале Azure.
обозреватель метрик позволяет просматривать и анализировать метрики для ресурсов Azure. Дополнительные сведения см. в статье Анализ метрик с помощью обозревателя метрик Azure Monitor.
Log Analytics позволяет запрашивать и анализировать данные журнала с помощью языка запросов Kusto. Дополнительные сведения см. в статье Начало работы с запросами журналов в Azure Monitor.
На портале Azure есть пользовательский интерфейс для просмотра и базового поискажурнала действий
. Чтобы выполнить более подробный анализ, перенаправите данные в журналы Azure Monitor и выполните более сложные запросы в Log Analytics. Application Insights отслеживает доступность, производительность и использование веб-приложений, чтобы можно было выявлять и диагностировать ошибки, не ожидая, когда пользователь сообщит о них.
Application Insights включает точки подключения к различным средствам разработки и интегрируется с Visual Studio для поддержки процессов DevOps. Дополнительные сведения см. в разделе Мониторинг приложений для App Service.
Средства, которые позволяют более сложной визуализации, включают:
- панели мониторинга, которые позволяют объединять различные виды данных в одну панель на портале Azure.
- Рабочие книги— это настраиваемые отчеты, которые можно создать на портале Azure. Рабочие книги могут включать текст, метрики и журнальные запросы.
- Grafana— открытая платформа, которая превосходно подходит для создания операционных панелей мониторинга. С помощью Grafana можно создавать панели мониторинга, содержащие данные из нескольких источников, отличных от Azure Monitor.
- Power BI— служба бизнес-аналитики, которая предоставляет интерактивные визуализации в различных источниках данных. Вы можете настроить Power BI для автоматического импорта данных журнала из Azure Monitor, чтобы воспользоваться преимуществами этих визуализаций.
Экспорт данных Azure Monitor
Вы можете экспортировать данные из Azure Monitor в другие средства с помощью:
Метрики : Используйте REST API для метрик, чтобы извлечь данные о метриках из базы данных метрик в Azure Monitor. Дополнительные сведения см. в справочнике по REST API Azure Monitor .
Журналы : используйте REST API или соответствующие клиентские библиотеки .
Сведения о начале работы с REST API Azure Monitor см. в пошаговомруководстве по REST API мониторинга Azure.
Использование запросов Kusto для анализа данных журнала
Вы можете анализировать данные журнала Azure Monitor с помощью языка запросов Kusto (KQL). Дополнительные сведения см. в запросах журнала вAzure Monitor.
Использование оповещений Azure Monitor для уведомления о проблемах
оповещения Azure Monitor позволяют выявлять и устранять проблемы в системе и заранее уведомлять вас, когда конкретные условия обнаруживаются в данных мониторинга, прежде чем клиенты заметят их. Вы можете настроить оповещения на любую метрику или источник данных в платформе Azure Monitor. Существуют различные типы оповещений Azure Monitor в зависимости от служб, которые вы отслеживаете, и собираемых данных мониторинга. См. Выбор подходящего типа правила оповещения.
Примеры распространенных оповещений для ресурсов Azure см. в разделе Примеры запросов на оповещения из журнала.
Реализация оповещений в масштабе
Для некоторых служб можно отслеживать масштаб, применяя одно правило генерации оповещений метрик к нескольким ресурсам одного типа, которые существуют в одном регионе Azure. Оповещения об исходных показателях Azure Monitor (AMBA) предоставляют полуавтоматичный метод реализации важных оповещений по метрикам платформы, информационных панелей и рекомендаций в значительном масштабе.
Получение персонализированных рекомендаций с помощью Помощника по Azure
Если для некоторых служб в портале происходят критические условия или неизбежные изменения во время операций ресурсов, на странице обзора службы отображается оповещение. Дополнительные сведения и рекомендуемые исправления для оповещения можно найти в рекомендации помощника в разделе Мониторинг в меню слева. Во время обычных операций рекомендации помощника не отображаются.
Дополнительные сведения о Помощнике по Azure см. в обзореПомощника по Azure.