Мониторинг среды выполнения интеграции в управляемой виртуальной сети
ОБЛАСТЬ ПРИМЕНЕНИЯ: 
Фабрика данных Azure Azure Synapse Analytics
Совет
Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !
Вы можете использовать управляемую виртуальную сеть Фабрика данных Azure для безопасного подключения источников данных к виртуальной сети, управляемой службой Фабрики данных. С помощью этой возможности можно установить частную и изолированную среду для процессов интеграции и оркестрации данных.
При использовании управляемой виртуальной сети вы объединяете возможности интеграции и оркестрации данных в Фабрике данных с безопасностью и гибкостью виртуальных сетей Azure. Он позволяет создавать надежные, масштабируемые и безопасные конвейеры интеграции данных, которые легко подключаются к сетевым ресурсам, независимо от того, будут ли они локальными или в облаке.
Одной из распространенных проблем управляемого вычисления является отсутствие видимости производительности и работоспособности, особенно в среде управляемой виртуальной сети. Без надлежащего мониторинга выявление и устранение проблем становится сложной задачей и может привести к потенциальным задержкам, ошибкам и снижению производительности.
Используя расширенный мониторинг в фабрике данных, вы можете получить ценные сведения о процессах интеграции данных. Эти аналитические сведения могут привести к повышению эффективности, улучшению использования ресурсов и повышению общей производительности. С помощью упреждающего мониторинга и своевременного оповещения можно устранить проблемы, оптимизировать рабочие процессы и обеспечить плавное выполнение конвейеров интеграции данных в среде управляемой виртуальной сети.
Новые метрики
Введение новых метрик улучшает возможности видимости и мониторинга в средах управляемой виртуальной сети.
Фабрика данных Azure предоставляет три различных типа пулов вычислений:
- Вычисление для действия копирования
- Вычисление для действия конвейера, например подстановки
- Вычисление для внешней активности, например записной книжки Azure Databricks
Эти пулы вычислений обеспечивают гибкость и масштабируемость для удовлетворения различных рабочих нагрузок и оптимального выделения ресурсов. Каждый из них предназначен для обработки конкретных требований к выполнению действий.
Чтобы обеспечить согласованный и комплексный мониторинг во всех вычислительных пулах, мы реализовали одни и те же наборы метрик мониторинга:
- Использование емкости
- Процент доступной емкости
- Длина очереди ожидания
Независимо от типа используемого пула вычислений можно получить доступ и проанализировать стандартный набор метрик для получения аналитических сведений о производительности и работоспособности действий интеграции данных.
Примечание.
Эти метрики допустимы только при включении времени в реальном времени (TTL) в среде выполнения интеграции в управляемой виртуальной сети.
| Метрика | Единица измерения | Description |
|---|---|---|
| Копирование использования емкости среды выполнения интеграции MVNet | Процент | Максимальный процент использования Интеграция данных единиц (DIU) для действий копирования TTL в среде выполнения интеграции управляемой виртуальной сети в течение 1 минуты. |
| Копирование доступной емкости среды выполнения интеграции MVNet | Процент | Максимальный процент доступных операций diU для действий копирования TTL в среде выполнения интеграции управляемой виртуальной сети в течение 1 минуты. |
| Копирование длины очереди ожидания среды выполнения интеграции MVNet | Count | Длина очереди ожидания действий копирования TTL в среде выполнения интеграции управляемой виртуальной сети в течение 1 минуты. |
| Использование емкости конвейера среды выполнения интеграции MVNet | Процент | Максимальный процент использования DIU для действий конвейера в среде выполнения интеграции управляемой виртуальной сети в течение 1 минуты. |
| Процент доступной емкости конвейера среды выполнения интеграции MVNet | Процент | Максимальный процент доступных операций DIU для действий конвейера в среде выполнения интеграции управляемой виртуальной сети в течение 1 минуты. |
| Длина очереди ожидания конвейера среды выполнения интеграции MVNet | Count | Длина очереди ожидания действий конвейера в среде выполнения интеграции управляемой виртуальной сети в течение 1 минуты. |
| Использование внешней емкости среды выполнения интеграции MVNet | Процент | Максимальный процент использования DIU для внешних действий в среде выполнения интеграции управляемой виртуальной сети в течение 1 минуты. |
| Процент внешней доступной емкости среды выполнения интеграции MVNet | Процент | Максимальный процент доступности DIU для внешних действий в среде выполнения интеграции управляемой виртуальной сети в течение 1 минуты. |
| Длина внешней очереди ожидания среды выполнения интеграции MVNet | Count | Длина очереди ожидания внешних действий в среде выполнения интеграции управляемой виртуальной сети в течение 1 минуты. |
Дополнительные сведения об этих метриках см. в разделе "Поддерживаемые метрики для Microsoft.DataFactory/фабрик".
Использование метрик для оптимизации производительности
Используя метрики, вы можете легко отслеживать производительность и надежность среды выполнения интеграции в управляемой виртуальной сети. Вы также можете выявить потенциальные области непрерывного улучшения, оптимизируя параметры вычислений и рабочий процесс для повышения эффективности.
Чтобы обеспечить более четкость практического применения этих метрик, ниже приведены некоторые примеры сценариев.
Balanced
Если вы заметили, что загрузка емкости ниже 100 процентов, а процент доступной емкости высок, зарезервированные вычислительные ресурсы эффективно используются.
Если длина очереди ожидания остается постоянно низкой или возникает случайные короткие пики, мы советуем ставить в очередь другие действия до тех пор, пока загрузка емкости не достигнет 100 процентов. Этот подход помогает обеспечить оптимальное использование ресурсов и помогает поддерживать рабочий процесс с минимальными задержками.
Ориентированное на производительность
Если вы отмечаете, что загрузка емкости постоянно низка, а длина очереди ожидания остается постоянно низкой или возникает случайные короткие пики, зарезервированные вычислительные ресурсы выше, чем спрос на действия.
В таких случаях независимо от того, является ли процент доступной емкости высоким или низким, рекомендуется сократить выделенные вычислительные ресурсы, чтобы снизить затраты. С помощью прав на вычисление в соответствии с требованиями к рабочей нагрузке можно оптимизировать использование ресурсов и сэкономить затраты без ущерба для эффективности операций.
Ориентированное на затраты
Если вы заметите, что все метрики (включая использование емкости, доступный процент емкости и длину очереди ожидания) высоки, вычислительные ресурсы, зарезервированные, скорее всего, недостаточно для ваших действий.
В этом сценарии рекомендуется увеличить выделенные вычислительные ресурсы, чтобы сократить время очереди. Добавление дополнительных вычислительных ресурсов помогает обеспечить эффективную работу ваших действий, что позволяет свести к минимуму задержки, вызванные переполненной очередью.
Промежуточное выполнение действия
Если вы заметите, что процент доступной емкости колеблется между низким и высоким в течение определенного периода времени, скорее всего, из-за периодических выполнения ваших действий, где настроенный период времени жизни (TTL) короче интервала между действиями. Это может существенно повлиять на производительность рабочего процесса. Для решения этой проблемы существует два возможных решения. Во-первых, можно ставить в очередь больше действий, чтобы поддерживать согласованную рабочую нагрузку и использовать доступные вычислительные ресурсы более эффективно. Сохраняя непрерывное использование вычислительных ресурсов, вы можете избежать времени прогрева и повысить производительность. Кроме того, можно увеличить срок жизни, чтобы выровнять интервал между действиями. Это гарантирует, что вычислительные ресурсы остаются доступными в течение длительного времени, уменьшая частоту разогрева и оптимизируя экономичность.
Реализуя одно из этих решений, вы можете повысить производительность рабочего процесса, свести к минимуму последствия затрат и обеспечить более плавное выполнение временных действий.
Связанный контент
Перейдите к следующей статье, чтобы узнать об управляемых виртуальных сетях и управляемых частных конечных точках: Фабрика данных Azure управляемой виртуальной сети.