Справочная таблица системы прогнозной оптимизации

Внимание

Эта системная таблица в общедоступной предварительной версии находится в . Чтобы получить доступ к таблице, схема должна быть включена в каталоге system. Дополнительные сведения см. в разделе Включение системных схем таблиц.

Примечание.

Чтобы получить доступ к этой таблице, необходимо включить схему storage (см. раздел Включение системных схем таблиц), а также ваш регион должен поддерживать прогнозную оптимизацию (см. раздел Регионы Azure Databricks).

В этой статье описана схема таблицы журнала операций прогнозной оптимизации и приведены примеры запросов. Прогнозная оптимизация оптимизирует макет данных для повышения производительности и эффективности затрат. Системная таблица отслеживает журнал операций этой функции. Сведения о предиктивной оптимизации см. в разделе «Предиктивная оптимизация для управляемых таблиц каталога Unity».

пути к таблице: эта системная таблица находится в system.storage.predictive_optimization_operations_history.

Рекомендации по доставке

• Данные могут быть подготовлены в течение 24 часов.
• Прогнозная оптимизация может выполнять несколько операций в одном кластере. Если это так, доля единиц баз данных (DBUs), распределенных на каждую из нескольких операций, оценивается. Именно поэтому для usage_unit задано значение ESTIMATED_DBU. Тем не менее общее количество DBUs, использованных на кластер, будет точным.

Схема таблицы прогнозной оптимизации

В системной таблице журнала операций прогнозной оптимизации используется следующая схема:

Имя столбца	Тип данных	Описание	Пример
account_id	строка	Идентификатор учетной записи.	11e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id	строка	Идентификатор рабочей области, в которой прогнозная оптимизация выполнила операцию.	1234567890123456
start_time	временная метка	Время начала операции. Сведения о часовом поясе записываются в конце значения с +00:00, представляющей UTC.	2023-01-09 10:00:00.000+00:00
end_time	метка времени	Время завершения операции. Сведения о часовом поясе записываются в конце значения с +00:00, представляющей UTC.	2023-01-09 11:00:00.000+00:00
metastore_name	строка	Имя хранилища метаданных, к которому принадлежит оптимизированная таблица.	metastore
metastore_id	строка	Идентификатор хранилища метаданных, к которому принадлежит оптимизированная таблица.	5a31ba44-bbf4-4174-bf33-e1fa078e6765
catalog_name	строка	Имя каталога, к которому принадлежит оптимизированная таблица.	catalog
schema_name	строка	Имя схемы, к которой принадлежит оптимизированная таблица.	schema
table_id	строка	Идентификатор оптимизированной таблицы.	138ebb4b-3757-41bb-9e18-52b38d3d2836
table_name	строка	Имя оптимизированной таблицы.	table1
operation_type	строка	Операция оптимизации, которая была выполнена. Это значение будет COMPACTION, VACUUM, ANALYZEили CLUSTERING.	COMPACTION
operation_id	строка	Идентификатор операции оптимизации.	4dad1136-6a8f-418f-8234-6855cfaff18f
operation_status	строка	Состояние операции оптимизации. Значение будет SUCCESSFUL или FAILED: INTERNAL_ERROR.	SUCCESSFUL
operation_metrics	map[string, string]	Дополнительные сведения о конкретной оптимизации, которая была выполнена. См. метрики операций.	{"number_of_output_files":"100","number_of_compacted_files":"1000","amount_of_output_data_bytes":"4000","amount_of_data_compacted_bytes":"10000"}
usage_unit	строка	Единица использования, вызванная этой операцией. Может быть только одно значение: ESTIMATED_DBU	ESTIMATED_DBU
usage_quantity	десятичная дробь	Объем единицы использования, используемой этой операцией.	2.12

Метрики операций

Метрики, записанные в столбце operation_metrics, зависят от типа операции:

• COMPACTION: number_of_compacted_files, amount_of_data_compacted_bytes, number_of_output_files, amount_of_output_data_bytes
• VACUUM: number_of_deleted_files, amount_of_data_deleted_bytes
• ANALYZE: amount_of_scanned_bytes, number_of_scanned_files, staleness_percentage_reduced
• CLUSTERING: number_of_removed_files, number_of_clustered_files, amount_of_data_removed_bytes, amount_of_clustered_data_bytes
• AUTO_CLUSTERING_COLUMN_SELECTION: old_clustering_columns, new_clustering_columns, has_column_selection_changed, additional_reason (включает причину, по которой выбор столбца изменился или не изменился)

Примеры запросов

В следующих разделах приведены примеры запросов, которые можно использовать для получения аналитических сведений о системной таблице прогнозной оптимизации. Для работы этих запросов необходимо заменить значения параметров собственными значениями.

В этой статье приведены следующие примеры запросов:

• Сколько оценочных DBU использовано предсказательной оптимизацией за последние 30 дней?
• На каких таблицах прогнозная оптимизация затратила больше всего за последние 30 дней (предполагаемые затраты)?
• На каких таблицах прогнозная оптимизация выполняет больше всего операций?
• Сколько всего байтов уплотнено для данного каталога?
• В каких таблицах было вакуумировано больше всего байтов?
• Какова скорость успешности операций, выполняемых с помощью прогнозных оптимизаций?

Сколько предполагаемых баз данных использует прогнозную оптимизацию за последние 30 дней?

SELECT SUM(usage_quantity)
FROM system.storage.predictive_optimization_operations_history
WHERE
     usage_unit = "ESTIMATED_DBU"
     AND  timestampdiff(day, start_time, Now()) < 30

На каких таблицах за последние 30 дней прогнозная оптимизация потратила больше всего средств (оценочные расходы)?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(usage_quantity) as totalDbus
FROM system.storage.predictive_optimization_operations_history
WHERE
    usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30
GROUP BY ALL
ORDER BY totalDbus DESC

На каких таблицах прогнозная оптимизация выполняет большинство операций?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     operation_type,
     COUNT(DISTINCT operation_id) as operations
FROM system.storage.predictive_optimization_operations_history
GROUP BY ALL
ORDER BY operations DESC

Для данного каталога, сколько всего байтов было сжато?

SELECT
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_compacted_bytes"]) as bytesCompacted
FROM system.storage.predictive_optimization_operations_history
WHERE
    metastore_name = :metastore_name
    AND catalog_name = :catalog_name
    AND operation_type = "COMPACTION"
GROUP BY ALL
ORDER BY bytesCompacted DESC

В каких таблицах было вакуумировано наибольшее количество байтов?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_deleted_bytes"]) as bytesVacuumed
FROM system.storage.predictive_optimization_operations_history
WHERE operation_type = "VACUUM"
GROUP BY ALL
ORDER BY bytesVacuumed DESC

Какова скорость успешности операций, выполняемых с помощью прогнозных оптимизаций?

WITH operation_counts AS (
     SELECT
           COUNT(DISTINCT (CASE WHEN operation_status = "SUCCESSFUL" THEN operation_id END)) as successes,
           COUNT(DISTINCT operation_id) as total_operations
    FROM system.storage.predictive_optimization_operations_history
 )
SELECT successes / total_operations as success_rate
FROM operation_counts