Справочник по системной таблице журнала запросов

Внимание

Эта системная таблица находится в общедоступной предварительной версии. Чтобы получить доступ к таблице, в каталоге должна быть включена system схема. Дополнительные сведения см. в разделе "Включение схем системной таблицы".

В этой статье содержатся сведения о системной таблице журнала запросов, включая структуру схемы таблицы.

Внимание

Чтобы получить доступ к системной таблице журнала запросов, необходимо включить схему query . Инструкции по включению системных схем см. в разделе "Включение схем системной таблицы".

Путь к таблице: эта системная таблица расположена по адресу system.query.history.

Использование таблицы журнала запросов

Таблица журнала запросов содержит записи для каждого запуска инструкции SQL с помощью хранилищ SQL. Таблица содержит записи на уровне учетной записи из всех рабочих областей в одном регионе, из которого вы обращаетесь к таблице.

По умолчанию доступ к системной таблице имеют только администраторы. Если вы хотите поделиться данными таблицы с пользователем или группой, Databricks рекомендует создать динамическое представление для каждого пользователя или группы. См. раздел Создание динамического представления.

Схема системной таблицы журнала запросов

В таблице журнала запросов используется следующая схема:

Имя столбца	Тип данных	Description	Пример
account_id	строка	Идентификатор учетной записи.	11e22ba4-87b9-4cc2 -9770-d10b894b7118
workspace_id	строка	Идентификатор рабочей области, в которой выполнялся запрос.	1234567890123456
statement_id	строка	Идентификатор, который однозначно идентифицирует выполнение инструкции. Этот идентификатор можно использовать для поиска выполнения инструкции в пользовательском интерфейсе журнала запросов.	7a99b43c-b46c-432b -b0a7-814217701909
session_id	строка	Идентификатор сеанса Spark.	01234567-cr06-a2mp -t0nd-a14ecfb5a9c2
execution_status	строка	Состояние завершения инструкции. Возможны следующие значения: - FINISHED: выполнение выполнено успешно - FAILED: сбой выполнения с причиной сбоя, описанного в сопутствующем сообщении об ошибке - CANCELED: выполнение было отменено	FINISHED
compute	struct	Структуру, представляющую тип вычислительного ресурса, используемого для выполнения инструкции, и идентификатор ресурса, в котором применимо. Значение type будет либо WAREHOUSE SERVERLESS_COMPUTE.	{ type: WAREHOUSE, cluster_id: NULL, warehouse_id: ec58ee3772e8d305 }
executed_by_user_id	строка	Идентификатор пользователя, выполнившего инструкцию.	2967555311742259
executed_by	строка	Адрес электронной почты или имя пользователя, выполнившего инструкцию.	example@databricks.com
statement_text	строка	Текст инструкции SQL. Если вы настроили ключи, управляемые клиентом, statement_text пуст.	SELECT 1
statement_type	строка	Тип оператора. Например: ALTER, COPYиINSERT.	SELECT
error_message	строка	Сообщение, описывающее условие ошибки. Если вы настроили ключи, управляемые клиентом, error_message пуст.	[INSUFFICIENT_PERMISSIONS] Insufficient privileges: User does not have permission SELECT on table 'default.nyctaxi_trips'.
client_application	строка	Клиентское приложение, выполняющее инструкцию. Например: Редактор SQL Databricks, Tableau и Power BI. Это поле является производным от информации, предоставляемой клиентскими приложениями. Хотя значения, как ожидается, останутся статическими с течением времени, это не может быть гарантировано.	Databricks SQL Editor
client_driver	строка	Соединитель, используемый для подключения к Azure Databricks для выполнения инструкции. Например: Databricks SQL Driver for Go, Databricks ODBC Driver, Databricks JDBC Driver.	Databricks JDBC Driver
total_duration_ms	bigint	Общее время выполнения инструкции в миллисекундах (за исключением времени получения результата).	1
waiting_for_compute_duration_ms	bigint	Время ожидания подготовки вычислительных ресурсов в миллисекундах.	1
waiting_at_capacity_duration_ms	bigint	Время ожидания в очереди для доступной вычислительной емкости в миллисекундах.	1
execution_duration_ms	bigint	Время, затраченное на выполнение инструкции в миллисекундах.	1
compilation_duration_ms	bigint	Время загрузки метаданных и оптимизация инструкции в миллисекундах.	1
total_task_duration_ms	bigint	Сумма всех длительности задач в миллисекундах. На этот раз представляет собой объединенное время, необходимое для выполнения запроса во всех ядрах всех узлов. Это может быть значительно больше времени, чем длительность настенных часов, если несколько задач выполняются параллельно. Это может быть меньше времени, если задачи ожидают доступных узлов.	1
result_fetch_duration_ms	bigint	Время, затраченное в миллисекундах, извлекает результаты инструкции после завершения выполнения.	1
start_time	TIMESTAMP	Время получения запроса Databricks. Сведения о часовом поясе записываются в конце значения с +00:00 представлением UTC.	2022-12-05T00:00:00.000+0000
end_time	TIMESTAMP	Время завершения выполнения инструкции, за исключением времени получения результата. Сведения о часовом поясе записываются в конце значения с +00:00 представлением UTC.	2022-12-05T00:00:00.000+00:00
update_time	TIMESTAMP	Время последнего получения инструкции обновления хода выполнения. Сведения о часовом поясе записываются в конце значения с +00:00 представлением UTC.	2022-12-05T00:00:00.000+00:00
read_partitions	bigint	Количество секций, считываемых после обрезки.	1
pruned_files	bigint	Количество отрезаемых файлов.	1
read_files	bigint	Количество файлов, считываемых после очистки.	1
read_rows	bigint	Общее количество строк, считываемых инструкцией.	1
produced_rows	bigint	Общее количество строк, возвращаемых инструкцией.	1
read_bytes	bigint	Общий размер данных, считываемых инструкцией в байтах.	1
read_io_cache_percent	INT	Процент байтов постоянных данных, считываемых из кэша операций ввода-вывода.	50
from_result_cache	boolean	TRUE указывает, что результат инструкции был получен из кэша.	TRUE
spilled_local_bytes	bigint	Размер данных в байтах временно записывается на диск при выполнении инструкции.	1
written_bytes	bigint	Размер в байтах постоянных данных, записанных в облачное хранилище объектов.	1
shuffle_read_bytes	bigint	Общий объем данных в байтах, отправленных по сети.	1
query_source	struct	Структура, содержащая пары "ключ-значение", представляющие одну или несколько сущностей Databricks, участвующих в выполнении этой инструкции, например задания, записные книжки или панели мониторинга. Это поле записывает только сущности Databricks.	{ job_info: { job_id: 64361233243479 job_run_id: 887406461287882 job_task_key: “job_task_1” job_task_run_id: 110378410199121 }
executed_as	строка	Имя пользователя или субъекта-службы, привилегии которого использовались для выполнения инструкции.	example@databricks.com
executed_as_user_id	строка	Идентификатор пользователя или субъекта-службы, привилегии которого использовались для выполнения инструкции.	2967555311742259

Просмотр профиля запроса для записи

Чтобы перейти к профилю запроса на основе записи в таблице журнала запросов, сделайте следующее:

1. Определите интересующую запись, а затем скопируйте запись statement_id.
2. Напишите запись workspace_id , чтобы убедиться, что вы вошли в ту же рабочую область, что и запись.
3. Щелкните журнал запросов на боковой панели рабочей области.
4. В поле "Идентификатор инструкции" вставьте statement_id запись.
5. Щелкните имя запроса. Откроется обзор метрик запросов.
6. Щелкните "Просмотреть профиль запроса".