Поделиться через

Справочник по системной таблице событий очистки помещений

  • Статья

Внимание

Эта системная таблица находится в общедоступной предварительной версии. Чтобы получить доступ к таблице, схема должна быть включена в каталоге system. Дополнительные сведения см. в разделе Включение системных схем таблиц.

Таблица событий чистых помещений записывает действия, выполненные вами или вашими коллегами в чистых помещениях (общедоступная предварительная версия) в вашей учетной записи. Эта таблица содержит региональные данные из вашей учетной записи.

Дополнительные сведения о чистых комнатах см. в статье "Что такое чистые комнаты Azure Databricks?".

пути к таблице: эта системная таблица находится в system.access.clean_room_events.

Схема таблицы системы событий для чистых помещений

В таблице системы событий для чистой комнаты используется следующая схема:

Имя столбца Тип данных Description Пример
account_id строка Идентификатор учетной записи Databricks 7af234db-66d7-4db3

-bbf0-956098224879
metastore_id строка Идентификатор хранилища метаданных каталога Unity 5a31ba44-bbf4-4174

-bf33-e1fa078e6765
event_id строка Идентификатор события чистого помещения db52a413-7a0a-4d49

-b742-7ae5f06bc4b2
clean_room_name строка Имя чистой комнаты, связанной с событием market-analysis
central_clean_room_id строка Идентификатор центрального чистого помещения e01b6a78-1336-47e1

-b63d-3e49aa5b627
initiator_global_metastore_id строка Глобальный идентификатор хранилища метаданных участника совместной работы, инициирующего событие aws:us-west-2:ec22936d

-cd29-4421-a88a-883fb356776a
event_time TIMESTAMP Метка времени, когда произошло событие 2023-01-01T01:01:01.123
event_type строка тип события; См. сведения о событиях чистого помещения в журнале. CLEAN_ROOM_CREATED
clean_room_created_metadata struct Метаданные типа события CLEAN_ROOM_CREATED {

"collaborators": [

{"collaborator_global_metastore_id":

"aws:us-west-2:ec22936d-cd29-4421-a88a-883fb356776a"},

{"collaborator_global_metastore_id":

"azure:wesus:”3be05a26-5a83-478c-8428-9ef9aa67b5d0"}]

}
clean_room_deleted_metadata struct Метаданные типа события CLEAN_ROOM_DELETED {

"central_clean_room_id": "af0d4563-2267-412c-9d4a

-8a59c4895c18"

}
run_notebook_started_metadata struct Метаданные типа события RUN_NOTEBOOK_STARTED {

"notebook_name": "market analysis",

"notebook_checksum": "7072696E7468656C6C6F776F7264",

"run_id": "TaskRunId-634124444694206"

}
run_notebook_completed_metadata struct Метаданные типа события RUN_NOTEBOOK_COMPLETED См. метаданные завершенной записи запуска блокнота
clean_room_assets_updated_metadata struct Метаданные типа события CLEAN_ROOM_ASSETS_UPDATED {

"added_assets": [{

"data_object_type": "TABLE",

"name": "sales",

"catalog": "demo"}],

"updated_assets":[],

"removed_assets": []

}
delete_output_schema_metadata struct Метаданные типа события DELETE_OUTPUT_SCHEMA {

"name": "output_schema_55555",

"owner_global_metastore_id": "aws:us-west-2:555555-55...",

"action": "DELETE"

expire_time: "2025-01-14T15:28:19.000Z"

}
initiator_collaborator_alias строка Псевдоним участника совместной работы, инициирующего событие. Для чистых комнат, созданных с помощью пользовательского интерфейса, значение равно creator или collaborator. Для чистых комнат, созданных с помощью API, они являются пользовательскими значениями, указанными при создании. creator

Регистрированные события чистого помещения

Эта системная таблица регистрирует следующие события:

  • CLEAN_ROOM_CREATED: пользователь создает новую чистую комнату.
  • CLEAN_ROOM_DELETED: пользователь удаляет чистую комнату.
  • RUN_NOTEBOOK_STARTED. Пользователь инициирует запуск ноутбука в чистой комнате.
  • RUN_NOTEBOOK_COMPLETED: выполнение записной книжки завершено. Проверьте run_notebook_completed_metadata, чтобы убедиться, был ли запуск успешным или нет.
  • CLEAN_ROOM_ASSETS_UPDATED: ресурсы чистой комнаты обновляются. Это может быть добавление, обновление или удаление ресурсов.
  • DELETE_OUTPUT_SCHEMA: истекает срок действия выходной схемы и удаляется. initiator_global_metastore_id для этого типа события всегда system, так как удаление происходит при истечении срока действия выходной схемы.

Чтобы предотвратить дублирование записей, создается только одна запись для каждого события в изолированных средах, где участники относятся к одному метахранилищу. Для чистых комнат, где сотрудники принадлежат отдельным хранилищам метаданных, уникальные записи выдаются для каждого участника.

схема запуска метаданных завершенной записной книжки

Столбец run_notebook_completed_metadata содержит сведения о метаданных для событий RUN_NOTEBOOK_COMPLETED. Если выходная таблица была создана в результате запуска записной книжки, данные регистрируются с использованием структуры output_schema.

В столбце run_notebook_completed_metadata используется следующая схема:

notebook_name: "example_notebook"
run_id: "TaskRunId-55555129818570"
state: "SUCCESS"
duration_in_seconds: 120
output_schema:
  name: "output_schema_123450129818570"
  owner_global_metastore_id: "aws:us-west-2:55555e-55bc-55a5-55ab-555d5ec16013"
  action: "CREATE"
  expire_time: "2025-01-14T15:28:19.000Z"
  assets_added:
    0:
    name: "important_data"
    data_object_type: "TABLE"

Мониторинг использования платных помещений

Чтобы узнать больше об использовании и стоимости чистого помещения, вы можете присоединить эту таблицу к таблице billing.usage с помощью столбца central_clean_room_id. В таблице billing.usage использование чистого помещения определяется с помощью ключа usage_metadata.central_clean_room_id.

Примеры запросов

Ниже приведены примеры запросов, которые помогут вам получить представление о действиях в чистом помещении в вашей учетной записи:

Вывести список всех событий из заданной чистой комнаты

Замените :central_clean_room_id идентификатором центрального чистого помещения, который можно найти на панели сведений о чистой комнате рядом с Central Id.

SELECT
 event_time, initiator_global_metastore_id, event_type,
 CASE
   WHEN event_type = 'CLEAN_ROOM_CREATED' THEN to_json(clean_room_created_metadata)
   WHEN event_type = 'CLEAN_ROOM_DELETED' THEN to_json(clean_room_deleted_metadata)
   WHEN event_type = 'RUN_NOTEBOOK_STARTED' THEN to_json(run_notebook_started_metadata)
   WHEN event_type = 'RUN_NOTEBOOK_COMPLETED' THEN to_json(run_notebook_completed_metadata)
   WHEN event_type = 'CLEAN_ROOM_ASSETS_UPDATED' THEN to_json(clean_room_assets_updated_metadata)
   ELSE ""
 END AS event_metadata
 FROM system.access.clean_room_events
 WHERE central_clean_room_id = :central_clean_room_id
ORDER BY event_time DESC

Список всех событий, инициированных указанным сотрудником

Для параметра :initiator_global_metastore_id введите идентификатор глобального хранилища метаданных участника совместной работы, также известный как идентификатор общего доступа. Для :collaborator_aliasвведите псевдоним участника совместной работы. По умолчанию два возможных псевдонима: creator для создателя чистой комнаты и collaborator для другой стороны.

SELECT
 clean_room_name, central_clean_room_id, event_type, event_time,
 CASE
   WHEN event_type = 'CLEAN_ROOM_CREATED' THEN to_json(clean_room_created_metadata)
   WHEN event_type = 'CLEAN_ROOM_DELETED' THEN to_json(clean_room_deleted_metadata)
   WHEN event_type = 'RUN_NOTEBOOK_STARTED' THEN to_json(run_notebook_started_metadata)
   WHEN event_type = 'RUN_NOTEBOOK_COMPLETED' THEN to_json(run_notebook_completed_metadata)
   WHEN event_type = 'CLEAN_ROOM_ASSETS_UPDATED' THEN to_json(clean_room_assets_updated_metadata)
   ELSE ""
 END AS event_metadata
 FROM system.access.clean_room_events
 WHERE initiator_global_metastore_id = :initiator_global_metastore_id AND (initiator_collaborator_alias = :collaborator_alias OR initiator_collaborator_alias IS NULL)
 ORDER BY clean_room_name, event_time DESC

Перечисление всех соответствующих сотрудников чистых комнат

SELECT DISTINCT explode(transform(clean_room_created_metadata.collaborators, x -> x.collaborator_global_metastore_id)) AS collaborator
FROM system.access.clean_room_events
WHERE event_type = 'CLEAN_ROOM_CREATED'

Перечисление самых медленных запусков записной книжки

SELECT
 clean_room_name,
 run_notebook_completed_metadata.notebook_name AS notebook_name,
 run_notebook_completed_metadata.duration_in_seconds AS duration_in_seconds,
 run_notebook_completed_metadata.run_id AS run_id
FROM system.access.clean_room_events
WHERE event_type = 'RUN_NOTEBOOK_COMPLETED'
 AND run_notebook_completed_metadata.state = 'SUCCESS'
 AND run_notebook_completed_metadata.duration_in_seconds IS NOT NULL
ORDER BY duration_in_seconds DESC

Частота успешного выполнения для каждой записной книжки

SELECT
 clean_room_name,
 run_notebook_completed_metadata.notebook_name AS notebook_name,
 ROUND(COUNT(CASE WHEN run_notebook_completed_metadata.state = 'SUCCESS' THEN 1 END) * 1.0 / COUNT(*) * 100) AS success_rate
FROM system.access.clean_room_events
WHERE event_type = 'RUN_NOTEBOOK_COMPLETED'
GROUP BY clean_room_name, notebook_name
ORDER BY clean_room_name, notebook_name

Перечень всех событий, в которых определенная таблица была добавлена в чистовые помещения.

В поле :table_name_string paramter введите указанное имя таблицы.

SELECT
  clean_room_name,
  initiator_global_metastore_id,
  event_time,
  clean_room_assets_updated_metadata
FROM
  system.access.clean_room_events
WHERE
  event_type = 'CLEAN_ROOM_ASSETS_UPDATED'
  AND exists(
    clean_room_assets_updated_metadata.added_assets,
    item -> item.data_object_type = 'TABLE'
    AND item.name = :table_name_string
  )
ORDER BY
  clean_room_name,
  event_time DESC