Supervisar la actividad de la cuenta con el sistema tables

En este artículo se explica el concepto de tables del sistema en Azure Databricks y se resaltan los recursos que puedes usar para get lo mejor de los datos tables del sistema.

¿Qué es el sistema tables?

tables del sistema es un almacén analítico alojado en Azure Databricks de los datos operativos de tu cuenta que se encuentra en systemcatalog. tables del sistema se puede usar para la observabilidad histórica en toda tu cuenta.

Nota:

Para obtener documentación sobre system.information_schema, consulte Información schema.

Requisitos

• Para acceder al sistema tables, el área de trabajo debe estar habilitada para Unity Catalog. Para obtener más información, consulta Habilitación de esquemas table del sistema.

• tables del sistema no está disponible en las siguientes regiones:

  • Regiones de Azure China
  • Regiones de Azure Government
  • Oeste de la India
  • Oeste de Suiza

¿Qué sistemas tables están disponibles?

Actualmente, Azure Databricks hospeda el siguiente sistema tables:

Table	Descripción	Location	Admite streaming	Período gratuito de retención	Incluye datos globales o regionales
Registros de auditoría (versión preliminar pública)	Incluye registros para todos los eventos de auditoría de áreas de trabajo de su región. Para obtener una list de eventos de auditoría disponibles, consulta la Referencia del registro de diagnóstico.	system.access.audit	Sí	365 días	Regionales para eventos de nivel de área de trabajo. Globales para eventos de nivel de cuenta.
linaje de Table (versión preliminar pública)	Incluye un registro para cada evento de lectura o escritura en un Unity Catalogtable o ruta.	system.access.table_lineage	Sí	365 días	Regional
linaje de Column (versión preliminar pública)	Incluye un registro para cada evento de lectura o escritura en un Catalogcolumn de Unity (pero no incluye eventos que no tienen un origen).	system.access.column_lineage	Sí	365 días	Regional
Uso facturable	Incluye registros de todo el uso facturable de su cuenta.	system.billing.usage	Sí	365 días	Global
Precios	Un registro histórico de precios de SKU. Se agrega un registro cada vez que hay un cambio en un precio de SKU.	system.billing.list_prices	No	Ilimitado	Global
Clústeres (versión preliminar pública)	Una dimensión de variación lenta table que contiene el historial completo de configuraciones de proceso a lo largo del tiempo para cualquier clúster.	system.compute.clusters	Sí	365 días	Regional
Escala de tiempo del nodo (versión preliminar pública)	Captura las métricas de uso de los recursos de proceso de todos los fines y trabajos.	system.compute.node_timeline	Sí	30 días	Regional
Tipos de nodo (versión preliminar pública)	Captura los tipos de nodo disponibles actualmente con su información básica de hardware.	system.compute.node_types	No	N/D	Regional
Almacenes de SQL (versión preliminar pública)	Contiene el historial completo de configuraciones a lo largo del tiempo para cualquier almacenamiento de SQL.	system.compute.warehouses	Sí	365 días	Regional
Eventos de SQL Warehouse (versión preliminar pública)	Captura eventos relacionados con los almacenes de SQL. Por ejemplo, iniciar, detener, ejecutar, escalar y reducir verticalmente.	system.compute.warehouse_events	Sí	365 días	Regional
Trabajos versión preliminar pública	Realiza un seguimiento de todos los trabajos creados en la cuenta.	system.lakeflow.jobs	Sí	365 días	Regional
Tareas de trabajo (versión preliminar pública)	Realiza un seguimiento de todas las tareas de trabajo que se ejecutan en la cuenta.	system.lakeflow.job_tasks	Sí	365 días	Regional
Escala de tiempo de ejecución del trabajo (versión preliminar pública)	Realiza un seguimiento de las horas de inicio y finalización de las ejecuciones del trabajo.	system.lakeflow. job_run_timeline	Sí	365 días	Regional
Escala de tarea de ejecución del trabajo (versión preliminar pública)	Supervisa las horas de inicio y fin y los recursos de proceso usados para la ejecución de las tareas.	system.lakeflow. job_task_run_timeline	Sí	365 días	Regional
Eventos de embudo de Marketplace (versión preliminar pública)	Incluye datos de impresión y embudo de los consumidores para sus listas.	system.marketplace.listing_ funnel_events	Sí	365 días	Regional
Acceso a la descripción de Marketplace (versión preliminar pública)	Incluye información del consumidor para los datos de solicitud completados o los eventos de datos get en tus listados.	system.marketplace.listing_ access_events	Sí	365 días	Regional
Optimización predictiva (versión preliminar pública)	Realiza un seguimiento del historial de operaciones de la característica de optimización predictiva.	system.storage.predictive_ optimization_operations_history	No	180 días	Regional
Eventos del Asistente de Databricks (versión preliminar pública)	Realiza un seguimiento de los mensajes de usuario enviados al Asistente de Databricks.	system.access.assistant_events	No	365 días	Regional
Historial de consultas (versión preliminar pública)	Captura registros de todas las consultas que se ejecutan en almacenes de SQL y proceso sin servidor para cuadernos y trabajos.	system.query.history	No	90 días	Regional
Eventos de sala limpia (versión preliminar pública)	Captura eventos relacionados con las salas limpias.	system.access.clean_room_events	Sí	365 días	Regional
Uso del punto de conexión de servicio de modelos (versión preliminar pública)	Captura los recuentos de tokens para cada solicitud a un punto de conexión de servicio de modelo y sus respuestas. Para capturar el uso del punto de conexión en esta table, debes habilitar el seguimiento de uso en el punto de conexión de servicio.	system.serving.endpoint_usage.	Sí	90 días	Regional
Datos de punto de conexión de servicio de modelos (versión preliminar pública)	Una dimensión de cambio lento table que almacena metadatos para cada modelo fundamental servido en un modelo de puntos de conexión de servicio.	system.serving.served_entities	Sí	365 días	Regional
Eventos de Acceso a la Red (Vista previa pública)	Un elemento table que registra un evento cada vez que se deniega el acceso a Internet desde tu cuenta.	system.access.outbound_network	Sí	365 días	Regional

El uso facturable y el precio tables son de uso gratuito. Tables en versión preliminar pública también es gratuito durante la versión preliminar, pero podrían conllevar un cargo en el futuro.

Nota:

Es posible que consultes otras tables del sistema en tu cuenta además de las mencionadas. Esos tables están actualmente en versión preliminar privada y están vacíos de forma predeterminada. Si te interesa usar cualquiera de estos elementos tables, ponte en contacto con el equipo de cuentas de Databricks.

Habilitación de esquemas table del sistema

Dado que el sistema tables se rige por Unity Catalog, debe tener al menos un área de trabajo habilitada con Unity Catalogen su cuenta para habilitar y acceder al sistema tables. El sistema tables incluye datos de todas las áreas de trabajo en tu cuenta, pero solo se pueden acceder desde un área de trabajo habilitada con Unity Catalog.

tables del sistema está habilitado en el nivel schema. Si habilitas un sistema schema, habilitas todas las tables dentro de ese schema. Cuando se liberan nuevos esquemas, un administrador de la cuenta debe habilitar manualmente el schema.

El sistema tables debe ser habilitado por un administrador de cuentas. Puede habilitar el sistema tables utilizando comandos system-schemas en la CLI de Databricks o utilizando la API SystemSchemas .

Nota:

El billingschema está habilitado de forma predeterminada. Otros esquemas deben habilitarse manualmente.

Esquemas del sistema disponibles de List

Usa el siguiente comando curl para list esquemas del sistema disponibles:

curl -v -X GET -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas"

A continuación se muestra un ejemplo de salida del GET comando:

{"schemas":[{"schema":"access","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"billing","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"information_schema","state":"<AVAILABLE OR EnableCompleted>"}]}

state: AVAILABLE: el sistema schema está disponible, pero aún no se ha habilitado.

state: EnableCompleted: has habilitado schema del sistema y está visible en Catalog Explorer.

Habilitar un sistema schema

Use el siguiente comando curl para habilitar un sistema schema:

curl -v -X PUT -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Si el sistema schema está habilitado con éxito, se devuelve el código de resultado 200.

Si intenta volver a habilitar un sistema schema, se devuelve lo siguiente: "error_code":"SCHEMA_ALREADY_EXISTS","message":"Schema <schema-name> already exists".

Deshabilitar un sistema schema

Use el siguiente comando curl para deshabilitar un sistema schema:

curl -v -X DELETE -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Grant acceso al sistema tables

El acceso al sistema tables se rige por Unity Catalog. De forma predeterminada, ningún usuario tiene acceso a estos esquemas del sistema. Para acceder a grant, un usuario que sea administrador de metastore y de cuenta debe grant los permisos USE y SELECT en los esquemas del sistema. Consulta Administración de privilegios en Unity Catalog.

El sistema tables es de solo lectura y no se puede modificar.

Nota:

Si la cuenta se creó después del 9 de noviembre de 2023, es posible que no tenga un administrador de metastore de forma predeterminada. Para obtener más información, consulta Set y administración de Unity Catalog.

¿El sistema tables contiene datos para todos los espacios de trabajo de tu cuenta?

El sistema tables contiene datos operativos para todas las áreas de trabajo de la cuenta implementadas en la misma región de nube. El sistema de facturación tables contiene datos de toda la cuenta.

Aunque el sistema tables solo se puede acceder a través de un área de trabajo Catalog de Unity, el tables también incluye datos operativos para las áreas de trabajo Catalog que no son de Unity de tu cuenta.

¿Where se almacenan los datos table del sistema?

Los datos del sistema table de tu cuenta se almacenan en una cuenta de almacenamiento alojada en Azure Databricks, ubicada en la misma región que tu metastore. Los datos se comparten de forma segura con usted mediante Delta Sharing.

Cada table tiene un período de retención de datos gratuito. Para obtener información sobre cómo ampliar el período de retención, póngase en contacto con el equipo de la cuenta de Azure Databricks.

¿Where se encuentran las tables del sistema en Catalog Explorer?

Las tables del sistema de tu cuenta se encuentran en un catalog llamado system, que se incluye en todos los metadatos de Unity Catalog. En el systemcatalog verá esquemas como access y billing que contienen el sistema tables.

Consideraciones para el sistema de streaming tables

Azure Databricks usa Delta Sharing para compartir datos del sistema table con los clientes. Tenga en cuenta las siguientes consideraciones al transmitir con Delta Sharing:

• Si utilizas streaming con tables del sistema, set la opción skipChangeCommits en true. Esto garantiza que el trabajo de streaming no se interrumpa debido a eliminaciones en las tables del sistema. Consulte Omisión de actualizaciones y eliminaciones.
• Trigger.AvailableNow no se admite con streaming de Delta Sharing. Se convertirá en Trigger.Once.

Si utilizas un desencadenador en su trabajo de streaming y observas que no se pone al día con la última versión de la table del sistema, Databricks recomienda aumentar la frecuencia programada del trabajo.

Lectura los cambios incrementales de las tables del sistema de streaming

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Problemas conocidos

• Actualmente no se admite la supervisión en tiempo real. Los datos se actualizan a lo largo del día. Si no ves un registro de un evento reciente, vuelve a comprobarlo más tarde.

• El schema de table del sistema __internal_logging se usa para admitir el registro de cargas útiles mediante tables de inferencia habilitada para AI Gateway para modelos externos y cargas de trabajo con rendimiento aprovisionado. Este schema es visible para los administradores de cuentas, pero no se puede habilitar y no debe usarse para los flujos de trabajo del cliente.

• Para habilitar las tablesdel sistema, es posible que tengas que grant acceso de red al punto de conexión de Blob Storage de las tables del sistema. Para ver una list del punto de conexión de almacenamiento de tables del sistema de cada región, consulta Direcciones IP del punto de conexión de almacenamiento.

• Los esquemas del sistema system.operational_data y system.lineage están en desuso y contendrán tables vacías.