Delen via

Accountactiviteit bewaken met systeem tables

  • Artikel

In dit artikel wordt het concept van systeem tables in Azure Databricks uitgelegd en worden resources gemarkeerd die u kunt gebruiken om het meeste uit uw systeem tables gegevens te get.

Wat is systeem tables?

Systeem tables is een analytische opslag gehost door Azure Databricks van de operationele gegevens van uw account in de systemcatalog. Systeem tables kan worden gebruikt voor historische waarneembaarheid in uw account.

Notitie

Zie Information schemavoor documentatie over system.information_schema.

Vereisten

  • Als u toegang wilt krijgen tot het systeem tables, moet uw werkruimte zijn ingeschakeld voor Unity Catalog. Zie Systeem table schema's inschakelenvoor meer informatie.

  • Systeem tables zijn niet beschikbaar in de volgende regio's:

    • Regio's van Azure China
    • Azure Government-regio's
    • India - west
    • Zwitserland - west

Welke systemen tables zijn beschikbaar?

Momenteel host Azure Databricks het volgende systeem tables:

Table Beschrijving Locatie Ondersteunt streaming Gratis bewaarperiode Bevat globale of regionale gegevens
Auditlogboeken (openbare preview) Bevat records voor alle controlegebeurtenissen uit werkruimten in uw regio. Voor een list van beschikbare controlegebeurtenissen, zie naslaginformatie over diagnostisch logboek. system.access.audit Ja 365 dagen Regionaal voor gebeurtenissen op werkruimteniveau. Globaal voor gebeurtenissen op accountniveau.
Table herkomst (openbare preview) Bevat een record voor elke lees- of schrijfbeurt op een Unity-Catalogtable of -pad. system.access.table_lineage Ja 365 dagen Regionaal
Column herkomst (openbare preview) Bevat een record voor elke lees- of schrijfbeurtenis op een Unity-Catalogcolumn (maar bevat geen gebeurtenissen die geen bron hebben). system.access.column_lineage Ja 365 dagen Regionaal
Factureerbaar gebruik Bevat records voor alle factureerbare gebruik in uw account. system.billing.usage Ja 365 dagen Globaal
Prijzen Een historisch logboek met SKU-prijzen. Er wordt elke keer een record toegevoegd wanneer er een wijziging is in een SKU-prijs. system.billing.list_prices Nee Onbeperkt Globaal
Clusters (openbare preview) Een langzaam veranderende dimensie table die de volledige geschiedenis van rekenconfiguraties in de loop van de tijd voor elk cluster bevat. system.compute.clusters Ja N.v.t. Regionaal
Tijdlijn van knooppunt (openbare preview) Hiermee worden de metrische gegevens over het gebruik van uw rekenresources voor alle doeleinden en taken vastgelegd. system.compute.node_timeline Ja 30 dagen Regionaal
Knooppunttypen (openbare preview) Legt de momenteel beschikbare knooppunttypen vast met de basishardwaregegevens. system.compute.node_types Nee N.v.t. Regionaal
SQL-warehouses (openbare preview) Bevat de volledige geschiedenis van configuraties in de loop van de tijd voor elk SQL-warehouse. system.compute.warehouses Ja 365 dagen Regionaal
SQL Warehouse-gebeurtenissen (openbare preview) Legt gebeurtenissen vast die betrekking hebben op SQL-warehouses. Bijvoorbeeld: starten, stoppen, uitvoeren, omhoog en omlaag schalen. system.compute.warehouse_events Ja 365 dagen Regionaal
Taken (openbare preview) Houdt alle taken bij die in het account zijn gemaakt. system.lakeflow.jobs Ja 365 dagen Regionaal
Taaktaken (openbare preview) Houdt alle taaktaken bij die worden uitgevoerd in het account. system.lakeflow.job_tasks Ja 365 dagen Regionaal
Tijdlijn voor taakuitvoering (openbare preview) Houdt de begin- en eindtijden van taakuitvoeringen bij. system.lakeflow.

job_run_timeline		 Ja 365 dagen Regionaal
Tijdlijn taaktaak (openbare preview) Houdt de begin- en eindtijden bij en rekenresources die worden gebruikt voor taakuitvoeringen. system.lakeflow.

job_task_run_timeline		 Ja 365 dagen Regionaal
Marketplace-trechtergebeurtenissen (openbare preview) Bevat consumentenindrukken en trechtergegevens voor uw vermeldingen. system.marketplace.listing_

funnel_events		 Ja 365 dagen Regionaal
Toegang tot Marketplace-vermeldingen (openbare preview) Bevat consumenteninformatie voor voltooide aanvraaggegevens of get gegevens gebeurtenis in uw vermeldingen. system.marketplace.listing_

access_events		 Ja 365 dagen Regionaal
Voorspellende optimalisatie (openbare preview) Houdt de bewerkingsgeschiedenis van de functie voorspellende optimalisatie bij. system.storage.predictive_

optimization_operations_history		 Nee 180 dagen Regionaal
Databricks Assistant-gebeurtenissen (openbare preview) Houdt gebruikersberichten bij die naar de Databricks Assistant worden verzonden. system.access.assistant_events Nee 365 dagen Regionaal
Querygeschiedenis (openbare preview) Registreert records voor alle query's die worden uitgevoerd op SQL-warehouses en serverloze berekeningen voor notebooks en taken. system.query.history Nee 90 dagen Regionaal
Clean room events (openbare preview) Legt gebeurtenissen vast die betrekking hebben op schone ruimten. system.access.clean_room_events Ja 365 dagen Regionaal
Model voor eindpuntgebruik (openbare preview) Hiermee worden tokenaantallen vastgelegd voor elke aanvraag naar een model dat eindpunt en de bijbehorende antwoorden verwerkt. Om het eindpuntgebruik in deze tablevast te leggen, moet u het bijhouden van gebruik op uw service-eindpuntinschakelen. system.serving.endpoint_usage. Ja 90 dagen Regionaal
Model voor eindpuntgegevens (openbare preview) Een langzaam veranderende dimensie table waarin metagegevens worden opgeslagen voor elk geleverd basismodel in een model dat het eindpunt bedient. system.serving.served_entities Ja 365 dagen Regionaal
gebeurtenissen voor netwerktoegang (openbare preview) Een table die een gebeurtenis registreert voor elke keer dat internettoegang wordt geweigerd vanuit uw account. system.access.outbound_network Ja 365 dagen Regionaal

Het factureerbare gebruik en de prijzen tables zijn gratis te gebruiken. Tables in de openbare preview kunt u ook gratis gebruiken tijdens de preview, maar er kunnen mogelijk in de toekomst kosten in rekening worden gebracht.

Notitie

Mogelijk kunt u andere systemen met tables in uw account zien, naast de hierboven genoemde systemen. Deze tables zijn momenteel beschikbaar als privévoorbeeld en zijn standaard leeg. Als u geïnteresseerd bent in het gebruik van een van deze tables, neemt u contact op met uw Databricks-accountteam.

systeemschema's table inschakelen

Omdat systeem-tables worden beheerd door Unity Catalog, moet u ten minste één Unity Catalog-werkruimte in uw account hebben om systeem-tablesin te schakelen en te openen. Systeem tables bevat gegevens uit alle werkruimtes in uw account, maar ze kunnen alleen worden geopend vanuit een werkruimte met Unity Catalogondersteuning.

Systeem tables is ingeschakeld op het schema niveau. Als u een systeem schemainschakelt, schakelt u alle tables binnen die schemain. Wanneer er nieuwe schema's worden vrijgegeven, moet een accountbeheerder de schemahandmatig inschakelen.

Systeem tables moet worden ingeschakeld door een accountbeheerder. U kunt systeem-tables inschakelen met behulp van system-schemas opdrachten in de Databricks CLI- of met behulp van de SystemSchemas-API-.

Notitie

De billingschema is standaard ingeschakeld. Andere schema's moeten handmatig worden ingeschakeld.

List beschikbare systeemschema's

Gebruik de volgende curl-opdracht om beschikbare systeemschema's te list:

curl -v -X GET -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas"

Hier volgt een voorbeeld van de uitvoer van de GET opdracht:

{"schemas":[{"schema":"access","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"billing","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"information_schema","state":"<AVAILABLE OR EnableCompleted>"}]}

state: AVAILABLE: het systeem schema is beschikbaar, maar is nog niet ingeschakeld.

state: EnableCompleted: u hebt het systeem schema ingeschakeld en is zichtbaar in Catalog Explorer.

Een systeem schema inschakelen

Gebruik de volgende curl-opdracht om een systeem schemain te schakelen:

curl -v -X PUT -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Als het systeem schema met succes is ingeschakeld, wordt resultaatcode 200 geretourneerd.

Als u probeert een systeem schemaopnieuw in te schakelen, wordt het volgende geretourneerd: "error_code":"SCHEMA_ALREADY_EXISTS","message":"Schema <schema-name> already exists".

Een systeem schema uitschakelen

Gebruik de volgende curl-opdracht om een systeem schemauit te schakelen:

curl -v -X DELETE -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Grant toegang tot systeem tables

Toegang tot systeem tables wordt beheerd door Unity Catalog. Gebruikers hebben standaard geen toegang tot deze systeemschema's. Voor grant toegang moet een gebruiker, die zowel metastore-beheerder als accountbeheerder is, grantUSE en SELECT machtigingen hebben voor de systeemschema's. Zie Bevoegdheden beheren in Unity Catalog.

Systeem tables is alleen-lezen en kan niet worden gewijzigd.

Notitie

Als uw account is gemaakt na 9 november 2023, hebt u mogelijk geen metastore-beheerder standaard. Voor meer informatie, zie Set en beheer Unity Catalog.

Bevat het systeem tables gegevens voor alle werkruimten in uw account?

Systeem tables operationele gegevens bevatten voor alle werkruimten in uw account die in dezelfde cloudregio zijn geïmplementeerd. Het factureringssysteem tables bevat accountbrede gegevens.

Hoewel systeem-tables alleen toegankelijk zijn via een Unity Catalog-werkruimte, bevatten de tables ook operationele gegevens voor de niet-Unity Catalog werkruimten in uw account.

Waar worden de systeemgegevens table opgeslagen Where?

De table gegevens van uw account wordt opgeslagen in een opslagaccount gehost door Azure Databricks in dezelfde regio als uw metastore. De gegevens worden veilig met u gedeeld met behulp van Delta Sharing.

Elke table heeft een gratis gegevensretentieperiode. Neem contact op met uw Azure Databricks-accountteam voor informatie over het verlengen van de bewaarperiode.

Where bevinden systeem-tables zich in Catalog Explorer?

Het systeem tables in uw account bevindt zich in een catalog genaamd system, dat is opgenomen in elke Unity Catalog metastore. In de systemcatalog ziet u schema's zoals access en billing die het systeem tablesbevatten.

Overwegingen voor streamingsysteem tables

Azure Databricks maakt gebruik van Delta Sharing om systeemgegevens te delen table met klanten. Houd rekening met de volgende overwegingen bij het streamen met Delta Sharing:

  • Als u streaming gebruikt met systeem tables, set, is de optie skipChangeCommits beschikbaar om te true. Dit zorgt ervoor dat de streamingtaak niet wordt onderbroken door verwijderingen in het systeem tables. Zie Updates en verwijderingen negeren.
  • Trigger.AvailableNow wordt niet ondersteund met Delta Sharing-streaming. Het wordt geconverteerd naar Trigger.Once.

Als u een trigger in uw streamingtaak gebruikt en merkt dat deze niet bij de meest recente table versie van het systeem komt, raadt Databricks aan om de geplande frequentie van de taak te verhogen.

Incrementele wijzigingen lezen van het streamingsysteem tables

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Bekende problemen

  • Momenteel is er geen ondersteuning voor realtime bewaking. Gegevens worden de hele dag bijgewerkt. Als u geen logboek ziet voor een recente gebeurtenis, controleert u het later opnieuw.

  • Het __internal_logging systeem tableschema wordt gebruikt om payload-logboekregistratie te ondersteunen met behulp van AI Gateway-geschikte inferentie tables voor externe modellen en workloads voorzien van doorvoercapaciteit. Deze schema is zichtbaar voor accountbeheerders, maar kan niet worden ingeschakeld en mag niet worden gebruikt voor klantwerkstromen.

  • Om systeem tablesin te schakelen, moet u mogelijk netwerktoegang grant tot het blobopslageindpunt van het systeem tables verkrijgen. Om een list van elk regio's systeem tablesopslageindpunt te bekijken, raadpleegt u IP-adressen van opslageindpunten.

  • De systeemschema's system.operational_data en system.lineage zijn afgeschaft en bevatten lege tables.