Delen via

Naslaginformatie over systeemtabellen voor voorspellende optimalisatie

  • Artikel

Belangrijk

Deze systeemtabel bevindt zich in openbare preview. Voor toegang tot de tabel moet het schema zijn ingeschakeld in uw system catalogus. Zie Systeemtabelschema's inschakelenvoor meer informatie.

Notitie

Als u toegang wilt hebben tot deze tabel, moet u het storage schema inschakelen (zie Systeemtabelschema's inschakelen) en moet uw regio voorspellende optimalisatie ondersteunen (zie Azure Databricks-regio's).

In dit artikel vindt u een overzicht van het schema van de tabel voor de bewerkingsgeschiedenis van voorspellende optimalisatie en vindt u voorbeeldquery's. Voorspellende optimalisatie optimaliseert uw gegevensindeling voor piekprestaties en kostenefficiëntie. De systeemtabel houdt de bewerkingsgeschiedenis van deze functie bij. Zie Predictive Optimization voor beheerde tabellen van Unity Catalogvoor meer informatie over voorspellende optimalisatie.

tabelpad: deze systeemtabel bevindt zich op system.storage.predictive_optimization_operations_history.

Overwegingen voor levering

  • Het kan tot 24 uur duren voordat gegevens zijn ingevuld.
  • Voorspellende optimalisatie kan meerdere bewerkingen uitvoeren op hetzelfde cluster. Als dit het gevolg is, wordt het aandeel van DBA's die aan elk van de meerdere bewerkingen zijn toegewezen, geschat. Daarom is de usage_unit ingesteld op ESTIMATED_DBU. Toch is het totale aantal DTU's dat aan het cluster is besteed, nauwkeurig.

Schema voor voorspellende optimalisatietabellen

De systeemtabel voor de bewerkingsgeschiedenis van voorspellende optimalisatie maakt gebruik van het volgende schema:

Kolomnaam Gegevenstype Beschrijving Voorbeeld
account_id tekenreeks Id van het account. 11e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id tekenreeks De id van de werkruimte waarin voorspellende optimalisatie de bewerking heeft uitgevoerd. 1234567890123456
start_time timestamp Het tijdstip waarop de bewerking is gestart. Tijdzone-informatie wordt vastgelegd aan het einde van de waarde, waarbij +00:00 UTC vertegenwoordigt. 2023-01-09 10:00:00.000+00:00
end_time timestamp Het tijdstip waarop de bewerking is beëindigd. Tijdzone-informatie wordt vastgelegd aan het einde van de waarde, waarbij +00:00 UTC vertegenwoordigt. 2023-01-09 11:00:00.000+00:00
metastore_name tekenreeks De naam van de metastore waartoe de geoptimaliseerde tabel behoort. metastore
metastore_id tekenreeks De id van de metastore waartoe de geoptimaliseerde tabel behoort. 5a31ba44-bbf4-4174-bf33-e1fa078e6765
catalog_name tekenreeks De naam van de catalogus waartoe de geoptimaliseerde tabel behoort. catalog
schema_name tekenreeks De naam van het schema waartoe de geoptimaliseerde tabel behoort. schema
table_id tekenreeks De id van de geoptimaliseerde tabel. 138ebb4b-3757-41bb-9e18-52b38d3d2836
table_name tekenreeks De naam van de geoptimaliseerde tabel. table1
operation_type tekenreeks De optimalisatiebewerking die is uitgevoerd. De waarde wordt COMPACTION, VACUUM, ANALYZEof CLUSTERING. COMPACTION
operation_id tekenreeks De id voor de optimalisatiebewerking. 4dad1136-6a8f-418f-8234-6855cfaff18f
operation_status tekenreeks De status van de optimalisatiebewerking. De waarde is SUCCESSFUL of FAILED: INTERNAL_ERROR. SUCCESSFUL
operation_metrics map[tekenreeks, tekenreeks] Aanvullende informatie over de specifieke optimalisatie die is uitgevoerd. Zie metrische gegevens over bewerkingen. {"number_of_output_files":"100","number_of_compacted_files":"1000","amount_of_output_data_bytes":"4000","amount_of_data_compacted_bytes":"10000"}
usage_unit tekenreeks De gebruikseenheid die deze bewerking heeft gemaakt. Kan slechts één waarde zijn: ESTIMATED_DBU. ESTIMATED_DBU
usage_quantity decimal De hoeveelheid gebruikseenheid die door deze bewerking is gebruikt. 2.12

Metrische gegevens over bewerkingen

De metrische gegevens die in de kolom operation_metrics zijn vastgelegd, variëren afhankelijk van het bewerkingstype:

  • COMPACTION: number_of_compacted_files, amount_of_data_compacted_bytes, , , number_of_output_filesamount_of_output_data_bytes
  • VACUUM: , number_of_deleted_filesamount_of_data_deleted_bytes
  • ANALYZE: amount_of_scanned_bytes, number_of_scanned_files, staleness_percentage_reduced
  • CLUSTERING: number_of_removed_files, number_of_clustered_files, , , amount_of_data_removed_bytesamount_of_clustered_data_bytes

Voorbeeldquery's

De volgende secties bevatten voorbeeldquery's die u kunt gebruiken om inzicht te krijgen in de tabel van het voorspellend optimalisatiesysteem. Voordat deze query's werken, moet u de parameterwaarden vervangen door uw eigen waarden.

Dit artikel bevat de volgende voorbeeldquery's:

Hoeveel geschatte DBU's hebben voorspellende optimalisatie gebruikt in de afgelopen 30 dagen?

SELECT SUM(usage_quantity)
FROM system.storage.predictive_optimization_operations_history
WHERE
     usage_unit = "ESTIMATED_DBU"
     AND  timestampdiff(day, start_time, Now()) < 30

Op welke tabellen is voorspellende optimalisatie de afgelopen 30 dagen (geschatte kosten) het meest besteed?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(usage_quantity) as totalDbus
FROM system.storage.predictive_optimization_operations_history
WHERE
    usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30
GROUP BY ALL
ORDER BY totalDbus DESC

Op welke tabellen worden de meeste bewerkingen uitgevoerd door voorspellende optimalisatie?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     operation_type,
     COUNT(DISTINCT operation_id) as operations
FROM system.storage.predictive_optimization_operations_history
GROUP BY ALL
ORDER BY operations DESC

Voor een bepaalde catalogus hoeveel totaal aantal bytes zijn gecomprimeerd?

SELECT
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_compacted_bytes"]) as bytesCompacted
FROM system.storage.predictive_optimization_operations_history
WHERE
    metastore_name = :metastore_name
    AND catalog_name = :catalog_name
    AND operation_type = "COMPACTION"
GROUP BY ALL
ORDER BY bytesCompacted DESC

Welke tabellen hadden de meeste bytes leeggezogen?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_deleted_bytes"]) as bytesVacuumed
FROM system.storage.predictive_optimization_operations_history
WHERE operation_type = "VACUUM"
GROUP BY ALL
ORDER BY bytesVacuumed DESC

Wat is het slagingspercentage voor bewerkingen die worden uitgevoerd door voorspellende optimalisaties?

WITH operation_counts AS (
     SELECT
           COUNT(DISTINCT (CASE WHEN operation_status = "SUCCESSFUL" THEN operation_id END)) as successes,
           COUNT(DISTINCT operation_id) as total_operations
    FROM system.storage.predictive_optimization_operations_history
 )
SELECT successes / total_operations as success_rate
FROM operation_counts