Sdílet prostřednictvím

Referenční informace k tabulce systému prediktivní optimalizace

  • Článek

Důležité

Tato systémová tabulka je ve verzi Public Preview. Aby bylo možné získat přístup k tabulce, musí být schéma v system katalogu povolené. Další informace naleznete v tématu Povolení schémat systémových tabulek.

Poznámka:

Pokud chcete mít přístup k této tabulce, musíte povolit storage schéma (viz Povolení schémat systémových tabulek) a vaše oblast musí podporovat prediktivní optimalizaci (viz oblasti Azure Databricks).

Tento článek popisuje schéma tabulky historie operací prediktivní optimalizace a poskytuje ukázkové dotazy. Prediktivní optimalizace optimalizuje rozložení dat pro zajištění špičkového výkonu a efektivity nákladů. Systémová tabulka sleduje historii operací této funkce. Informace o prediktivní optimalizaci najdete v tématu Prediktivní optimalizace spravovaných tabulek v katalogu Unity.

Cesta k tabulce: Tato systémová tabulka se nachází na system.storage.predictive_optimization_operations_historyadrese .

Důležité informace o doručení

  • Naplnění dat může trvat až 24 hodin.
  • Prediktivní optimalizace může na stejném clusteru spouštět více operací. Pokud ano, podíl jednotek DBU přiřazených každému z více operací je přibližný. To je důvod, usage_unit proč je nastavena na ESTIMATED_DBU. Celkový počet jednotek DBU strávených na clusteru bude přesto přesný.

Schéma tabulky prediktivní optimalizace

Systémová tabulka historie operací prediktivní optimalizace používá následující schéma:

Název sloupce Datový typ Popis Příklad
account_id string ID účtu. 11e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id string ID pracovního prostoru, ve kterém byla operace spuštěna prediktivní optimalizace. 1234567890123456
start_time časové razítko Čas, kdy byla operace spuštěna. Informace o časovém pásmu se zaznamenávají na konci hodnoty s reprezentací +00:00 UTC. 2023-01-09 10:00:00.000+00:00
end_time časové razítko Čas ukončení operace. Informace o časovém pásmu se zaznamenávají na konci hodnoty s reprezentací +00:00 UTC. 2023-01-09 11:00:00.000+00:00
metastore_name string Název metastoru, do kterého patří optimalizovaná tabulka. metastore
catalog_name string Název katalogu, do kterého patří optimalizovaná tabulka. catalog
schema_name string Název schématu, do kterého patří optimalizovaná tabulka. schema
table_id string ID optimalizované tabulky. 138ebb4b-3757-41bb-9e18-52b38d3d2836
table_name string Název optimalizované tabulky. table1
operation_type string Operace optimalizace, která byla provedena. Hodnota bude COMPACTION, VACUUM, ANALYZEnebo CLUSTERING. COMPACTION
operation_id string ID operace optimalizace. 4dad1136-6a8f-418f-8234-6855cfaff18f
operation_status string Stav operace optimalizace. Hodnota bude SUCCESSFUL nebo FAILED: INTERNAL_ERROR. SUCCESSFUL
operation_metrics map[řetězec, řetězec] Další podrobnosti o konkrétní optimalizaci, která byla provedena. Viz Metriky operací. {"number_of_output_files":"100","number_of_compacted_files":"1000","amount_of_output_data_bytes":"4000","amount_of_data_compacted_bytes":"10000"}
usage_unit string Jednotka využití, kterou tato operace vznikla. Může to být jen jedna hodnota: ESTIMATED_DBU. ESTIMATED_DBU
usage_quantity decimal Množství jednotky využití, kterou tato operace používala. 2.12

Metriky operací

Metriky zaznamenané ve sloupci operation_metrics se liší v závislosti na typu operace:

  • COMPACTION: number_of_compacted_files, amount_of_data_compacted_bytes, number_of_output_files, amount_of_output_data_bytes
  • VACUUM: number_of_deleted_files, amount_of_data_deleted_bytes
  • ANALYZE: amount_of_scanned_bytes, number_of_scanned_files, staleness_percentage_reduced
  • CLUSTERING: number_of_removed_files, number_of_clustered_files, amount_of_data_removed_bytes, amount_of_clustered_data_bytes

Vzorové dotazy

Následující části obsahují ukázkové dotazy, které můžete použít k získání přehledu o tabulce systému prediktivní optimalizace. Aby tyto dotazy fungovaly, musíte nahradit hodnoty ve složených závorkách {{}} vlastními parametry.

Tento článek obsahuje následující ukázkové dotazy:

Kolik odhadovaných jednotek DBU se v posledních 30 dnech používá prediktivní optimalizace?

SELECT SUM(usage_quantity)
FROM system.storage.predictive_optimization_operations_history
WHERE
     usage_unit = "ESTIMATED_DBU"
     AND  timestampdiff(day, start_time, Now()) < 30

U kterých tabulek byla prediktivní optimalizace vynaložena nejvíce za posledních 30 dnů (odhadované náklady)?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(usage_quantity) as totalDbus
FROM system.storage.predictive_optimization_operations_history
WHERE
    usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30
GROUP BY ALL
ORDER BY totalDbus DESC

U kterých tabulek provádí prediktivní optimalizace většinu operací?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     operation_type,
     COUNT(DISTINCT operation_id) as operations
FROM system.storage.predictive_optimization_operations_history
GROUP BY ALL
ORDER BY operations DESC

Kolik celkových bajtů bylo pro daný katalog zkomprimováno?

SELECT
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_compacted_bytes"]) as bytesCompacted
FROM system.storage.predictive_optimization_operations_history
WHERE
    metastore_name = {{metastore_name}}
    AND catalog_name = {{catalog_name}}
    AND operation_type = "COMPACTION"
GROUP BY ALL
ORDER BY bytesCompacted DESC

Jaké tabulky měly největší bajty vakuové?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_deleted_bytes"]) as bytesVacuumed
FROM system.storage.predictive_optimization_operations_history
WHERE operation_type = "VACUUM"
GROUP BY ALL
ORDER BY bytesVacuumed DESC

Jaká je míra úspěšnosti operací spuštěných prediktivními optimalizacemi?

WITH operation_counts AS (
     SELECT
           COUNT(DISTINCT (CASE WHEN operation_status = "SUCCESSFUL" THEN operation_id END)) as successes,
           COUNT(DISTINCT operation_id) as total_operations
    FROM system.storage.predictive_optimization_operations_history
 )
SELECT successes / total_operations as success_rate
FROM operation_counts