Freigeben über

Prädiktive Optimierung für verwaltete Unity Catalog-Tabellen

  • Artikel

Hinweis

Für alle Konten, die nach dem 11. November 2024 erstellt wurden, aktiviert Databricks standardmäßig eine predictive Optimierung.

Durch die prädiktive Optimierung entfällt die Notwendigkeit, Wartungsvorgänge für verwaltete Unity Catalog-Tabellen in Azure Databricks manuell zu verwalten.

Mit aktivierter Vorhersageoptimierung führt Azure Databricks automatisch die folgenden Aktionen aus:

  • Identifiziert Tabellen, die von Wartungsvorgängen profitieren würden, und stellt diese Vorgänge zur Ausführung in die Warteschlange.
  • Erfasst Statistiken, wenn Daten in eine verwaltete Tabelle geschrieben werden.

Wartungsvorgänge werden nach Bedarf ausgeführt, wodurch sowohl unnötige Wartungsvorgänge als auch die Belastung durch Überwachung und Fehlersuche entfällt.

Wichtig

Die Predictive Optimization wird nur in verwalteten Tabellen des Unity-Katalogs ausgeführt.

Die Predictive Optimization wird nicht für Streamingtabellen oder materialisierte Ansichten ausgeführt, die in Databricks SQL erstellt wurden oder Delta Live Tables-Pipelines verwenden.

Welche Vorgänge werden von der prädiktiven Optimierung ausgeführt?

Die prädiktive Optimierung führt die folgenden Vorgänge automatisch für aktivierte Tabellen aus:

Vorgang Beschreibung
OPTIMIZE(1) Löst das inkrementelle Clustering für aktivierte Tabellen aus. Weitere Informationen finden Sie unter Verwenden von Liquid Clustering für Delta-Tabellen.

Verbessert die Abfrageleistung durch Optimieren der Dateigrößen. Weitere Informationen finden Sie unter Optimieren des Datendateilayouts.
VACUUM Reduziert die Speicherkosten durch Löschen von Datendateien, auf die nicht mehr in der Tabelle verwiesen wird. Weitere Informationen finden Sie unter Entfernen nicht verwendeter Datendateien mit VACUUM.
ANALYZE Löst die inkrementelle Aktualisierung von Statistiken aus, um die Abfrageleistung zu verbessern. Siehe ANALYZE TABLE.

(1)OPTIMIZE wird nicht ausgeführt ZORDER , wenn sie mit predictive optimization ausgeführt wird.

Warnung

Der Aufbewahrungszeitraum für den VACUUM-Befehl wird durch die Tabelleneigenschaft delta.deletedFileRetentionDuration bestimmt, die standardmäßig auf sieben Tage festgelegt ist. Dies bedeutet, dass VACUUM Datendateien entfernt, auf die in den letzten sieben Tagen nicht mehr von einer Deltatabellenversion verwiesen wurde. Wenn Sie Daten länger aufbewahren möchten (z. B. zum Unterstützen der Zeitreise für längere Zeiträume), müssen Sie diese Tabelleneigenschaft wie im folgenden Beispiel gezeigt entsprechend festlegen, bevor Sie die prädiktive Optimierung aktivieren:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '30 days');

Wo werden Vorgänge von der prädiktiven Optimierung ausgeführt?

Durch die predictive Optimierung werden Tabellen identifiziert, die von ANALYZEVorgängen OPTIMIZEund Vorgängen profitieren, VACUUM und warteschlangen, um sie mit serverlosen Berechnungen für Aufträge auszuführen. Ihrem Konto werden mit einer speziellen SKU für verwaltete Azure Databricks-Dienste die Computeressourcen in Rechnung gestellt, die diesen Workloads zugeordnet sind. Details finden Sie in den Preisen für verwaltete Databricks-Dienste. Azure Databricks bietet mit Systemtabellen Einblick in Vorgänge, Kosten und Auswirkungen im Zusammenhang mit der prädiktiven Optimierung. Siehe Verwenden von Systemtabellen zum Nachverfolgen der prädiktiven Optimierung.

Voraussetzungen für die prädiktive Optimierung

Um die prädiktive Optimierung aktivieren zu können, müssen Sie die folgenden Anforderungen erfüllen:

  • Ihr Azure Databricks-Arbeitsbereich muss sich im Premium-Plan in einer Region befinden, die die Vorhersageoptimierung unterstützt. Weitere Informationen finden Sie unter Azure Databricks-Regionen.

  • Sie müssen SQL-Warehouses oder Databricks Runtime 12.2 LTS oder höher verwenden, wenn Sie die Vorhersageoptimierung aktivieren.

  • Es werden nur verwaltete Unity Catalog-Tabellen unterstützt.

  • Wenn Sie eine private Konnektivität für Ihre Speicherkonten benötigen, müssen Sie die serverlose private Konnektivität konfigurieren. Weitere Informationen finden Sie unter Konfigurieren der privaten Konnektivität von serverlosem Compute.

Aktivieren der Vorhersageoptimierung

Sie können eine prädiktive Optimierung für ein Konto, einen Katalog oder ein Schema aktivieren. Alle verwalteten Unity Catalog-Tabellen erben standardmäßig den Kontowert. Sie können die Standardeinstellungen des Kontos für einen Katalog oder ein Schema überschreiben, um die Vorhersageoptimierung auf dieser Ebene zu aktivieren oder zu deaktivieren.

Hinweis

Wenn Ihr Konto nach dem 11. November 2024 erstellt wurde, ist die predictive Optimierung standardmäßig für Ihr Konto aktiviert.

Sie müssen über die folgenden Berechtigungen verfügen, um die prädiktive Optimierung auf der angegebenen Ebene zu aktivieren oder zu deaktivieren:

Unity Catalog-Objekt Berechtigung
Firma Kontoadministrator
Katalog Katalogbesitzer
Schema Schemabesitzer

Hinweis

Wenn Sie die prädiktive Optimierung zum ersten Mal aktivieren, erstellt Azure Databricks automatisch einen Dienstprinzipal in Ihrem Azure Databricks-Konto. Azure Databricks verwendet diesen Dienstprinzipal, um die angeforderten Wartungsvorgänge auszuführen. Siehe Verwalten von Dienstprinzipalen.

Aktivieren oder Deaktivieren der prädiktiven Optimierung für Ihr Konto

Ein Kontoadministrator kann die folgenden Schritte ausführen, um die predictive Optimierung für alle Metastores in einem Konto zu aktivieren. Objekte im Konto erben diese Einstellung standardmäßig (die Einstellung kann jedoch auf Katalog- oder Schemaebene überschrieben werden):

  1. Greifen Sie auf die Kontokonsole zu.
  2. Navigieren zu Einstellungen und dann zu Featureaktivierung.
  3. Wählen Sie die zu verwendende Option (z. B. Aktiviert) neben Prädiktive Optimierungaus.

Hinweis

  • Metastores in Regionen, die die prädiktive Optimierung nicht unterstützen, sind nicht aktiviert.
  • Das Deaktivieren der prädiktiven Optimierung auf Kontoebene deaktiviert sie nicht für Kataloge oder Schemas, die sie speziell aktiviert haben.

Aktivieren oder Deaktivieren der prädiktiven Optimierung für einen Katalog oder ein Schema

Die prädiktive Optimierung verwendet ein Vererbungsmodell. Wenn sie für einen Katalog aktiviert wird, erben Schemas die Eigenschaft. Tabellen innerhalb eines aktivierten Schemas erben die prädiktive Optimierung. Um dieses Vererbungsverhalten außer Kraft zu setzen, können Sie die prädiktive Optimierung für einen Katalog oder ein Schema explizit aktivieren oder deaktivieren.

Hinweis

Sie können die Vorhersageoptimierung auf Katalog- oder Schemaebene deaktivieren, bevor Sie sie auf Kontoebene aktivieren. Wenn die Vorhersageoptimierung später für das Konto aktiviert ist, wird sie für Tabellen in diesen Objekten blockiert.

Verwenden Sie die folgende Syntax, um die prädiktive Optimierung zu aktivieren oder zu deaktivieren, oder um zum Standard zurückzukehren, der vom übergeordneten Objekt geerbt wird:

ALTER CATALOG [catalog_name] { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
ALTER { SCHEMA | DATABASE } schema_name { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;

Überprüfen, ob die prädiktive Optimierung aktiviert ist

Das Feld Predictive Optimization ist eine Unity Catalog-Eigenschaft, die angibt, ob die prädiktive Optimierung aktiviert ist. Wenn die prädiktive Optimierung von einem übergeordneten Objekt geerbt wird, ist dies im Feldwert angegeben.

Verwenden Sie die folgende Syntax, um zu überprüfen, ob die prädiktive Optimierung aktiviert ist:

DESCRIBE (CATALOG | SCHEMA | TABLE) EXTENDED name

Verwenden von Systemtabellen zum Nachverfolgen der prädiktiven Optimierung

Azure Databricks bietet eine Systemtabelle zum Nachverfolgen des Verlaufs von Vorgängen der prädiktiven Optimierung. Siehe Predictive optimization system table reference (Referenz zur Systemtabelle für die prädiktive Optimierung).

Wenn die Systemtabelle Vorgänge mit FAILED: PRIVATE_LINK_SETUP_ERROR als fehlgeschlagen markiert, haben Sie die private Verbindung für serverloses Computing womöglich nicht richtig konfiguriert. Weitere Informationen finden Sie unter Konfigurieren der privaten Konnektivität von serverlosem Compute.

Begrenzungen

Die prädiktive Optimierung ist nicht in allen Regionen verfügbar. Weitere Informationen finden Sie unter Azure Databricks-Regionen.

Die prädiktive Optimierung führt keine OPTIMIZE-Befehle in Tabellen aus, die die Z-Reihenfolge verwenden.

Die Vorhersageoptimierung führt nicht VACUUM Vorgänge in Tabellen mit einem Dateiaufbewahrungsfenster aus, das unter der Standardeinstellung von 7 Tagen konfiguriert ist. Weitere Informationen finden Sie unter Konfigurieren der Datenaufbewahrung für Zeitreiseabfragen.

Die prädiktive Optimierung führt keine Wartungsvorgänge für die folgenden Tabellen durch: