Freigeben über

Abfragebeschleunigung für OneLake-Verknüpfungen – Übersicht (Vorschau)

  • Artikel

OneLake-Verknüpfungen sind Verweise aus einem Eventhouse, das auf interne Fabric- oder externe Quellen verweist. Auf diese Art von Verknüpfung wird später in KQL-Abfragesets mithilfe der external_table()-Funktion zugegriffen. Abfragen, die über OneLake-Verknüpfungen ausgeführt werden, können weniger leistungsfähig sein als bei Daten, die direkt von Eventhouses erfasst werden, aufgrund verschiedener Faktoren wie Netzwerkaufrufe zum Fetchen von Daten aus dem Speicher, fehlen Indizes und mehr.

Die Abfragebeschleunigung ermöglicht das Angeben einer Richtlinie über externen Deltatabellen, die die Anzahl von Tagen zum Zwischenspeichern von Daten für Hochleistungsabfragen definiert.

Die Abfragebeschleunigung wird in Eventhouse über Delta-Tabellen aus OneLake-Verknüpfungen, Azure Data Lake Store Gen1, Amazon S3, Google Cloud Services, externe Azure Blob Storage-Tabellen und alle Ziele, die von OneLake-Verknüpfungen unterstützt werden, unterstützt.

Wichtig

Dieses Feature befindet sich in Vorschau.

Hinweis

  • Wenn Sie aus Compliance-Gründen Daten in einer bestimmten Region speichern müssen, stellen Sie sicher, dass sich Ihre Eventhouse-Kapazität in derselben Region befindet wie Ihre externen Tabellen- oder Verknüpfungsdaten.

  • Beschleunigte externe Tabellen erhöhen den Speicher-COGS und SSD-Speicherverbrauch Ihres Eventhouse, ähnlich wie normale Tabellen in Ihrer KQL-Datenbank. Sie können die zwischengespeicherte Datenmenge steuern, indem Sie die Eigenschaft Hot in der Abfragebeschleunigungsrichtlinie definieren. Die Indizierungs- und Erfassungsaktivität trägt auch zur Ressourcennutzung bei.

Wann sollte ich die Abfragebeschleunigung für OneLake-Verknüpfungen verwenden?

Bei der Abfragebeschleunigung werden Daten zwischengespeichert, da sie in OneLake landen, wodurch die Leistung mit dem Erfassen von Daten in Eventhouse vergleichbar ist. Durch die Verwendung dieses Features können Sie die Datenlandung in OneLake beschleunigen, einschließlich vorhandener Daten und neuer Updates, und eine ähnliche Leistung erwarten. Dadurch entfällt die Notwendigkeit, Aufnahmepipelines zu verwalten, doppelte Kopien von Daten beizubehalten und gleichzeitig sicherzustellen, dass Daten ohne zusätzlichen Aufwand synchronisiert bleiben.

Die folgenden Szenarien eignen sich ideal für die Verwendung der Abfragebeschleunigung über OneLake-Verknüpfungen:

  • Abfragen von Daten in OneLake mit hoher Leistung: Wenn Sie über vorhandene Workloads verfügen, die Daten hochladen und im Speicher verwalten (optional in einer anderen Cloud oder Region), und Sie möchten einige oder alle Daten mit hoher Leistung abfragen.
  • Kombinieren von historischen Daten mit Echtzeitdatenströmen: Wenn Sie die Datenlandung in OneLake nahtlos mit Echtzeitdatenströmen kombinieren möchten, die in Eventhouse eingehen, ohne die Abfragegeschwindigkeiten zu beeinträchtigen.
  • Nutzen von Dimensionsdaten, die von anderen Elementen verwaltet werden: Häufig werden hochwertige und kleine Volumendaten in SQL-Servern, Cosmos DB, Snowflake oder anderen Systemen gehostet, die in OneLake gespiegelt werden können. Beschleunigte OneLake-Verknüpfungen können diese Daten für Verknüpfungen und Anreicherungen in der Eventhouse-Abfrage leicht konsumierbar machen. Da Dimensionsdaten häufig wesentlich kleiner sind als Aktivitätsdaten, sind die zusätzlichen Kosten, die diesem Verbrauch zugeordnet sind, in der Regel minimal.

Verhalten von beschleunigten externen Delta-Tabellen

Die beschleunigten OneLake-Verknüpfungen verhalten sich wie externen Tabellen mit den gleichen Einschränkungen und Funktionen. Insbesondere werden Features wie materialisierte Ansichts- und Aktualisierungsrichtlinien nicht unterstützt.

Überwachen des Beschleunigungsverhaltens

Der anfängliche Prozess der Abfragebeschleunigung hängt von der Größe der externen Tabelle ab. Um den Fortschritt und die Einstellungen einer beschleunigten Tabelle zu überwachen, verwenden Sie den Befehl .show external table operations query_acceleration statistics in einem KQL-Abfrageset.

Begrenzungen

  • Die Anzahl der Spalten in der externen Tabelle darf 900 nicht überschreiten.
  • Die Abfrageleistung über beschleunigte externe Delta-Tabellen mit Partitionen ist während der Vorschau möglicherweise nicht optimal.
  • Das Feature setzt Delta-Tabellen mit statischen erweiterten Features voraus, z. B. ändert sich die Spaltenzuordnung nicht, Partitionen ändern sich nicht usw. Um erweiterte Features zu ändern, deaktivieren Sie zuerst die Richtlinie. Sobald die Änderung vorgenommen wurde, aktivieren Sie die Richtlinie erneut.
  • Schemaänderungen in der Delta-Tabelle müssen auch mit dem jeweiligen .alter externen Delta-Tabellenschemas befolgt werden, was dazu führen kann, dass die Beschleunigung bei einer Schemaänderung von Grund auf neu beginnt.
  • Indexbasiertes Pruning wird für Partitionen nicht unterstützt.
  • Parquet-Dateien mit einer komprimierten Größe von mehr als 6 GB werden nicht zwischengespeichert.

Abrechnung

Beschleunigte Daten werden unter dem OneLake Premium-Cachezähler in Rechnung gestellt, ähnlich wie native Eventhouse-Tabellen. Sie können die Datenmenge steuern, die beschleunigt wird, indem Sie die Anzahl von Tagen für den Cache konfigurieren. Die Indizierungsaktivität kann auch auf den CU-Verbrauch angerechnet werden. Weitere Informationen finden Sie unter Speicherabrechnung.

Gebühren im Zusammenhang mit der Abfragebeschleunigung werden in der Fabric Metrik-App unter dem Eventhouse angezeigt, in dem die beschleunigte Verknüpfung erstellt wird.

Zugehöriger Inhalt