Dela via

Frågeacceleration för OneLake-genvägar – översikt (förhandsversion)

  • Artikel

OneLake-genvägar är referenser från ett Eventhouse som pekar på interna infrastrukturresurser eller externa källor. Den här typen av genväg används senare för frågor i KQL-frågeuppsättningar med hjälp external_table() av funktionen . Frågor som körs via OneLake-genvägar kan vara mindre högpresterande än på data som matas in direkt till Eventhouses på grund av olika faktorer, till exempel nätverksanrop för att hämta data från lagring, avsaknad av index med mera.

Med frågeacceleration kan du ange en princip ovanpå externa deltatabeller som definierar antalet dagar för cachelagring av data för frågor med höga prestanda.

Frågeacceleration stöds i Eventhouse över deltatabeller från OneLake-genvägar, Azure Data Lake Store Gen1, Amazon S3, Google Cloud Services, externa Azure Blob Storage-tabeller och alla mål som stöds av OneLake-genvägar.

Viktigt!

Den här funktionen är i förhandsversion.

Kommentar

  • Om du har efterlevnadsöverväganden som kräver att du lagrar data i en viss region kontrollerar du att din Eventhouse-kapacitet finns i samma region som din externa tabell eller genvägsdata.

  • Accelererade externa tabeller lägger till i lagrings-COGS och till SSD-lagringsförbrukningen din Eventhouse, liknande vanliga tabeller i din KQL-databas. Du kan styra mängden data som ska cachelagrats genom att definiera egenskapen Frekvent i frågans accelerationsprincip. Indexerings- och inmatningsaktivitet bidrar också till användning av beräkningsresurser.

När ska jag använda frågeacceleration för OneLake-genvägar?

Frågeacceleration cachelagrar data när de hamnar i OneLake, vilket ger prestanda som är jämförbara med inmatning av data i Eventhouse. Med den här funktionen kan du påskynda datalandningen i OneLake, inklusive befintliga data och eventuella nya uppdateringar, och förvänta dig liknande prestanda. Detta eliminerar behovet av att hantera inmatningspipelines, underhålla duplicerade kopior av data, samtidigt som data förblir synkroniserade utan ytterligare ansträngning.

Följande scenarier är idealiska för att använda frågeacceleration över OneLake-genvägar:

  • Fråga efter data i OneLake med höga prestanda: När du har befintliga arbetsbelastningar som laddar upp data och hanterar dem i lagring (valfritt i ett annat moln eller en annan region) och du vill köra frågor mot vissa eller alla data med höga prestanda.
  • Kombinera historiska data med realtidsströmmar: När du sömlöst vill kombinera datalandning i OneLake direkt med realtidsströmmar som kommer till Eventhouse utan att kompromissa med frågehastigheter.
  • Utnyttja dimensionsdata som hanteras av andra objekt: Ofta finns data med högt värde och små volymer i SQL-servrar, Cosmos DB, Snowflake eller andra system som kan speglas i OneLake. Accelererade OneLake-genvägar kan göra det enkelt att använda dessa data för kopplingar och berikande i Eventhouse-frågan. Eftersom dimensionsdata ofta är betydligt mindre än aktivitetsdata är den extra kostnaden som är associerad med den användningen vanligtvis minimal.

Beteende för accelererade externa deltatabeller

De accelererade OneLake-genvägarna fungerar som externa tabeller med samma begränsningar och funktioner. Mer specifikt stöds inte funktioner som materialiserad vy och uppdateringsprinciper.

Övervaka accelerationsbeteende

Den inledande processen för frågeacceleration beror på storleken på den externa tabellen. Om du vill övervaka förloppet och inställningarna för en accelererad tabell använder du kommandot .show external table operations query_acceleration statistics i en KQL-frågeuppsättning.

Begränsningar

  • Antalet kolumner i den externa tabellen får inte överstiga 900.
  • Frågeprestanda över accelererade externa deltatabeller som har partitioner kanske inte är optimala under förhandsversionen.
  • Funktionen förutsätter att deltatabeller med statiska avancerade funktioner, till exempel kolumnmappning inte ändras, partitioner ändras inte och så vidare. Om du vill ändra avancerade funktioner inaktiverar du först principen och aktiverar principen igen när ändringen har gjorts.
  • Schemaändringar i deltatabellen måste också följas med respektive .alter externt deltatabellschema, vilket kan leda till acceleration från början om schemaändringen bröts.
  • Indexbaserad beskärning stöds inte för partitioner.
  • Parquet-filer med en komprimerad storlek som är högre än 6 GB cachelagras inte.

Fakturering

Accelererade data debiteras under OneLake Premium-cachemätaren, ungefär som interna Eventhouse-tabeller. Du kan styra mängden data som accelereras genom att konfigurera antalet dagar som ska cachelagrats. Indexeringsaktivitet kan också räknas mot CU-förbrukning. Mer information finns i Lagringsfakturering.

Avgifter relaterade till frågeacceleration visas i appen Infrastrukturmått under Eventhouse där den accelererade genvägen skapas.

Relaterat innehåll