Del via

Forespørgselsacceleration for OneLake-genveje – oversigt (prøveversion)

  • Artikel

OneLake-genveje er referencer fra et Eventhouse, der peger på interne Fabric-kilder eller eksterne kilder. Denne type genvej tilgås senere for forespørgsler i KQL-forespørgselssæt ved hjælp af funktionen external_table(). Forespørgsler, der køres via OneLake-genveje, kan være mindre performante end på data, der indtages direkte til Eventhouses på grund af forskellige faktorer, f.eks. netværkskald for at hente data fra lageret, fraværet af indekser og meget mere.

Forespørgselsacceleration gør det muligt at angive en politik oven på eksterne deltatabeller, der definerer antallet af dage til cachelagring af data for forespørgsler med høj ydeevne.

Forespørgselsacceleration understøttes i Eventhouse via deltatabeller fra OneLake-genveje, Azure Data Lake Store Gen1, Amazon S3, Google Cloud Services, eksterne azure blob storage-tabeller og alle destinationer, der understøttes af OneLake-genveje.

Vigtigt

Denne funktion er en prøveversion.

Bemærk

  • Hvis du har overvejelser om overholdelse af angivne standarder, der kræver, at du gemmer data i et bestemt område, skal du sørge for, at din Eventhouse-kapacitet er i det samme område som dine eksterne tabel- eller genvejsdata.

  • Accelererede eksterne tabeller føjer til lagerforbrugsforbrug og SSD-lagerforbrug dit Eventhouse på samme måde som almindelige tabeller i din KQL-database. Du kan styre mængden af data, der skal cachelagres, ved at definere egenskaben Hot i politikken for forespørgselsacceleration. Indekserings- og indtagelsesaktivitet bidrager også til brugen af beregningsressourcer.

Hvornår skal jeg bruge forespørgselsacceleration til OneLake-genveje?

Forespørgselsacceleration cachelagrer data, når de lander i OneLake, hvilket giver en ydeevne, der kan sammenlignes med indtagelse af data i Eventhouse. Ved hjælp af denne funktion kan du fremskynde datalanding i OneLake, herunder eksisterende data og eventuelle nye opdateringer, og forvente lignende ydeevne. Dette fjerner behovet for at administrere indtagelsespipelines, vedligeholde duplikerede kopier af data, samtidig med at det sikres, at dataene forbliver synkroniserede uden yderligere indsats.

Følgende scenarier er ideelle til at bruge forespørgselsacceleration over OneLake-genveje:

  • Forespørgselsdata i OneLake med høj ydeevne: Når du har eksisterende arbejdsbelastninger, der uploader data og administrerer dem i lageret (eventuelt i et andet cloud- eller område), og du gerne vil forespørge nogle af eller alle dataene med høj ydeevne.
  • Kombiner historiske data med streams i realtid: Når du uden problemer vil kombinere datalanding i OneLake direkte med streams i realtid, der kommer ind i Eventhouse uden at gå på kompromis med forespørgselshastigheder.
  • Udnyt dimensionsdata, der administreres af andre elementer: Ofte hostes data med høj værdi og små mængder på SQL-servere, Cosmos DB, Snowflake eller andre systemer, der kan spejles i OneLake. Accelererede OneLake-genveje kan gøre det nemt at bruge disse data til joinforbindelser og berigelse i eventhouse-forespørgslen. Da dimensionsdata ofte er betydeligt mindre end aktivitetsdata, er de ekstra omkostninger, der er knyttet til dette forbrug, typisk minimale.

Funktionsmåde for accelererede eksterne deltatabeller

De accelererede OneLake-genveje fungerer som eksterne tabeller med de samme begrænsninger og egenskaber. Specifikt understøttes funktioner som materialiserede visnings- og opdateringspolitikker ikke.

Overvåg funktionsmåden for acceleration

Den indledende proces for forespørgselsacceleration afhænger af størrelsen på den eksterne tabel. Hvis du vil overvåge status og indstillinger for en accelereret tabel, skal du bruge kommandoen .show external table query_acceleration statistics i et KQL-forespørgselssæt.

Begrænsninger

  • Antallet af kolonner i den eksterne tabel må ikke overstige 900.
  • Forespørgselsydeevnen over accelererede eksterne deltatabeller, der har partitioner, er muligvis ikke optimal under prøveversionen.
  • Funktionen forudsætter deltatabeller med statiske avancerede funktioner, f.eks. ændres kolonnetilknytning ikke, partitioner ændres ikke osv. Hvis du vil ændre avancerede funktioner, skal du først deaktivere politikken, og når ændringen er foretaget, skal du aktivere politikken igen.
  • Skemaændringer i deltatabellen skal også følges med det respektive .alter eksterne deltatabelskema, hvilket kan resultere i acceleration fra bunden, hvis skemaændringen gik i stykker.
  • Indeksbaseret beskæring understøttes ikke for partitioner.
  • Parquetfiler med en komprimeret størrelse, der er højere end 6 GB, cachelagres ikke.

Fakturering

Accelererede data faktureres under OneLake Premium-cachemåler, der svarer til oprindelige Eventhouse-tabeller. Du kan styre mængden af data, der fremskyndes, ved at konfigurere det antal dage, der skal cachelagres. Indekseringsaktivitet kan også tælle i forhold til CU-forbrug. Du kan få flere oplysninger under Lagerfakturering.

Gebyrer, der er relateret til forespørgselsacceleration, vises i appen Fabric metrics under Eventhouse, hvor den accelererede genvej oprettes.

Relateret indhold