Sdílet prostřednictvím

Dotazování studených dat pomocí horkých oken

  • Článek

Horká okna umožňují efektivně dotazovat studená data bez nutnosti exportovat data nebo používat jiné nástroje. Horká okna používejte, když je studená velikost dat velká a relevantní data jsou kdykoli v minulosti. Horká okna jsou definována v zásadách mezipaměti.

Azure Data Explorer ukládá svá data do spolehlivého dlouhodobého úložiště a ukládá část těchto dat do mezipaměti na uzlech clusteru. Zásady mezipaměti určují, která data se ukládají do mezipaměti. Data uložená v mezipaměti se považují za horká, zatímco ostatní data se považují za studená.

Pokud chcete zadávat dotazy na studená data, Azure Data Explorer zpracovává krok načítání, který vyžaduje přístup k úrovni úložiště s mnohem vyšší latencí než místní disk. Pokud je dotaz omezený na malý časový interval, který se často označuje jako "dotazy k určitému bodu v čase", množství dat, která se mají načíst, bude obvykle malé a dotaz se rychle dokončí. Například forenzní analýzy dotazující se na telemetrii v daný den v minulosti spadají do této kategorie. Dopad na dobu trvání dotazu závisí na velikosti dat, která se načtou z úložiště, a může být významná. Pokud prohledáváte velké množství studených dat, může výkon dotazů těžit z používání horkých oken.

V tomto dokumentu se dozvíte, jak pomocí horkých oken dotazovat studená data.

Požadavky

Konfigurace automatického škálování v clusteru

Po změně zásad mezipaměti cluster automaticky ukládá příslušná data do mezipaměti na svých discích. Cluster budete muset škálovat tak, aby vyhovoval disku navíc potřebnému pro novou definici mezipaměti. Doporučujeme nakonfigurovat cluster tak, aby používal nastavení optimalizace automatického škálování .

  1. Na webu Azure Portal přejděte k prostředku clusteru Azure Data Exploreru. V části Nastavení vyberte Horizontální navýšení kapacity.

  2. V okně Horizontální navýšení kapacity vyberte Optimalizované automatické škálování.

  3. Vyberte minimální počet instancí a maximální počet instancí. Rozsahy automatického škálování clusteru mezi těmito dvěma čísly na základě zatížení.

  4. Zvolte Uložit.

    Optimalizovaná metoda automatického škálování

Teď můžete očekávat optimální výkon při používání horkých oken.

Nastavení horkých oken

Horká okna jsou součástí syntaxe příkazů zásad mezipaměti a jsou nastavena pomocí .alter policy caching příkazu.

Poznámka:

Úplné aktualizace mezipaměti disku clusteru na základě aktualizované definice zásad mezipaměti může trvat až hodinu.

  1. Pomocí příkazu si poznamenejte počáteční zásady .show policy caching ukládání do mezipaměti.

    .show table MyDatabase.MyTable policy caching

  2. Pomocí následující syntaxe upravte zásady mezipaměti. Pro jednu databázi nebo tabulku může být definováno několik horkých oken.

    .alter <entity_type> <database_or_table_or_materialized-view_name> policy caching 
      hot = <timespan> 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      ...

    Kde:

    • from: Počáteční čas horkého okna (datetime)
    • to: Koncový čas horkého okna (datetime)

    Například dotazy spuštěné v následujících nastaveních prověří data za posledních 14 dnů na datech, která se uchovávají po dobu tří let.

    .alter table MyTable policy caching 
        hot = 14d,
        hot_window = datetime(2021-01-01) .. datetime(2021-02-01),
        hot_window = datetime(2021-04-01) .. datetime(2021-05-01)

Spustit dotaz

Spusťte dotaz nebo dotazy, které chcete v časovém období zadaném v horkých oknech.

Zpětná nastavení

  1. Použijte původní nastavení mezipaměti načtené výše v nastavení horkých oken.
  2. Pomocí příkazu vraťte zásadu mezipaměti k původnímu .alter policy caching nastavení.

Vzhledem k tomu, že jste pro tento cluster nakonfigurovali optimalizované automatické škálování, cluster se zmenší na původní velikost.

Související obsah