Delen via

Query's uitvoeren op koude gegevens met dynamische vensters

  • Artikel

Met dynamische vensters kunt u efficiënt query's uitvoeren op koude gegevens zonder dat u gegevens hoeft te exporteren of andere hulpprogramma's hoeft te gebruiken. Gebruik dynamische vensters wanneer de koude gegevensgrootte groot is en de relevante gegevens afkomstig zijn van een bepaald tijdstip in het verleden. Dynamische vensters worden gedefinieerd in het cachebeleid.

Azure Data Explorer slaat de gegevens op in betrouwbare langetermijnopslag en slaat een deel van deze gegevens in de cache op de clusterknooppunten. Het cachebeleid bepaalt welke gegevens in de cache worden opgeslagen. De gegevens in de cache worden beschouwd als dynamisch, terwijl de rest van de gegevens worden beschouwd als koud.

Als u query's wilt uitvoeren op koude gegevens, Data Explorer Azure een laadstap verwerken waarvoor toegang moet worden verleend tot een opslaglaag met veel hogere latentie dan de lokale schijf. Wanneer de query beperkt is tot een klein tijdvenster, ook wel 'point-in-time'-query's genoemd, is de hoeveelheid gegevens die moet worden opgehaald meestal klein en wordt de query snel voltooid. Forensische analyses die bijvoorbeeld telemetriegegevens op een bepaalde dag in het verleden opvragen, vallen onder deze categorie. De impact op de queryduur is afhankelijk van de grootte van gegevens die uit de opslag worden opgehaald en kan aanzienlijk zijn. Als u een grote hoeveelheid koude gegevens scant, kunnen queryprestaties profiteren van het gebruik van dynamische vensters.

In dit document wordt beschreven hoe u dynamische vensters gebruikt om query's uit te voeren op koude gegevens.

Vereisten

Automatische schaalaanpassing configureren op cluster

Nadat het cachebeleid is gewijzigd, worden de relevante gegevens automatisch in de cache opgeslagen op de schijven. U moet het cluster schalen voor de extra schijf die nodig is voor de nieuwe cachedefinitie. U wordt aangeraden het cluster te configureren voor het gebruik van de instellingen voor automatisch schalen optimaliseren .

  1. Ga in de Azure Portal naar uw Azure Data Explorer-clusterresource. Selecteer onder Instellingende optie Uitschalen.

  2. Selecteer in het venster Uitschalende optie Geoptimaliseerde automatische schaalaanpassing.

  3. Selecteer een minimumaantal exemplaren en een maximumaantal exemplaren. De automatische schaalaanpassing van het cluster varieert tussen deze twee getallen, op basis van de belasting.

  4. Selecteer Opslaan.

    Geoptimaliseerde methode voor automatisch schalen.

Nu kunt u optimale prestaties verwachten tijdens het gebruik van dynamische ramen.

Warme vensters instellen

Dynamische vensters maken deel uit van de syntaxis van de cachebeleidsopdrachten en worden ingesteld met de .alter policy caching opdracht .

Notitie

Het kan tot een uur duren voordat de clusterschijfcache volledig is bijgewerkt op basis van de bijgewerkte cachebeleidsdefinitie.

  1. Noteer het initiële cachebeleid met behulp van de .show policy caching opdracht .

    .show table MyDatabase.MyTable policy caching

  2. Wijzig het cachebeleid met behulp van de volgende syntaxis. Er kunnen verschillende dynamische vensters worden gedefinieerd voor één database of tabel.

    .alter <entity_type> <database_or_table_or_materialized-view_name> policy caching 
      hot = <timespan> 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      ...

    Waar:

    • from: Begintijd van het dynamische venster (datum/tijd)
    • to: Eindtijd van het dynamische venster (datum/tijd)

    Query's die worden uitgevoerd onder de volgende instellingen, onderzoeken bijvoorbeeld de laatste 14 dagen aan gegevens, op gegevens die drie jaar worden bewaard.

    .alter table MyTable policy caching 
        hot = 14d,
        hot_window = datetime(2021-01-01) .. datetime(2021-02-01),
        hot_window = datetime(2021-04-01) .. datetime(2021-05-01)

Query uitvoeren

Voer de gewenste query of query's uit gedurende de periode die is opgegeven in de dynamische vensters.

Instellingen herstellen

  1. Gebruik de oorspronkelijke cache-instellingen die hierboven zijn opgehaald in Dynamische vensters instellen.
  2. Herstel het cachebeleid naar de oorspronkelijke instellingen met de .alter policy caching opdracht .

Omdat u geoptimaliseerde automatische schaalaanpassing voor dat cluster hebt geconfigureerd, wordt het cluster verkleind tot de oorspronkelijke grootte.

Gerelateerde inhoud