Udostępnij za pośrednictwem

Wykonywanie zapytań dotyczących zimnych danych za pomocą okien gorących

  • Artykuł

Gorące okna umożliwiają wydajne wykonywanie zapytań dotyczących zimnych danych bez konieczności eksportowania danych lub używania innych narzędzi. Użyj okien gorących, gdy rozmiar zimnych danych jest duży, a odpowiednie dane pochodzą z dowolnego czasu w przeszłości. Gorące okna są zdefiniowane w zasadach pamięci podręcznej.

Usługa Azure Data Explorer przechowuje swoje dane w niezawodnym magazynie długoterminowym i buforuje część tych danych w węzłach klastra. Zasady pamięci podręcznej określają, które dane są buforowane. Buforowane dane są traktowane jako gorące, podczas gdy pozostałe dane są uważane za zimne.

Aby wykonywać zapytania dotyczące zimnych danych, usługa Azure Data Explorer przetwarza krok ładowania, który wymaga uzyskania dostępu do warstwy magazynowania z znacznie większym opóźnieniem niż dysk lokalny. Jeśli zapytanie jest ograniczone do małego przedziału czasu, często nazywane zapytaniami "punkt w czasie", ilość pobieranych danych będzie zwykle mała, a zapytanie zostanie ukończone szybko. Na przykład analizy śledcze dotyczące danych telemetrycznych w danym dniu w przeszłości należą do tej kategorii. Wpływ na czas trwania zapytania zależy od rozmiaru danych pobieranych z magazynu i może być znaczący. Jeśli skanujesz dużą ilość zimnych danych, wydajność zapytań może przynieść korzyści z używania okien gorących.

W tym dokumencie pokazano, jak używać gorących okien do wykonywania zapytań dotyczących zimnych danych.

Wymagania wstępne

  • Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto platformy Azure.
  • Utwórz klaster i bazę danych usługi Azure Data Explorer.
  • Pozyskiwanie danych w klastrze przy użyciu jednej z metod opisanych w omówieniu pozyskiwania danych w usłudze Azure Data Explorer.

Konfigurowanie automatycznego skalowania w klastrze

Po zmianie zasad pamięci podręcznej klaster automatycznie buforuje odpowiednie dane na dyskach. Należy skalować klaster, aby pomieścić dodatkowy dysk wymagany do nowej definicji pamięci podręcznej. Zalecamy skonfigurowanie klastra pod kątem używania ustawień optymalizacji automatycznego skalowania .

  1. W witrynie Azure Portal przejdź do zasobu klastra usługi Azure Data Explorer. W obszarze Ustawienia wybierz pozycję Skaluj w poziomie.

  2. W oknie Skalowanie w poziomie wybierz pozycję Zoptymalizowane autoskalowanie.

  3. Wybierz minimalną liczbę wystąpień i maksymalną liczbę wystąpień. Skalowanie automatyczne klastra obejmuje zakresy między tymi dwiema liczbami na podstawie obciążenia.

  4. Wybierz pozycję Zapisz.

    Zoptymalizowana metoda autoskalowania.

Teraz możesz oczekiwać optymalnej wydajności podczas korzystania z okien gorących.

Ustaw gorące okna

Gorące okna są częścią składni poleceń zasad pamięci podręcznej i są ustawiane za .alter policy caching pomocą polecenia .

Uwaga

Zaktualizowanie pamięci podręcznej dysku klastra na podstawie zaktualizowanej definicji zasad pamięci podręcznej pamięci podręcznej może potrwać do godziny.

  1. Zanotuj początkowe zasady buforowania przy użyciu .show policy caching polecenia .

    .show table MyDatabase.MyTable policy caching

  2. Zmień zasady pamięci podręcznej przy użyciu następującej składni. Dla pojedynczej bazy danych lub tabeli można zdefiniować kilka gorących okien.

    .alter <entity_type> <database_or_table_or_materialized-view_name> policy caching 
      hot = <timespan> 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      ...

    Gdzie:

    • from: Godzina rozpoczęcia okna gorącego (data/godzina)
    • to: Godzina zakończenia okna gorącego (data/godzina)

    Na przykład zapytania uruchamiane w poniższych ustawieniach będą sprawdzać dane z ostatnich 14 dni na danych przechowywanych przez trzy lata.

    .alter table MyTable policy caching 
        hot = 14d,
        hot_window = datetime(2021-01-01) .. datetime(2021-02-01),
        hot_window = datetime(2021-04-01) .. datetime(2021-05-01)

Uruchomione zapytanie

Uruchom zapytanie lub zapytania, które chcesz wykonać w okresie określonym w oknach gorących.

Przywróć ustawienia

  1. Użyj oryginalnych ustawień pamięci podręcznej pobranych powyżej w sekcji Ustaw gorące okna.
  2. Przywróć zasady pamięci podręcznej do oryginalnych ustawień za .alter policy caching pomocą polecenia .

Ponieważ skonfigurowano zoptymalizowane autoskalowanie dla tego klastra, klaster zmniejszy się do oryginalnego rozmiaru.

Powiązana zawartość