Optymalizacja i buforowanie zestawów danych

Pulpity nawigacyjne sztucznej inteligencji/analizy biznesowej to cenne narzędzia do analizy danych i podejmowania decyzji, a efektywne czasy ładowania mogą znacznie poprawić środowisko użytkownika. W tym artykule wyjaśniono, jak buforowanie i optymalizacje zestawów danych sprawiają, że pulpity nawigacyjne są bardziej wydajne i wydajne.

Wydajność zapytań

Zapytania i ich wydajność można sprawdzić w historii zapytań obszaru roboczego. Historia zapytań przedstawia zapytania SQL wykonywane przy użyciu magazynów SQL. Kliknij pozycję Historia zapytań na pasku bocznym, aby wyświetlić historię zapytań. Zobacz Historia zapytań.

W przypadku zestawów danych pulpitu nawigacyjnego usługa Azure Databricks stosuje optymalizacje wydajności w zależności od rozmiaru wyniku zestawu danych.

Optymalizacje zestawów danych

Zestawy danych pulpitu nawigacyjnego AI/BI obejmują następujące optymalizacje wydajności:

• Jeśli rozmiar wyniku zestawu danych jest mały (mniejszy lub równy 100 000 wierszy lub 100 MB, w zależności od tego, co jest mniejsze), wynik zestawu danych jest ściągany do klienta, a filtrowanie i agregacja specyficzna dla wizualizacji są wykonywane w przeglądarce. Filtrowanie i agregowanie danych dla małych zestawów danych jest bardzo szybkie i zapewnienie, że zestaw danych jest mały, może pomóc w optymalizacji wydajności pulpitu nawigacyjnego. W przypadku małych zestawów danych tylko zapytanie zestawu danych jest wyświetlane w historii zapytań.
• Jeśli rozmiar wyniku zestawu danych jest duży (większy niż 100 000 wierszy lub 100 MB), tekst zapytania zestawu danych jest opakowany w klauzulę SQL WITH , a filtrowanie i agregacja specyficzna dla wizualizacji jest wykonywana w zapytaniu na zapleczu, a nie w przeglądarce. W przypadku dużych zestawów danych zapytanie wizualizacji jest wyświetlane w historii zapytań.
• W przypadku zapytań wizualizacji wysyłanych do zaplecza oddzielne zapytania wizualizacji względem tego samego zestawu danych, które współużytkują te same GROUP BY klauzule i predykaty filtrów, są łączone w pojedyncze zapytanie do przetwarzania. W takim przypadku użytkownicy mogą zobaczyć jedno połączone zapytanie w historii zapytań, które pobiera wyniki dla wielu wizualizacji.

Buforowanie i świeżość danych

Pulpity nawigacyjne obsługują 24-godzinną pamięć podręczną wyników w celu zoptymalizowania początkowych czasów ładowania, działających w oparciu o najlepsze wysiłki. Oznacza to, że podczas gdy system zawsze próbuje użyć historycznych wyników zapytań połączonych z poświadczeniami pulpitu nawigacyjnego w celu zwiększenia wydajności, w niektórych przypadkach nie można utworzyć lub zachować buforowanych wyników. Buforowane dane nie mają określonego limitu pamięci ani stałej liczby zapytań.

W przypadku pulpitów nawigacyjnych wielostronicowych mają zastosowanie następujące elementy:

• Edytowanie roboczego pulpitu nawigacyjnego ładuje i buforuje wszystkie zestawy danych.
• Gdy osoby przeglądające otwierają opublikowany pulpit nawigacyjny, są uruchamiane i buforowane tylko zestawy danych, które obsługują aktywną stronę.
• Jeśli harmonogram jest ustawiony, wszystkie zestawy danych są odświeżane zgodnie z harmonogramem, a wyniki te są buforowane.

W poniższej tabeli wyjaśniono, jak buforowanie różni się w zależności od stanu pulpitu nawigacyjnego i poświadczeń:

Typ pulpitu nawigacyjnego	Typ buforowania
Opublikowany pulpit nawigacyjny z osadzonymi poświadczeniami	Udostępniona pamięć podręczna. Wszyscy widzowie widzą te same wyniki.
Wersja robocza pulpitu nawigacyjnego lub opublikowanego pulpitu nawigacyjnego bez osadzonych poświadczeń	Na pamięć podręczną użytkownika. Osoby przeglądające widzą wyniki na podstawie ich uprawnień do danych.

Pulpity nawigacyjne automatycznie używają wyników buforowanych zapytań, jeśli dane bazowe pozostają niezmienione po ostatnim zapytaniu lub jeśli wyniki zostały pobrane mniej niż 24 godziny temu. Jeśli istnieją nieaktualne wyniki i parametry są stosowane do pulpitu nawigacyjnego, zapytania zostaną uruchomione ponownie, chyba że te same parametry zostały użyte w ciągu ostatnich 24 godzin. Podobnie stosowanie filtrów do zestawów danych przekraczających 100 000 wierszy powoduje wyświetlenie monitów o ponowne uruchomienie zapytań, chyba że te same filtry zostały wcześniej zastosowane w ciągu ostatnich 24 godzin.

Zaplanowane zapytania

Dodanie harmonogramu do opublikowanego pulpitu nawigacyjnego z osadzonymi poświadczeniami może znacznie przyspieszyć początkowy proces ładowania dla wszystkich osób przeglądających pulpit nawigacyjny.

Dla każdej zaplanowanej aktualizacji pulpitu nawigacyjnego są wykonywane następujące czynności:

• Cała logika SQL, która definiuje zestawy danych, jest uruchamiana w wyznaczonym przedziale czasu.
• Wyniki wypełniają pamięć podręczną wyników zapytania i pomagają poprawić początkowy czas ładowania pulpitu nawigacyjnego.