Udostępnij za pośrednictwem

Optymalizowanie wydajności przy użyciu technologii w pamięci w usłudze Azure SQL Managed Instance

  • Artykuł

Dotyczy: Azure SQL Managed Instance

Technologie w pamięci umożliwiają zwiększenie wydajności aplikacji i potencjalnie zmniejszenie kosztów wystąpienia zarządzanego SQL. Funkcja OLTP w pamięci jest dostępna w warstwie usługi Krytyczne dla działania firmy usługi Azure SQL Managed Instance.

Kiedy należy używać technologii w pamięci

Korzystając z technologii w pamięci, można osiągnąć ulepszenia wydajności przy użyciu różnych obciążeń:

  • Transakcyjne (przetwarzanie transakcyjne online (OLTP)), w którym większość żądań odczytuje lub aktualizuje mniejszy zestaw danych, na przykład operacje tworzenia/odczytu/aktualizacji/usuwania (CRUD).
  • Analityczne (przetwarzanie analityczne online (OLAP)), w których większość zapytań ma złożone obliczenia na potrzeby raportowania, a także regularnie zaplanowane procesy, które wykonują operacje ładowania (lub ładowania zbiorczego) i/lub zapisują zmiany danych w istniejących tabelach. Często obciążenia OLAP są okresowo aktualizowane z obciążeń OLTP.
  • Mieszane (hybrydowe przetwarzanie transakcji/analizy (HTAP)), w których zapytania OLTP i OLAP są wykonywane na tym samym zestawie danych.

Technologie w pamięci mogą zwiększyć wydajność tych obciążeń, zachowując dane, które powinny być przetwarzane w pamięci, przy użyciu natywnej kompilacji zapytań lub zaawansowanego przetwarzania, takiego jak przetwarzanie wsadowe i instrukcje SIMD dostępne na podstawowym sprzęcie.

Omówienie

Usługa Azure SQL Managed Instance obsługuje następujące technologie w pamięci:

  • Funkcja OLTP w pamięci zwiększa liczbę transakcji na sekundę i zmniejsza opóźnienie przetwarzania transakcji. Scenariusze, które korzystają z przetwarzania OLTP w pamięci, to: przetwarzanie transakcji o wysokiej przepływności, takie jak handel i gry, pozyskiwanie danych ze zdarzeń lub urządzeń IoT, buforowanie, ładowanie danych oraz scenariusze zmiennych tabeli i tabeli tymczasowej.
  • Klastrowane indeksy magazynu kolumn zmniejszają rozmiar magazynu (do 10 razy) i zwiększają wydajność zapytań raportowania i analizy. Można jej używać z tabelami faktów w składnicach danych, aby dopasować więcej danych do bazy danych i zwiększyć wydajność. Ponadto można używać ich z danymi historycznymi w operacyjnej bazie danych do archiwizowania i wykonywania zapytań o maksymalnie 10 razy więcej danych.
  • Nieklastrowane indeksy magazynu kolumn dla protokołu HTAP ułatwiają uzyskiwanie wglądu w działalność biznesową w czasie rzeczywistym za pomocą bezpośredniego wykonywania zapytań względem operacyjnej bazy danych bez konieczności uruchamiania kosztownego procesu wyodrębniania, przekształcania i ładowania (ETL) i oczekiwania na wypełnienie magazynu danych. Nieklastrowane indeksy magazynu kolumn umożliwiają szybkie wykonywanie zapytań analitycznych w bazie danych OLTP przy jednoczesnym zmniejszeniu wpływu na obciążenie operacyjne.
  • Zoptymalizowane pod kątem pamięci klastrowane indeksy magazynu kolumn dla protokołu HTAP umożliwiają szybkie przetwarzanie transakcji i jednoczesne uruchamianie zapytań analitycznych bardzo szybko na tych samych danych.

Indeksy magazynu kolumn i olTP w pamięci zostały wprowadzone odpowiednio do programu SQL Server w 2012 i 2014 r. Usługi Azure SQL Database, Azure SQL Managed Instance i SQL Server współużytkuje tę samą implementację technologii w pamięci.

Uwaga

Aby zapoznać się ze szczegółowym samouczkiem krok po kroku, aby zademonstrować zalety wydajności technologii OLTP w pamięci, korzystając z AdventureWorksLT przykładowej bazy danych i ostress.exe, zobacz Przykład w pamięci w usłudze Azure SQL Managed Instance.

Zalety technologii w pamięci

Ze względu na bardziej wydajne przetwarzanie zapytań i transakcji technologie w pamięci pomagają również zmniejszyć koszty. Po przejściu do warstwy usługi Krytyczne dla działania firmy usługi Azure SQL Managed Instance zwykle nie trzeba uaktualniać wystąpienia zarządzanego SQL, aby osiągnąć wzrost wydajności. W niektórych przypadkach można nawet zmniejszyć warstwę cenową, jednocześnie zauważając poprawę wydajności za pomocą technologii w pamięci.

W tym artykule opisano aspekty indeksów OLTP w pamięci i magazynu kolumn, które są specyficzne dla usługi Azure SQL Managed Instance, a także przykłady:

  • Zobaczysz wpływ tych technologii na limity magazynowania i rozmiaru danych.
  • Zobaczysz, jak zarządzać przenoszeniem baz danych korzystających z tych technologii między różnymi warstwami cenowymi.
  • Zobaczysz dwa przykłady ilustrujące użycie olTP w pamięci, a także indeksy magazynu kolumn.

Aby uzyskać więcej informacji na temat olTP w pamięci w programie SQL Server, zobacz:

Przetwarzanie OLTP danych w pamięci

Technologia OLTP w pamięci zapewnia niezwykle szybkie operacje dostępu do danych dzięki przechowywaniu wszystkich danych w pamięci. Używa również wyspecjalizowanych indeksów, natywnej kompilacji zapytań i dostępu do danych bez zatrzaśnięć w celu zwiększenia wydajności obciążenia OLTP. Istnieją dwa sposoby organizowania danych OLTP w pamięci:

  • Format magazynu wierszy zoptymalizowany pod kątem pamięci, w którym każdy wiersz jest oddzielnym obiektem pamięci. Jest to klasyczny format OLTP w pamięci zoptymalizowany pod kątem obciążeń OLTP o wysokiej wydajności. Istnieją dwa typy tabel zoptymalizowanych pod kątem pamięci, które mogą być używane w formacie magazynu wierszy zoptymalizowanym pod kątem pamięci:

    • Trwałe tabele (SCHEMA_AND_DATA), w których wiersze umieszczone w pamięci są zachowywane po ponownym uruchomieniu serwera. Ten typ tabel zachowuje się jak tradycyjna tabela magazynu wierszy z dodatkowymi zaletami optymalizacji w pamięci.
    • Tabele niezwiązane (SCHEMA_ONLY), w których wiersze nie są zachowywane po ponownym uruchomieniu. Ten typ tabeli jest przeznaczony dla danych tymczasowych (na przykład zamiany tabel tymczasowych) lub tabel, w których należy szybko załadować dane przed przeniesieniem ich do utrwalonej tabeli (tzw. tabel przejściowych).

  • Format magazynu kolumn zoptymalizowany pod kątem pamięci, w którym dane są zorganizowane w formacie kolumnowym. Ta struktura jest przeznaczona dla scenariuszy HTAP, w których należy uruchamiać zapytania analityczne w tej samej strukturze danych, w której działa obciążenie OLTP.

Uwaga

Technologia OLTP w pamięci jest przeznaczona dla struktur danych, które mogą w pełni znajdować się w pamięci. Ponieważ nie można odciążyć danych w pamięci na dysku, upewnij się, że używasz wystąpienia zarządzanego SQL, które ma wystarczającą ilość pamięci. Aby uzyskać więcej informacji, zobacz Rozmiar danych i limit magazynu dla olTP w pamięci.

Rozmiar danych i limit magazynu dla olTP w pamięci

Funkcja OLTP w pamięci zawiera tabele zoptymalizowane pod kątem pamięci, które są używane do przechowywania danych użytkownika. Te tabele są wymagane do dopasowania do pamięci. Ten pomysł jest określany jako magazyn OLTP w pamięci.

Warstwa usługi Krytyczne dla działania firmy zawiera pewną ilość maksymalnej pamięci OLTP w pamięci określonej przez liczbę rdzeni wirtualnych.

Następujące elementy są liczone do limitu magazynu OLTP w pamięci:

  • Aktywne wiersze danych użytkownika w tabelach zoptymalizowanych pod kątem pamięci i zmiennych tabeli. Stare wersje wierszy nie są liczone w kierunku limitu.
  • Indeksy w tabelach zoptymalizowanych pod kątem pamięci.
  • Obciążenie operacyjne operacji ALTER TABLE.

W przypadku przekroczenia limitu zostanie wyświetlony błąd przekroczenia limitu przydziału i nie możesz już wstawiać ani aktualizować danych. Aby wyeliminować ten błąd, usuń dane lub zwiększ warstwę cenową bazy danych lub puli.

Aby uzyskać szczegółowe informacje na temat monitorowania użycia magazynu OLTP w pamięci i konfigurowania alertów po osiągnięciu limitu, zobacz Monitorowanie magazynu w pamięci.

Zmienianie konfiguracji sprzętu lub liczby rdzeni wirtualnych

Obniżenie konfiguracji sprzętu lub liczby rdzeni wirtualnych może mieć negatywny wpływ na wystąpienie zarządzane SQL.

Dane w tabelach zoptymalizowanych pod kątem pamięci muszą mieścić się w limicie magazynu OLTP w pamięci dla konfiguracji sprzętu i liczby rdzeni wirtualnych. Jeśli spróbujesz przeskalować w dół do ustawienia, które nie ma wystarczającej ilości dostępnego magazynu OLTP w pamięci, operacja zakończy się niepowodzeniem.

Określanie, czy istnieją obiekty w pamięci

Istnieje programowy sposób zrozumienia, czy dana baza danych w wystąpieniu zarządzanym SQL obsługuje olTP w pamięci. Możesz wykonać następujące zapytanie Języka Transact-SQL:

SELECT DatabasePropertyEx(DB_NAME(), 'IsXTPSupported');

Jeśli zapytanie zwróci 1wartość , w tej bazie danych jest obsługiwana funkcja OLTP w pamięci.

Następujące zapytania identyfikują wszystkie obiekty przy użyciu technologii w pamięci:

SELECT * FROM sys.tables WHERE is_memory_optimized=1
SELECT * FROM sys.table_types WHERE is_memory_optimized=1
SELECT * FROM sys.sql_modules WHERE uses_native_compilation=1

Magazyn kolumn w pamięci

Technologia magazynu kolumn w pamięci umożliwia przechowywanie i wykonywanie zapytań dotyczących dużej ilości danych w tabelach. Technologia magazynu kolumn używa formatu magazynu danych opartych na kolumnach i przetwarzania zapytań wsadowych, aby uzyskać do 10 razy wydajność zapytań w obciążeniach OLAP w przypadku tradycyjnego magazynu zorientowanego na wiersz. Można również uzyskać do 10-krotnej kompresji danych w porównaniu z rozmiarem danych nieskompresowanych.

Istnieją dwa typy modeli magazynu kolumn, których można użyć do organizowania danych:

  • Klastrowany magazyn kolumn, w którym wszystkie dane w tabeli są zorganizowane w formacie kolumnowym. W tym modelu wszystkie wiersze w tabeli są umieszczane w formacie kolumnowym, który bardzo kompresuje dane i umożliwia wykonywanie szybkich zapytań analitycznych i raportów w tabeli. W zależności od charakteru danych rozmiar danych może być zmniejszony o 10x-100x. Model klastrowanego magazynu kolumn umożliwia również szybkie pozyskiwanie dużych ilości danych (zbiorcze ładowanie), ponieważ duże partie danych większe niż 100 000 wierszy są kompresowane przed ich zapisaniem na dysku. Ten model jest dobrym wyborem dla klasycznych scenariuszy magazynu danych.
  • Nieklarowany magazyn kolumn, w którym dane są przechowywane w tradycyjnej tabeli magazynu wierszy i istnieje indeks w formacie magazynu kolumn, który jest używany dla zapytań analitycznych. Ten model umożliwia hybrydowe przetwarzanie transakcyjne i analityczne (HTAP): możliwość uruchamiania wydajnej analizy w czasie rzeczywistym na obciążeniu transakcyjnym. Zapytania OLTP są wykonywane w tabeli rowstore, która jest zoptymalizowana pod kątem uzyskiwania dostępu do małego zestawu wierszy, podczas gdy zapytania OLAP są wykonywane w indeksie magazynu kolumn, który jest lepszym wyborem do skanowania i analizy. Optymalizator zapytań dynamicznie wybiera format magazynu wierszy lub magazynu kolumn na podstawie zapytania. Indeksy nieklastrowanego magazynu kolumn nie zmniejszają rozmiaru danych, ponieważ oryginalny zestaw danych jest przechowywany w oryginalnej tabeli magazynu wierszy bez żadnych zmian. Jednak rozmiar dodatkowego indeksu magazynu kolumn powinien być o wielkości mniejszy niż równoważny indeks drzewa B.

Uwaga

Technologia magazynu kolumn w pamięci przechowuje tylko dane potrzebne do przetworzenia w pamięci, podczas gdy dane, które nie mieszczą się w pamięci, są przechowywane na dysku. W związku z tym ilość danych w strukturach magazynu kolumn w pamięci może przekraczać ilość dostępnej pamięci.

Rozmiar danych i magazyn indeksów magazynu kolumn

Indeksy magazynu kolumn nie są wymagane do dopasowania do pamięci. W związku z tym jedynym limitem rozmiaru indeksów jest maksymalny całkowity rozmiar bazy danych. Aby uzyskać więcej informacji, zobacz Limity zasobów usługi Azure SQL Managed Instance. Usługa Azure SQL Managed Instance obsługuje indeksy magazynu kolumn we wszystkich warstwach.

W przypadku korzystania z klastrowanych indeksów magazynu kolumn kompresja kolumn jest używana dla podstawowego magazynu tabel. Ta kompresja może znacznie zmniejszyć ilość miejsca w magazynie danych użytkownika, co oznacza, że można zmieścić więcej danych w bazie danych. Kompresję można dodatkowo zwiększyć za pomocą kompresji archiwalnej kolumny. Ilość kompresji, którą można osiągnąć, zależy od charakteru danych, ale 10 razy kompresja nie jest rzadkością.

Jeśli na przykład masz bazę danych o maksymalnym rozmiarze 1 terabajta (TB) i 10 razy kompresję przy użyciu indeksów magazynu kolumn, możesz zmieścić łącznie 10 TB danych użytkownika w bazie danych.

W przypadku używania indeksów magazynu kolumn nieklastrowanych tabela podstawowa jest nadal przechowywana w tradycyjnym formacie magazynu wierszy. W związku z tym oszczędności magazynu nie są tak znaczące, jak w przypadku klastrowanych indeksów magazynu kolumn. Jeśli jednak zastępujesz wiele tradycyjnych indeksów nieklastrowanych pojedynczym indeksem magazynu kolumn, nadal możesz zobaczyć ogólne oszczędności w rozmiarze magazynu dla tabeli.

Powiązana zawartość