Zwiększanie wydajności zapisu i odczytu klastrów HBase

Ukończone

Wydajność odczytu i zapisu bazy danych HBase usługi HDInsight można poprawić przy użyciu przyspieszonych zapisów. Przyjrzyjmy się teraz wpływowi wydajności na operacje i bez przyspieszonych zapisów.

Bez włączonego przyspieszonego zapisu

Funkcja przyspieszonych zapisów w usłudze Azure HDInsight dołącza dysk zarządzany SSD w warstwie Premium do każdego serwera regionu HBase (węzła roboczego) podczas wdrażania klastra. Dzienniki zapisu z wyprzedzeniem (WAL) są zapisywane w rozproszonym systemie plików Hadoop (HDFS) zainstalowanym na dyskach zarządzanych SSD w warstwie Premium zamiast stronicowych obiektów blob platformy Azure.

Dyski zarządzane w warstwie Premium na dyskach SSD oferują znacznie lepszą wydajność zapisu i zwiększają wydajność operacji we/wy klastra z odpornością na uszkodzenia.

Funkcja przyspieszonych zapisów w bazie HBase.

Wymagania klientów dotyczące zapisów i odczytów o małych opóźnieniach stale zmieniają się wraz z upływem czasu. Chociaż rozdzielenie zasobów obliczeniowych i magazynu w bazie HBase usługi HDInsight zapewnia elastyczność, skalowalność, niezawodność i korzyści skali dla klientów, zwiększa również opóźnienie sieci do operacji zapisu i odczytu. Chociaż to opóźnienie może być odpowiednie dla większości klientów, klienci, którzy potrzebują zapisów o bardzo małych opóźnieniach i odczytach, mogą korzystać z funkcji HBase HBase usługi HDInsight przyspiesza zapisy.

Z włączonym przyspieszonym zapisem

Wydajność odczytu

Domyślnie baza HBase usługi HDInsight aprowizuje konto magazynu typu Storage (ogólnego przeznaczenia w wersji 1). Aby zwiększyć wydajność odczytu, magazyn blokowych obiektów blob w warstwie Premium można ustawić zamiast magazynu (ogólnego przeznaczenia w wersji 1), aby zwiększyć wydajność operacji odczytu.

Utwórz konto usługi Blob Storage w warstwie Premium przed procesem tworzenia klastra.

Create a storage account (Tworzenie konta magazynu).

Podczas tworzenia klastra przypisz blokowy obiekt blob w warstwie Premium jako konto magazynu podstawowego dla klastra, jak pokazano poniżej. Bloki blokowe w warstwie Premium będą wyświetlane tylko wtedy, gdy wybrano opcję Włącz przyspieszone zapisy .

Mapowanie konta magazynu w klastrze usługi HDInsight.

Aby poznać najlepsze rozwiązania dotyczące zarządzania wydajnością bazy danych HBase w usłudze HDInsight, przejdź do strony Rozwiązywanie problemów z wydajnością bazy danych HBase.

Wydajność zapisu

W standardowej ofercie HBase usługi HDInsight dzienniki zapisu bazy danych HBase (WAL) są przechowywane w stronicowych obiektach blob platformy Azure. Chociaż działa to dobrze w przypadku większości wymagań biznesowych, w przypadku niektórych aplikacji o krytycznym znaczeniu, które wymagają stale małych opóźnień i wysokich we/wy, niespójne opóźnienia w dziennikach WAL wspieranych przez stronicowe obiekty blob mogą stać się wąskim gardłem dla wydajności zapisu bazy danych HBase.

HBase Write Ahead Logs (WAL) przechowywane w stronicowych obiektach blob platformy Azure.