Wysoka dostępność danych dzięki platformie Apache Kafka w usłudze HDInsight
Dowiedz się, jak skonfigurować repliki partycji dla tematów platformy Apache Kafka, aby korzystać z podstawowej konfiguracji stojaka sprzętowego. Ta konfiguracja zapewnia dostępność danych przechowywanych na platformie Apache Kafka w usłudze HDInsight.
Domeny błędów i aktualizacji za pomocą platformy Apache Kafka
Domena błędów to logiczna grupa bazowego sprzętu w centrum danych platformy Azure. Wszystkie domeny błędów korzystają ze wspólnego źródła zasilania i przełącznika sieciowego. Maszyny wirtualne i dyski zarządzane, które implementują węzły w klastrze usługi HDInsight są rozdzielone między te domeny błędów. Taka architektura ogranicza wpływ potencjalnych awarii sprzętu fizycznego.
W każdym regionie świadczenia usługi Azure znajduje się określona liczba domen błędów. Aby uzyskać listę domen i informacje o liczbie zawartych w nich domen błędów, zobacz dokument Zestawy dostępności.
Ważne
Platforma Kafka nie uwzględnia domen błędów. W przypadku utworzenia tematu na platformie Kafka wszystkie repliki partycji mogą być przechowywane w tej samej domenie błędów. Aby rozwiązać ten problem, usługa HDInsight udostępnia narzędzie do ponownego równoważenia partycji platformy Kafka.
Kiedy należy stosować ponowne równoważenie replik partycji
Aby zapewnić najwyższą dostępność danych na platformie Kafka, należy stosować ponowne równoważenie replik partycji dla tematu w następujących sytuacjach:
Po utworzeniu nowego tematu lub partycji
Po przeskalowaniu klastra w górę
Współczynnik replikacji
Ważne
Zalecamy wybranie regionu świadczenia usługi Azure zawierającego trzy domeny błędów oraz użycie współczynnika replikacji o wartości 3.
Jeśli musisz wybrać region, który zawiera tylko dwie domeny błędów, użyj współczynnika replikacji o wartości 4, aby równomiernie rozłożyć repliki na dwie domeny błędów.
Aby zapoznać się z przykładem tworzenia tematów i ustawiania współczynnika replikacji, zobacz dokument Rozpoczynanie pracy z platformą Apache Kafka w usłudze HDInsight .
Jak zastosować ponowne równoważenie replik partycji
Użyj narzędzia ponownego równoważenia partycji platformy Apache Kafka, aby ponownie zrównoważyć wybrane tematy. Narzędzie to należy uruchomić w sesji połączenia SSH z węzłem głównym klastra Kafka.
Aby uzyskać więcej informacji dotyczących nawiązywania połączenia z usługą HDInsight przy użyciu protokołu SSH, zobacz dokument Używanie protokołu SSH z usługą HDInsight.