Jakie są domyślne i zalecane konfiguracje węzłów dla usługi Azure HDInsight?
W tym artykule omówiono domyślne i zalecane konfiguracje węzłów dla klastrów usługi Azure HDInsight.
Domyślna i minimalna zalecana konfiguracja węzła oraz rozmiary maszyn wirtualnych dla klastrów
W poniższych tabelach wymieniono domyślne i zalecane rozmiary maszyn wirtualnych dla klastrów usługi HDInsight. Te informacje są niezbędne do zrozumienia rozmiarów maszyn wirtualnych do użycia podczas tworzenia skryptów programu PowerShell lub interfejsu wiersza polecenia platformy Azure w celu wdrożenia klastrów usługi HDInsight.
Jeśli potrzebujesz więcej niż 32 węzłów roboczych w klastrze, wybierz rozmiar węzła głównego z co najmniej 8 rdzeniami i 14 GB pamięci RAM.
Jedynymi typami klastrów, które mają dyski danych, są klastry Kafka i HBase z włączoną funkcją Przyspieszone zapisy. Usługa HDInsight obsługuje rozmiary dysków P30 i S30 w tych scenariuszach. W przypadku wszystkich innych typów klastrów usługa HDInsight zapewnia zarządzane miejsce na dysku w klastrze. Od 11.07.2019 r. rozmiar dysku zarządzanego każdego węzła w nowo utworzonym klastrze wynosi 128 GB. Nie można tego zmienić.
Specyfikacje wszystkich minimalnych zalecanych typów maszyn wirtualnych używanych w tym dokumencie zostały podsumowane w poniższej tabeli.
| Rozmiar | Procesor wirtualny | Pamięć: GiB | Magazyn tymczasowy (SSD): GiB | Maksymalna przepływność magazynu tymczasowego: operacje we/wy na sek. / odczyt MB/s / zapis MB/s | Maksymalna liczba dysków danych / przepływność: liczba operacji we/wy na sekundę | Maksymalna liczba kart sieciowych/oczekiwana przepustowość sieci (Mb/s) |
|---|---|---|---|---|---|---|
| Standardowa_D3_v2 | 100 | 14 | 200 | 12000 / 187 / 93 | 16 / 16 x 500 | 4 / 3000 |
| Standardowa_D4_v2 | 8 | 28 | 400 | 24000 / 375 / 187 | 32 / 32 x 500 | 8 / 6000 |
| Standardowa_D5_v2 | 16 | 56 | 800 | 48000 / 750 / 375 | 64/ 64x500 | 8 / 12000 |
| Standardowa_D12_v2 | 100 | 28 | 200 | 12000 / 187 / 93 | 16 / 16 x 500 | 4 / 3000 |
| Standardowa_D13_v2 | 8 | 56 | 400 | 24000 / 375 / 187 | 32 / 32 x 500 | 8 / 6000 |
| Standardowa_D14_v2 | 16 | 112 | 800 | 48000 / 750 / 375 | 64/ 64x500 | 8 / 12000 |
| Standardowa_A1_v2 | 1 | 2 | 10 | 1000 / 20 / 10 | 2 / 2x500 | 2 / 250 |
| Standardowa_A2_v2 | 2 | 4 | 20 | 2000 / 40 / 20 | 4 / 4 x 500 | 2 / 500 |
| Standardowa_A4_v2 | 4 | 8 | 40 | 4000 / 80 / 40 | 8 / 8 x 500 | 4 / 1000 |
Aby uzyskać więcej informacji na temat specyfikacji poszczególnych typów maszyn wirtualnych, zobacz następujące dokumenty:
- Rozmiary maszyn wirtualnych ogólnego przeznaczenia:
Dv2seria 1–5 - Rozmiary maszyn wirtualnych zoptymalizowanych pod kątem pamięci:
Dv2seria 11-15 - Rozmiary maszyn wirtualnych ogólnego przeznaczenia:
Av2seria 1–8
Wszystkie obsługiwane regiony
Uwaga
Aby uzyskać identyfikator jednostki SKU do użycia w programie PowerShell i innych skryptach, dodaj Standard_ do początku wszystkich jednostek SKU maszyny wirtualnej w poniższych tabelach. Przykładowo, D12_v2 stanie się Standard_D12_v2.
| Typ klastra | Hadoop | HBase | Zapytanie interakcyjne | platforma Spark | Kafka |
|---|---|---|---|---|---|
| Nagłówek: domyślny rozmiar maszyny wirtualnej | E4_v3 | E4_v3 | D13_v2 | E8_v3, D13_v2* |
E4_v3 |
| Head: minimalne zalecane rozmiary maszyn wirtualnych | D5_v2 | D3_v2 | D13_v2 | D12_v2, D13_v2* |
D3_v2 |
| Proces roboczy: domyślny rozmiar maszyny wirtualnej | E8_v3 | E4_v3 | D14_v2 | E8_v3 | 4 E4_v3 z 2 dyskami S30 na brokera |
| Proces roboczy: minimalne zalecane rozmiary maszyn wirtualnych | D5_v2 | D3_v2 | D13_v2 | D12_v2 | D3_v2 |
| ZooKeeper: domyślny rozmiar maszyny wirtualnej | A4_v2 | A4_v2 | A4_v2 | ||
| ZooKeeper: minimalne zalecane rozmiary maszyn wirtualnych | A4_v2 | A4_v2 | A4_v2 |
* = rozmiary maszyn wirtualnych dla klastrów pakietu Spark Enterprise Security (ESP)
Uwaga
- Proces roboczy jest nazywany regionem typu klastra HBase.