Jaké jsou výchozí a doporučené konfigurace uzlů pro Azure HDInsight?
Tento článek popisuje výchozí a doporučené konfigurace uzlů pro clustery Azure HDInsight.
Výchozí a minimální doporučená konfigurace uzlů a velikosti virtuálních počítačů pro clustery
Následující tabulky uvádějí výchozí a doporučené velikosti virtuálních počítačů pro clustery HDInsight. Tyto informace jsou nezbytné k pochopení velikostí virtuálních počítačů, které se mají použít při vytváření skriptů PowerShellu nebo Azure CLI pro nasazení clusterů HDInsight.
Pokud potřebujete v clusteru více než 32 pracovních uzlů, vyberte velikost hlavního uzlu s alespoň 8 jádry a 14 GB paměti RAM.
Jedinými typy clusterů, které mají datové disky, jsou clustery Kafka a HBase s povolenou funkcí Akcelerované zápisy. HDInsight v těchto scénářích podporuje velikosti disků P30 a S30. Pro všechny ostatní typy clusterů poskytuje HDInsight spravované místo na disku clusteru. Od 11. 7. 2019 je velikost spravovaného disku každého uzlu v nově vytvořeném clusteru 128 GB. Tuto možnost nelze změnit.
Specifikace všech minimálních doporučených typů virtuálních počítačů použitých v tomto dokumentu jsou shrnuté v následující tabulce.
| Velikost | Virtuální procesory | Paměť: GiB | Dočasné úložiště (SSD): GiB | Maximální propustnost dočasného úložiště: IOPS / čtení v MB/s / zápis v MB/s | Maximální propustnost datových disků: IOPS | Maximální počet síťových adaptérů / Očekávaná šířka pásma sítě (Mb/s) |
|---|---|---|---|---|---|---|
| Standard_D3_v2 | 4 | 14 | 200 | 12000 / 187 / 93 | 16 / 16×500 | 4 / 3 000 |
| Standard_D4_v2 | 8 | 28 | 400 | 24000 / 375 / 187 | 32 / 32×500 | 8 / 6 000 |
| Standard_D5_v2 | 16 | 56 | 800 | 48000 / 750 / 375 | 64 / 64x500 | 8 / 12000 |
| Standard_D12_v2 | 4 | 28 | 200 | 12000 / 187 / 93 | 16 / 16×500 | 4 / 3 000 |
| Standard_D13_v2 | 8 | 56 | 400 | 24000 / 375 / 187 | 32 / 32×500 | 8 / 6 000 |
| Standard_D14_v2 | 16 | 112 | 800 | 48000 / 750 / 375 | 64 / 64x500 | 8 / 12000 |
| Standard_A1_v2 | 1 | 2 | 10 | 1000 / 20 / 10 | 2 / 2x500 | 2 / 250 |
| Standard_A2_v2 | 2 | 4 | 20 | 2000 / 40 / 20 | 4 / 4×500 | 2 / 500 |
| Standard_A4_v2 | 4 | 8 | 40 | 4000 / 80 / 40 | 8 / 8×500 | 4 / 1 000 |
Další informace o specifikacích jednotlivých typů virtuálních počítačů najdete v následujících dokumentech:
- Velikosti virtuálních počítačů pro obecné účely:
Dv2řada 1–5 - Velikosti virtuálních počítačů optimalizovaných pro paměť:
Dv2řada 11–15 - Velikosti virtuálních počítačů pro obecné účely:
Av2řada 1–8
Všechny podporované oblasti
Poznámka:
Pokud chcete získat identifikátor skladové položky pro použití v PowerShellu a dalších skriptech, přidejte Standard_ na začátek všech skladových položek virtuálních počítačů v následujících tabulkách. Například D12_v2 by se stal Standard_D12_v2.
| Typ clusteru | Hadoop | HBase | Interaktivní dotaz | Spark | Kafka |
|---|---|---|---|---|---|
| Hlava: výchozí velikost virtuálního počítače | E4_v3 | E4_v3 | D13_v2 | E8_v3, D13_v2* |
E4_v3 |
| Hlava: Minimální doporučené velikosti virtuálních počítačů | D5_v2 | D3_v2 | D13_v2 | D12_v2, D13_v2* |
D3_v2 |
| Pracovní proces: výchozí velikost virtuálního počítače | E8_v3 | E4_v3 | D14_v2 | E8_v3 | 4 E4_v3 s 2 disky S30 na zprostředkovatele |
| Pracovní proces: Minimální doporučené velikosti virtuálních počítačů | D5_v2 | D3_v2 | D13_v2 | D12_v2 | D3_v2 |
| ZooKeeper: výchozí velikost virtuálního počítače | A4_v2 | A4_v2 | A4_v2 | ||
| ZooKeeper: minimální doporučené velikosti virtuálních počítačů | A4_v2 | A4_v2 | A4_v2 |
* = Velikosti virtuálních počítačů pro clustery s balíčkem zabezpečení Spark Enterprise (ESP)
Poznámka:
- Pracovní proces se označuje jako Oblast pro typ clusteru HBase.