Požadavky na prostředky
Důležitý
Azure HDInsight v AKS byl vyřazen 31. ledna 2025. Získejte více informací pomocí tohoto oznámení.
Abyste se vyhnuli náhlému ukončení úloh, musíte migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure.
Důležitý
Tato funkce je aktuálně ve verzi Preview. Doplňkové podmínky použití pro náhledy Microsoft Azure obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, v náhledu nebo ještě nebyly uvolněny k obecnému použití. Informace o této konkrétní ukázkové verzi najdete v tématu Azure HDInsight na AKS. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a sledujte nás pro další aktualizace na komunitě Azure HDInsight .
Tento článek podrobně popisuje prostředky potřebné pro zahájení práce se službou HDInsight v AKS. Zahrnuje nezbytné a volitelné prostředky a jejich vytvoření.
Nezbytné zdroje
Následující tabulka znázorňuje potřebné prostředky potřebné k vytvoření clusteru na základě typů clusteru.
| Pracovní zátěž | Identita spravované služby (MSI) | Skladování | SQL Server – SQL Database | Trezor klíčů |
|---|---|---|---|---|
| Trino | ✅ | |||
| Flink | ✅ | ✅ | ||
| Jiskra | ✅ | ✅ | ||
| Trino, Flink nebo Spark s úložištěm metadat Hive (HMS) | ✅ | ✅ | ✅ | ✅ |
Poznámka
MSI se používá jako standard zabezpečení pro ověřování a autorizaci napříč prostředky s výjimkou SQL Database. Přiřazení role probíhá před nasazením, aby se autorizoval přístup MSI k úložišti, a tajemství se ukládají do Key Vaultu pro SQL Database. Podpora úložiště je s ADLS Gen2 a používá se jako úložiště dat pro výpočetní moduly a SQL Database se používá ke správě tabulek v metastoru Hive.
Volitelné prostředky
- Virtuální síť a podsíť: Vytvoření virtuální sítě
- Pracovní prostor služby Log Analytics: vytvoření pracovního prostoru služby Log Analytics
Poznámka
- Virtuální síť vyžaduje podsíť, která není přidružená k žádné existující směrovací tabulce.
- HDInsight v AKS umožňuje používat vlastní virtuální síť a podsíť, což vám umožní přizpůsobit požadavky na síť tak, aby vyhovovaly potřebám vašeho podniku.
- Pracovní prostor služby Log Analytics je volitelný a je potřeba ho vytvořit předem v případě, že byste chtěli používat funkce služby Azure Monitor, jako je azure Log Analytics.
Potřebné prostředky můžete vytvořit dvěma způsoby:
Použití šablon ARM
Následující šablony ARM umožňují vytvořit zadané potřebné prostředky, a to jedním kliknutím pomocí předpony prostředku a dalších podrobností podle potřeby.
Například pokud zadáte předponu prostředku jako „demo“, vytvoří se ve vaší skupině prostředků následující prostředky podle zvolené šablony –
- MSI se vytvoří s tímto názvem:
demoMSI. - Úložiště se vytvoří s názvem jako
demostorespolu s kontejnerem jakodemocontainer. - Trezor klíčů se vytvoří s názvem jako
demoKeyVaultspolu s tajným kódem zadaným jako parametr v šabloně. - Databáze Azure SQL se vytvoří s názvem jako
demoSqlDBspolu s SQL serverem s názvem jakodemoSqlServer.
| Pracovní zátěž | Požadavky |
|---|---|
| Trino |
Vytvořte prostředky uvedené takto: 1. Identita spravované služby (MSI): spravovaná identita přiřazená uživatelem |
| Flink |
Vytvořte prostředky uvedené takto: 1. Identita spravované služby (MSI): spravovaná identita přiřazená uživatelem 2. Účet úložiště ADLS Gen2 a kontejner. Přiřazení rolí : Přiřazuje roli "Vlastník dat úložiště blob" k uživatelsky přiřazenému MSI na účtu úložiště. |
| Jiskra |
Vytvořte prostředky uvedené takto: 1. Identita spravované služby (MSI): spravovaná identita přiřazená uživatelem 2. Účet úložiště ADLS Gen2 a kontejner. přiřazení rolí: 1. Přiřadí roli "Vlastník dat blobů úložiště" pro uživatelsky přiřazené MSI na účtu úložiště. |
| Trino, Flink nebo Spark s Hive Metastore (HMS) |
Vytvořte prostředky uvedené takto: 1. Identita spravované služby (MSI): spravovaná identita přiřazená uživatelem 2. Účet úložiště ADLS Gen2 a kontejner. 3. Azure SQL Server a služba SQL databáze. 4. Azure Key Vault a tajný klíč pro ukládání přihlašovacích údajů správce SQL Serveru. Přiřazení rolí: 1. Přiřadí roli „Vlastník dat blobů úložiště“ k uživatelem přiřazenému MSI na účtu úložiště. 2. Přiřadí roli „Key Vault Secrets User“ uživatelsky přiřazenému MSI ve službě Key Vault. |
Poznámka
Použití těchto šablon ARM vyžaduje, aby uživatel měl oprávnění k vytváření nových prostředků a přiřazování rolí k prostředkům v předplatném.
Použití webu Azure Portal
Vytvoření spravované identity přiřazené uživatelem (MSI)
Spravovaná identita je identita registrovaná v Microsoft Entra ID (Microsoft Entra ID), jejíž přihlašovací údaje spravuje Azure. U spravovaných identit nemusíte registrovat instanční objekty v Microsoft Entra ID, abyste mohli udržovat přihlašovací údaje, jako jsou certifikáty.
HDInsight na AKS spoléhá na uživatelem přiřazené MSI pro komunikaci mezi různými komponentami.
Vytvoření účtu úložiště – ADLS Gen2
Účet úložiště se používá jako výchozí umístění pro protokoly clusteru a další výstupy. Při vytváření účtu úložiště povolte hierarchický obor názvů, který se použije jako úložiště ADLS Gen2.
Přiřadit roli: Přiřaďte roli „Vlastník dat objektů blob úložiště“ uživatelsky přiřazenému MSI vytvořenému pro tento účet úložiště.
Vytvoření kontejneru: Po vytvoření účtu úložiště vytvořte kontejner v účtu úložiště.
Poznámka
K dispozici je také možnost vytvoření kontejneru během vytváření clusteru.
Vytvoření služby Azure SQL Database
Vytvořte službu Azure SQL Database, která se použije jako externí metastore během vytváření clusteru, nebo můžete použít existující službu SQL Database. Ujistěte se však, že jsou nastaveny následující vlastnosti.
nezbytné vlastnosti, které se mají povolit pro SQL Server a SQL Database-
| Typ prostředku | Vlastnost | Popis |
|---|---|---|
| SQL Server | Metoda ověřování | Při vytváření SQL Serveru použijte metodu ověřování jako 
|
| SQL databáze | Povolit službám a prostředkům Azure přístup k tomuto serveru | Tuto vlastnost povolte v panelu Sítě v databázi SQL v portálu Azure. |
Poznámka
- V současné době podporujeme pouze službu Azure SQL Database jako inbuilt metastore.
- Kvůli omezení Hivu není podporován znak -( spojovník) v názvu databáze metastoru.
- Azure SQL Database by měla být ve stejné oblasti jako váš cluster.
- K dispozici je také možnost vytvoření služby SQL Database během vytváření clusteru. Musíte ale aktualizovat stránku pro vytvoření clusteru, aby se nově vytvořená databáze zobrazila v rozevíracím seznamu.
vytvoření služby Azure Key Vault
Key Vault umožňuje při vytváření služby SQL Database uložit heslo správce SQL Serveru. HDInsight na platformě AKS neřeší přihlašovací údaje přímo. Proto je nutné ukládat důležité přihlašovací údaje do služby Key Vault.
Přiřadit roli: Přiřaďte roli "Uživatel přístupových klíčů Key Vault" k uživatelem přiřazenému MSI vytvořenému jako součást nezbytných prostředků k tomuto Key Vaultu.
Vytvoření tajného kódu: Tento krok umožňuje zachovat heslo správce SQL Serveru jako tajný klíč ve službě Azure Key Vault. Při vytváření tajného kódu přidejte heslo do pole Hodnota.
Poznámka
- Nezapomeňte si poznamenat název tajného kódu, protože se to vyžaduje při vytváření clusteru.
- Abyste mohli přidat tajný klíč do služby Key Vault pomocí webu Azure Portal, musíte mít přiřazenou roli Správce služby Key Vault k vaší identitě nebo účtu. Přejděte do služby Key Vault a postupujte podle pokynů k přiřazování role na.