Archivované poznámky k vydání služby Azure HDInsight na platformě AKS
Důležitý
Azure HDInsight v AKS byl vyřazen 31. ledna 2025. Další informace s tímto oznámením.
Abyste se vyhnuli náhlému ukončení úloh, musíte migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure.
Důležitý
Tato funkce je aktuálně ve verzi Preview. Doplňkové podmínky použití pro verze Preview Microsoft Azure obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, ve verzi náhledu nebo ještě nejsou obecně dostupné. Informace o této konkrétní verzi preview najdete v tématu Azure HDInsight na AKS. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a sledujte nás pro další aktualizace na Azure HDInsight Community.
Azure HDInsight v AKS je jednou z nejoblíbenějších služeb mezi podnikovými zákazníky pro open source analýzy v Azure. Pokud se chcete přihlásit k odběru poznámek k verzi, sledujte vydané verze v tomto úložišti GitHubu.
Datum vydání: 5. 5. 2024
Tato verze se vztahuje na následující
- Verze fondu clusterů: 1.2
- Verze clusteru: 1.2.1
- Verze AKS: 1.27
Nové funkce
ověřování SQL na základě MSI Uživatelé teď mohou ověřovat externí metastore Azure SQL DB pomocí MSI místo ověřování heslem ID uživatele. Tato funkce pomáhá dále zabezpečit připojení clusteru k metastoru.
konfigurovatelné skladové položky virtuálních počítačů pro hlavní uzel, uzel SSH Tato funkce umožňuje uživatelům zvolit konkrétní skladové položky pro hlavní uzly, pracovní uzly a uzly SSH, které nabízejí flexibilitu výběru v závislosti na případu použití a možnost snížit celkové náklady na vlastnictví (TCO).
více MSI v clusteru Uživatelé mohou nakonfigurovat více MSI pro operace správců clusteru a pro přístup k prostředkům souvisejícím s úlohami. Tato funkce umožňuje uživatelům demarcaci a řízení přístupu ke clusteru a datům v účtu úložiště. Například pro přístup k datům v úložišti můžete použít jednu MSI a pro operace clusteru vyhrazenou MSI.
Aktualizovaný
Akce skriptu Akce skriptu je nyní možné přidat s uživatelským oprávněním Sudo. Uživatelé teď můžou nainstalovat více závislostí, včetně vlastních souborů JAR, aby mohli clustery přizpůsobit podle potřeby.
Správa knihovny Funkce zástupce úložiště Maven byla přidána do Správy knihovny v této verzi. Uživatel teď může instalovat závislosti Mavenu přímo z opensourcových úložišť.
aktualizace Spark 3.4 aktualizace Spark 3.4 přináší řadu nových funkcí, včetně
- Vylepšení rozhraní API
- Vylepšení strukturovaného streamování
- Vylepšené možnosti použitelnosti a vývojářského prostředí
Důležitý
Pokud chcete využít výhod všech těchto nejnovějších funkcí, musíte vytvořit nový pool clusterů s verzí 1.2 a verzí clustru 1.2.1.
Známé problémy
- omezení identity úloh :
- Při přechodu na identitu úloh existuje známé omezení . Toto omezení je způsobeno povahou operací FIC citlivou na oprávnění. Uživatelé nemůžou odstranit cluster odstraněním skupiny prostředků. Žádosti o odstranění clusteru musí aktivovat aplikace, uživatel nebo zabezpečená identita s oprávněními FIC/delete. Pokud selže odstranění FIC, pak selže také odstranění vysokoúrovňového clusteru.
- podpora spravovaných identit přiřazených uživatelem (UAMI) – platí limit 20 FIC na UAMI. Pro identitu můžete vytvořit pouze 20 federovaných přihlašovacích údajů. V HDInsight v clusteru AKS má FIC (přihlašovací údaje federované identity) a SA mapování 1:1 a pro MSI je možné vytvořit pouze 20 SA. Pokud chcete vytvořit více clusterů, budete muset poskytnout různé rozhraní MSI, abyste tento omezení vyřešili.
- Vytváření přihlašovacích údajů federované identity se v současné době nepodporuje u spravovaných identit přiřazených uživatelem vytvořených v těchto oblastech
Verze operačního systému
- Mariner OS 2.0
verze úloh
| Pracovní zátěž | Verze |
|---|---|
| Trino | 440 |
| Flink | 1.17.0 |
| Apache Spark | 3.4 |
podporované verze Javy a Scala
| Pracovní zátěž | Java | Scala |
|---|---|---|
| Trino | OpenJDK 21.0.2 | - |
| Flink | Otevřete sadu JDK 11.0.21. | 2.12.7 |
| Jiskra | OpenJDK 1.8.0_345 | 2.12.15 |
Verze Preview je dostupná v následujících oblastech.
Pokud máte další dotazy, kontaktujte Podporu Azure nebo se podívejte na stránce s možnostmi podpory. Pokud máte konkrétní zpětnou vazbu k produktu, napište nám na aka.ms/askhdinsight.
Datum vydání: 20. března 2024
Tato verze se vztahuje na následující
- Verze fondu clusterů: 1.1
- Verze clusteru: 1.1.1
- Verze AKS: 1.27
Nové funkce
clusteru s režimem aplikací Apache Flink
Clustery v režimu aplikace jsou navržené tak, aby podporovaly vyhrazené prostředky pro velké a dlouhotrvající úlohy. Pokud máte úlohy náročné na prostředky nebo rozsáhlé zpracování dat, můžete použít cluster Aplikační režim. Tento režim umožňuje přidělit vyhrazené prostředky pro konkrétní aplikace Apache Flink a zajistit tak, aby měly potřebný výpočetní výkon a paměť pro efektivní zpracování velkých úloh.
Další informace naleznete v tématu cluster Apache Flink Application Mode ve službě HDInsight na AKS.
privátní clustery pro HDInsight na AKS
Pomocí privátních clusterů a nastavení odchozích clusterů můžete nyní řídit příchozí a odchozí provoz ze služby HDInsight v klastrových fondech a clusterech AKS.
- Pomocí služby Azure Firewall nebo skupin zabezpečení sítě (NSG) můžete řídit odchozí provoz, když se rozhodnete použít fond odchozích clusterů s nástrojem pro vyrovnávání zatížení.
- Pomocí fondu odchozích clusterů s směrováním definovaným uživatelem můžete řídit odchozí provoz na úrovni podsítě.
- Pro zajištění, že řídicí rovina AKS nebo server API má interní IP adresy, použijte funkci privátního clusteru AKS. Síťový provoz mezi řídicí rovinou AKS / serverem rozhraní API a HDInsight na clusterech fondů uzlů AKS zůstává pouze v soukromé síti.
- Vyhněte se vytváření veřejných IP adres pro cluster. V clusterech používejte funkci privátního příchozího přenosu dat.
Další informace najdete v tématu Řízení síťového provozu ze služby HDInsight na fondech a clusterech AKS.
místní upgrade
Upgradujte clustery a fondy clusterů pomocí nejnovějších aktualizací softwaru. To znamená, že si můžete vychutnat nejnovější hotfixy balíčků clusteru, aktualizace zabezpečení a záplaty AKS bez opětovného vytvoření clusterů. Další informace najdete v tématu Upgrade služby HDInsight v clusterech AKS a fondech clusterů.
Důležitý
Pokud chcete využít výhod všech těchto nejnovějších funkcí, musíte vytvořit nový pool clusterů s verzí 1.1 a verzí clusteru 1.1.1.
Známé problémy
- Omezení identity pracovního zatížení :
- Při přechodu na identitu úloh existuje známé omezení . Toto omezení je způsobeno povahou operací FIC citlivou na oprávnění. Uživatelé nemohou smazat cluster pouhým odstraněním skupiny prostředků. Žádosti o odstranění clusteru musí aktivovat aplikace, uživatel, nebo hlavní účet s oprávněním FIC/delete. V případě, že odstranění FIC selže, odstranění klastru na vysoké úrovni také selže.
- podpora spravovaných identit přiřazených uživatelem (UAMI) – existuje limit 20 FIC na UAMI. Na jednu identitu můžete vytvořit pouze 20 federovaných přihlašovacích údajů. V HDInsight v clusteru AKS má FIC (přihlašovací údaje federované identity) a SA mapování 1:1 a pro MSI je možné vytvořit pouze 20 SA. Pokud chcete vytvořit více clusterů, budete muset poskytnout různé rozhraní MSI, abyste tento omezení vyřešili.
- Vytváření federovaných identitních přihlašovacích údajů se v současné době nepodporuje u uživatelem přiřazených spravovaných identit vytvořených v těchto oblastech
Verze operačního systému
- Mariner OS 2.0
verze úloh
| Pracovní zátěž | Verze |
|---|---|
| Trino | 426 |
| Flink | 1.17.0 |
| Apache Spark | 3.3.1 |
podporované verze Javy a Scala
| Pracovní zátěž | Java | Scala |
|---|---|---|
| Trino | OpenJDK 17.0.7 | - |
| Flink | OpenJDK 11.0.21 | 2.12.7 |
| Jiskra | OpenJDK 1.8.0_345 | 2.12.15 |
Verze Preview je dostupná v následujících oblastech.
Pokud máte další dotazy, kontaktujte Azure podporu nebo se podívejte na stránku s možnostmi podpory. Pokud máte konkrétní zpětnou vazbu k produktu, napište nám na aka.ms/askhdinsight.
Datum vydání: 5. února 2024
Tato verze se vztahuje na následující
- Verze fondu clusterů: 1.1
- Verze clusteru: 1.1.0
- Verze AKS: 1.27
Spropitné
Pokud chcete vytvořit novou službu HDInsight v clusteru AKS ve verzi 1.1.0, musíte vytvořit nový fond clusterů s verzí 1.1.
Nové funkce
- identita úloh je ve výchozím nastavení podporovaná pro fondy clusterů ve verzi 1.1.
- Clustery Trino podporují Trino 426 z verze 1.1.0.
- HDInsight ve službě AKS teď zahrnuje všechny změny až do Trino 426 s řadou významných vylepšení poskytovaných komunitou. Další informace o Trino zde.
- Obrazec clusteru Trino teď podporuje automatické škálování založené na zatížení z verze 1.1.0.
- Trino ve službě HDInsight ve službě AKS teď podporuje automatické škálování založené na zatížení, aby byl cluster nákladově efektivnější. Další informace o tom zde.
- Obrazec clusteru Trino přidává zjednodušenou konfiguraci metastoru Hive a katalogů.
- Obrazec clusteru Trino přidává shardovaný konektor SQL
- Clustery Flink teď podporují Flink 1.17.0 ze služby HDInsight ve verzi AKS 1.1.0.
- HDInsight v AKS teď podporuje verzi Flink 1.17.0 s významnými vylepšeními kontrolních bodů, grafu plamenů na úrovni dílčích úkolů a zarovnání vodoznaků. Další informace o verzi Flink 1.17 najdete
- Flink SQL Gateway se teď podporuje ve službě HDInsight ve verzi AKS 1.1.0 s clustery relací Flink.
Opravy chyb & CVEs
- Tato verze obsahuje několik důležitých oprav CVE napříč platformou a opensourcovými komponentami.
- Obrazec clusteru Trino automaticky vylučuje systémové tabulky z ukládání do mezipaměti.
- Obrazec clusteru Trino zlepšuje zpracování časových pásmů Power BI.
Známé problémy
- omezení identity pracovních zátěží :
- Při přechodu na identitu úloh existuje známé omezení . Důvodem je povaha operací FIC citlivá na oprávnění. Uživatelé nemohou odstranit cluster tím, že odstraní skupinu prostředků. Žádosti o odstranění clusteru musí aktivovat aplikace, uživatel/objekt zabezpečení s oprávněními FIC/delete. V případě, že odstranění FIC selže, selže také odstranění clusteru na vysoké úrovni.
Nové oblasti
- Východní Asie
Verze operačního systému
- Mariner OS 2.0
verze úloh
| Pracovní zátěž | Verze |
|---|---|
| Trino | 426 |
| Flink | 1.17.0 |
| Apache Spark | 3.3.1 |
podporované verze Javy a Scala
| Pracovní zátěž | Java | Scala |
|---|---|---|
| Trino | OpenJDK 17.0.7 | - |
| Flink | OpenJDK 11.0.21 | 2.12.7 |
| Jiskra | OpenJDK 1.8.0_345 | 2.12.15 |
Verze Preview je dostupná v následujících oblastech.
Pokud máte další dotazy, kontaktujte Azure podporu nebo se podívejte na stránku Možnosti podpory. Pokud máte konkrétní zpětnou vazbu k produktu, napište nám na aka.ms/askhdinsight.
Další kroky
Datum vydání: 13. prosince 2023
Tato oprava se vztahuje na následující
- Verze fondu clusterů: 1.0
- Verze clusteru: 1.0.6
Známé problémy
Podpora uživatelského rozhraní zabezpečení tenantů
- Tato verze řeší problém, kdy byly nepřístupné webové adresy URL opensourcových komponent pro HDInsight v clusterech AKS. Pokud chcete tuto opravu použít, obraťte se na podporu Azure, abyste ji povolili ve vašem předplatném nebo tenantovi.
Jak aplikovat hotfix
- Opětovné vytvoření clusteru
- Chcete-li použít tuto opravu hotfix, stávající uživatelé musí znovu vytvořit svůj cluster v existujícím poolu clusterů.
Verze operačního systému
- Mariner OS 2.0
verze úloh
| Pracovní zátěž | Verze |
|---|---|
| Trino | 410 |
| Flink | 1.16 |
| Apache Spark | 3.3.1 |
podporované verze Javy a Scala
| Pracovní zátěž | Java | Scala |
|---|---|---|
| Trino | Open JDK 17.0.7 | - |
| Flink | OpenJDK 11.0.21 | 2.12.7 |
| Jiskra | OpenJDK 1.8.0_345 | 2.12.15 |
Verze Preview je dostupná v následujících oblastech.
Pokud máte další dotazy, kontaktujte podpory Azure nebo se podívejte na možnosti podpory stránce.