Co je nového ve službě HDInsight v AKS? (Preview)
Poznámka:
Azure HDInsight vyřadíme ze služby AKS 31. ledna 2025. Před 31. lednem 2025 budete muset migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure, abyste se vyhnuli náhlému ukončení úloh. Zbývající clustery ve vašem předplatném se zastaví a odeberou z hostitele.
Do data vyřazení bude k dispozici pouze základní podpora.
Důležité
Tato funkce je aktuálně dostupná jako ukázková verze. Doplňkové podmínky použití pro Microsoft Azure Preview obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, ve verzi Preview nebo ještě nejsou vydány v obecné dostupnosti. Informace o této konkrétní verzi Preview najdete v tématu Azure HDInsight o službě AKS ve verzi Preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a sledujte nás o dalších aktualizacích v komunitě Azure HDInsight.
Ve službě HDInsight v AKS mají všechny operace a správu clusteru nativní podporu pro správu služeb na webu Azure Portal pro jednotlivé clustery.
Ve službě HDInsight v AKS jsou zavedeny dva nové koncepty:
- Fondy clusterů se používají k seskupení a správě clusterů.
- Clustery se používají pro opensourcové výpočetní prostředky, které jsou hostované v rámci fondu clusterů.
Fondy clusterů
HDInsight v AKS běží ve službě Azure Kubernetes Service (AKS). Prostředek nejvyšší úrovně je fond clusterů a spravuje všechny clustery spuštěné ve stejném clusteru AKS. Při vytváření fondu clusterů se současně vytvoří základní cluster AKS pro hostování všech clusterů ve fondu. Fondy clusterů jsou logické seskupení clusterů, které pomáhají při vytváření robustní interoperability napříč několika typy clusterů a umožňují podnikům mít clustery ve stejné virtuální síti. Fondy clusterů poskytují rychlý a nákladově efektivní přístup ke všem typům clusterů vytvořeným na vyžádání a ve velkém měřítku. Jeden fond clusterů odpovídá jednomu clusteru v infrastruktuře AKS.
Clustery
Clustery jsou jednotlivé opensourcové výpočetní úlohy, jako jsou Apache Spark, Apache Flink a Trino, které je možné rychle vytvořit během několika minut s přednastavenými konfiguracemi a několika kliknutími. Přestože běží ve stejném fondu clusterů, může mít každý cluster vlastní konfigurace, jako je typ clusteru, verze, velikost virtuálního počítače uzlu, počet uzlů. Clustery běží na oddělených výpočetních prostředcích s vlastním DNS a koncovými body.
Funkce aktuálně ve verzi Preview
V následujícím seznamu tabulek jsou uvedeny funkce SLUŽBY HDInsight ve službě AKS, které jsou aktuálně ve verzi Preview. Funkce ve verzi Preview jsou seřazené abecedně.
| Plocha | Funkce |
|---|---|
| Základy | Vytváření fondů a clusterů pomocí portálu , podpory ssh (Web Secure Shell), schopnost zvolit počet pracovních uzlů během vytváření clusteru |
| Úložiště | Podpora ADLS Gen2 Storage |
| Metastore | Podpora externího metastoru pro Trino, Spark a Flink, integrace se službou HDInsight |
| Zabezpečení | Podpora ARM RBAC, podpora ověřování na základě MSI, možnost poskytnout přístup ke clusteru jiným uživatelům |
| Protokolování a monitorování | Agregace protokolů v Azure Log Analytics pro protokoly serverů, metriky clusteru a služeb prostřednictvím spravované služby Prometheus a Grafana, metriky serveru podpory ve službě Azure Monitor, stránka Stav služby pro monitorování Stav služby |
| Automatické škálování | Automatické škálování na základě zatížení a automatické škálování na základě plánu |
| Přizpůsobení a konfigurace clusterů | Podpora akcí skriptů během vytváření clusteru, podpora správy knihoven, nastavení konfigurace služby po vytvoření clusteru |
| Trino | Podpora pro katalogy Trino, podpora rozhraní příkazového řádku Trino, podpora DBeaveru pro odesílání dotazů, přidání nebo odebrání modulů plug-in a konektorů, podpora událostí protokolování dotazů, podpora statistiky dotazů pro libovolný konektor na řídicím panelu Trino, podpora řídicího panelu Trino pro monitorování dotazů, ukládání dotazů do mezipaměti, integrace s Power BI, integrace s Apache Superset, Redash, podpora více konektorů |
| Flink | Podpora nativního webového uživatelského rozhraní Flink, podpora Flinku s HMS pro DStream, odesílání úloh do clusteru pomocí rozhraní REST API a webu Azure Portal, spouštění programů zabalených jako soubory JAR prostřednictvím Flink CLI, podpora trvalých bodů ukládání, podpora aktualizace možností konfigurace při spuštění úlohy, připojení k více službám Azure: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Azure Data Factory Workflow Orchestraation Manager, HDInsight Kafka, Odesílání úloh do clusteru pomocí Flink CLI a CDC pomocí Flink |
| Spark | Jupyter Notebook, podpora delta lake 2.0, podpora Zeppelinu, podpora ATS, podpora rozhraní serveru historie Yarn, odesílání úloh pomocí SSH, odesílání úloh pomocí sady SDK a poznámkového bloku Machine Learning |
Přehled funkcí
| Funkce | Odhadovaná časová osa vydání | Stav |
|---|---|---|
| Automatické škálování – Na základě zatížení – Trino | Q1 2024 | Dokončeno |
| Automatické škálování založené na náhodném prohazování zatížení pro Spark | Q2 2024 | Probíhající |
| Místní upgrade | Q2 2024 | Dokončeno |
| Podpora rezervovaných instancí | Q2 2024 | Probíhající |
| Ověřování na základě MSI pro metastore (SQL) | Q1 2024 | Probíhající |
| Spark 3.4 | Q2 2024 | Probíhající |
| Trino 426 | Q1 2024 | Dokončeno |
| Ranger pro RBAC | Q2 2024 | Probíhající |
| Podpora režimu aplikace pro Flink | Q1 2024 | Dokončeno |
| Flink 1.17 | Q1 2024 | Dokončeno |
| Podpora Spark ACID | Q1 2024 | Probíhající |
| Konfigurovatelné skladové položky pro Headnode, SSH | Q2 2024 | Probíhající |
| Podpora Flink SQL Gateway | Q1 2024 | Dokončeno |
| Privátní clustery pro HDInsight v AKS | Q1 2024 | Dokončeno |
| Podpora Rangeru pro Spark SQL | Q4 2024 | Probíhající |
| Seznamy ACL rangeru ve vrstvě úložiště | Q4 2024 | Probíhající |
| Podpora one lake jako primárního kontejneru | Q2 2024 | Probíhající |