Co je nového ve službě HDInsight v AKS? (Preview)
Důležitý
Azure HDInsight v AKS byl vyřazen 31. ledna 2025. Zjistěte více prostřednictvím tohoto oznámení.
Abyste se vyhnuli náhlému ukončení úloh, musíte migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure.
Důležitý
Tato funkce je aktuálně ve verzi Preview. Doplňkové podmínky použití pro verze Preview Microsoft Azure obsahují další právní podmínky, které se vztahují na funkce Azure, jež jsou v beta verzi, ve verzích Preview, nebo ještě nebyly vydány k obecné dostupnosti. Informace o této konkrétní verzi Preview najdete v tématu Azure HDInsight ve službě AKS ve verzi Preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost o AskHDInsight s podrobnostmi a sledujte nás pro další aktualizace v rámci komunity Azure HDInsight.
Ve službě HDInsight na AKS mají všechna správa a operace clusterů nativní podporu správy služeb na portálu Azure pro jednotlivé clustery.
Ve službě HDInsight v AKS jsou zavedeny dva nové koncepty:
- fondy clusterů slouží k seskupení a správě clusterů.
- Clustery se používají pro open source výpočetní prostředky, jsou hostované v rámci clusterového poolu.
Fondy clusterů
HDInsight v AKS běží ve službě Azure Kubernetes Service (AKS). Prostředkem nejvyšší úrovně je fond clusterů, který spravuje všechny clustery běžící na stejném clusteru AKS. Při vytváření fondu clusterů se současně vytvoří základní cluster AKS pro hostování všech clusterů ve fondu. Fondy clusterů jsou logické seskupení clusterů, které pomáhají při vytváření robustní interoperability napříč několika typy clusterů a umožňují podnikům mít clustery ve stejné virtuální síti. Fondy clusterů poskytují rychlý a nákladově efektivní přístup ke všem typům clusterů vytvořeným na vyžádání a ve velkém měřítku. Jeden fond clusterů odpovídá jednomu clusteru v infrastruktuře AKS.
Svazky
Clustery jsou jednotlivé opensourcové výpočetní úlohy, jako jsou Apache Spark, Apache Flink a Trino, které je možné rychle vytvořit během několika minut s přednastavenými konfiguracemi a několika kliknutími. Přestože běží ve stejném fondu clusterů, může mít každý cluster svou vlastní konfiguraci, jako je typ clusteru, verze, velikost uzlového virtuálního počítače a počet uzlů. Clustery běží na oddělených výpočetních prostředcích s vlastním DNS a koncovými body.
Funkce aktuálně ve verzi Preview
V následujícím seznamu tabulek jsou uvedeny funkce SLUŽBY HDInsight ve službě AKS, které jsou aktuálně ve verzi Preview. Funkce ve verzi Preview jsou seřazené abecedně.
| Oblast | Vlastnosti |
|---|---|
| Základy | vytvoření fondu a clusterů pomocí portálu, podpory webového zabezpečeného prostředí (ssh), možnosti zvolit počet pracovních uzlů během vytváření clusteru |
| Skladování | Podpora úložiště ADLS Gen2 |
| Metastore | Podpora externího metastoru pro Trino, Spark a Flink, integrace s HDInsight |
| Bezpečnost | Podpora ARM RBAC, podpora ověřování na základě MSI, možnost poskytnout přístup ke clusteru jiným uživatelům |
| Protokolování a monitorování | Agregace protokolů ve službě Azure Log Analytics, pro protokoly serverů, metriky clusteru a služeb prostřednictvím spravovanýchPrometheus a Grafana, metriky serveru podpory v azure monitoru, stránka Stav služby pro monitorování Service Health |
| Automatické škálování | automatické škálování podle zatíženía automatické škálování podle plánu |
| Přizpůsobení a konfigurace clusterů | Podpora akcí skriptů během vytváření clusteru, podpora správy knihovny , nastavení konfigurace služby po vytvoření clusteru |
| Trino | Podpora katalogů Trino, podpora rozhraní příkazového řádku Trino , podpora odesílání dotazů DBeaverem , přidání nebo odebrání pluginů a konektorů , podpora událostí protokolování dotazů , podpora statistik dotazu kontrole pro všechny Konektory na řídicím panelu Trino, podpora řídicího panelu Trino pro monitorování dotazů, podpora ukládání dotazů do mezipaměti , integrace s Power BI, integrace s Apache Supersetem , Redash, podpora více konektorů . |
| Flink | Podpora nativního webového uživatelského rozhraní Flink, podpora Flink s HMS pro DStream, odesílání úloh do clusteru pomocí REST API a Azure portálu, spouštění programů zabalených jako soubory JAR prostřednictvím Flink CLI, podpora trvalých bodů ukládání, podpora aktualizace možností konfigurace během spuštění úlohy, připojení k více službám Azure: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Správce orchestrace pracovních postupů Azure Data Factory, HDInsight Kafka, odesílání úloh do clusteru pomocí Flink CLI a CDC s Flinkem. |
| Jiskra | Jupyter Notebook, podpora Delta Lake 2.0, podpora nástroje Zeppelin, podpora ATS, podpora rozhraní serveru historie Yarn, podpora odesílání úloh pomocí SSH, podpora odesílání úloh pomocí sady SDK a podpora Strojově-Learning Notebook |
Přehled funkcí
| Funkce | Odhadovaný harmonogram vydání | Stav |
|---|---|---|
| automatické škálování – Na základě zatížení – Trino | 1. čtvrtletí 2024 | Hotový |
| Automatické škálování se znalostí shuffle na základě zatížení pro Spark | 2. čtvrtletí 2024 | Probíhá |
| Upgrade na místě | 2. čtvrtletí 2024 | Hotový |
| Podpora rezervovaných instancí | 2. čtvrtletí 2024 | Probíhá |
| Ověřování založené na MSI pro úložiště metadat (SQL) | 1. čtvrtletí 2024 | Probíhá |
| Spark 3.4 | 2. čtvrtletí 2024 | Probíhá |
| Trino 426 | 1. čtvrtletí roku 2024 | Hotový |
| Ranger pro RBAC | 2. čtvrtletí 2024 | Probíhá |
| podpora režimu aplikace pro Flink | 1. čtvrtletí 2024 | Hotový |
| Flink 1.17 | 1. čtvrtletí 2024 | Hotový |
| Podpora Spark ACID | 1. čtvrtletí 2024 | Probíhá |
| Konfigurovatelné skladové položky pro Headnode, SSH | 2. čtvrtletí 2024 | Probíhá |
| podpora služby Flink SQL Gateway | 1. čtvrtletí 2024 | Hotový |
| Privátní Clustery pro HDInsight ve službě AKS | 1. čtvrtletí 2024 | Hotový |
| Podpora Rangeru pro Spark SQL | 4. čtvrtletí 2024 | Probíhá |
| ACLy Ranger ve vrstvě úložiště | 4. čtvrtletí 2024 | Probíhá |
| Podpora one lake jako primárního kontejneru | 2. čtvrtletí 2024 | Probíhá |