Azure HDInsight on AKS のリリース ノート (アーカイブ)
Note
Azure HDInsight on AKS は 2025 年 1 月 31 日に廃止されます。 2025 年 1 月 31 日より前に、ワークロードを Microsoft Fabric または同等の Azure 製品に移行することで、ワークロードの突然の終了を回避する必要があります。 サブスクリプション上に残っているクラスターは停止され、ホストから削除されることになります。
提供終了日までは基本サポートのみが利用できます。
重要
現在、この機能はプレビュー段階にあります。 ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用されるその他の法律条項については、「Microsoft Azure プレビューの追加の使用条件」に記載されています。 この特定のプレビューについては、「Microsoft HDInsight on AKS のプレビュー情報」を参照してください。 質問や機能の提案については、詳細を記載した要求を AskHDInsight で送信してください。また、その他の更新情報については、Azure HDInsight コミュニティをフォローしてください。
Azure HDInsight on AKS は、Azure 上でオープン ソース分析を行うエンタープライズのお客様の間で最も人気のあるサービスの 1 つです。 リリース ノートをサブスクライブする場合は、この GitHub リポジトリのリリースをご覧ください。
リリース日: 2024 年 8 月 5 日
このリリースは次のものに適用されます
- クラスター プールのバージョン: 1.2
- クラスターのバージョン: 1.2.1
- AKS のバージョン: 1.27
新機能
MSI ベースの SQL 認証 ユーザーは、ユーザー ID によるパスワード認証ではなく、MSI を使用して外部の Azure SQL DB メタストアを認証できるようになりました。 この機能は、メタストアとのクラスター接続をさらにセキュリティで保護するのに役立ちます。
ヘッド ノードと SSH ノードに構成可能な VM SKU この機能を使用すると、ユーザーはヘッド ノード、ワーカー ノード、SSH ノードに特定の SKU を選択できるため、ユース ケースに応じて柔軟に選択し、総保有コスト (TCO) を削減できます。
クラスター内の複数の MSI ユーザーは、クラスター管理者の操作とジョブ関連のリソース アクセスのために複数の MSI を構成できます。 この機能を使用すると、ユーザーは、ストレージ アカウント内のクラスターとデータへのアクセスを区別し、制御できます。 たとえば、ストレージ アカウント内のデータにアクセスするための MSI と、クラスター操作用の専用 MSI を区別できます。
Updated
スクリプト アクション Sudo ユーザー権限でスクリプト アクションを追加できるようになりました。 ユーザーはカスタム jar を含む複数の依存関係をインストールすることで、必要に応じてクラスターをカスタマイズできるようになりました。
ライブラリ管理 このリリースでライブラリ管理に Maven リポジトリのショートカット機能が追加されました。 ユーザーは、オープンソース リポジトリから Maven 依存関係を直接インストールできるようになりました。
Spark 3.4 Spark 3.4 の更新プログラムでは、さまざまな新機能が提供されます。
- API の機能強化
- 構造化ストリーミングの改善
- 使いやすさと開発者エクスペリエンスの向上
重要
これらすべての最新機能を利用するには、1.2 とクラスター バージョン 1.2.1 で新しいクラスター プールを作成する必要があります。
既知の問題
- ワークロード ID の制限:
- ワークロード ID に移行する際には、既知の制限があります。 この制限は、FIC 操作のアクセス許可に依存する性質によるものです。 ユーザーは、リソース グループを削除してクラスターの削除を実行できません。 クラスター削除要求は、FIC/削除アクセス許可を持つアプリケーション/ユーザー/プリンシパルによってトリガーされる必要があります。 FIC の削除が失敗した場合、高レベルのクラスターの削除も失敗します。
- ユーザー割り当てマネージド ID (UAMI) のサポート – UAMI あたり 20 FIC の制限があります。 1 つの ID で作成できるフェデレーション資格情報は 20 個のみです。 HDInsight on AKS クラスターでは、FIC (フェデレーション ID 資格情報) と SA には 1 対 1 のマッピングがあり、1 つの MSI に対して作成できる SA は 20 個のみです。 さらにクラスターを作成したい場合は、異なる MSI を提供して制限を回避する必要があります。
- 現在、これらのリージョンで作成されたユーザー割り当てマネージド ID では、フェデレーション ID 資格情報の作成はサポートされていません
オペレーティング システムのバージョン
- Mariner OS 2.0
ワークロードのバージョン
| ワークロード | Version |
|---|---|
| Trino | 440 |
| Flink | 1.17.0 |
| Apache Spark | 3.4 |
サポートされている Java と Scala のバージョン
| ワークロード | Java | Scala |
|---|---|---|
| Trino | Open JDK 21.0.2 | - |
| Flink | Open JDK 11.0.21 | 2.12.7 |
| Spark | Open JDK 1.8.0_345 | 2.12.15 |
プレビューは、次のリージョンで利用できます。
その他の質問については、Azure サポートにご連絡いただくか、サポート オプションに関するページをご覧ください。 製品固有のフィードバックがある場合は、aka.ms/askhdinsight で情報をお寄せください。
リリース日: 2024 年 3 月 20 日
このリリースは次のものに適用されます
- クラスター プールのバージョン: 1.1
- クラスターのバージョン: 1.1.1
- AKS のバージョン: 1.27
新機能
Apache Flink アプリケーション モード クラスター
アプリケーション モード クラスターは、大規模で実行時間の長いジョブ用の専用リソースをサポートするように設計されています。 リソース集中型または広範なデータ処理のタスクがある場合は、アプリケーション モード クラスターを使用できます。 このモードでは、特定の Apache Flink アプリケーションに専用リソースを割り当てて、大規模なワークロードを効果的に処理するために必要なコンピューティング パワーとメモリを確保できます。
詳細については、「AKS の HDInsight 上の Apache Flink アプリケーション モード クラスター」を参照してください。
HDInsight on AKS のプライベート クラスター
プライベート クラスターと送信クラスターの設定を使って、AKS クラスター プールとクラスターでの HDInsight からのイングレスとエグレス トラフィックを制御できるようになりました。
- ロード バランサーで送信クラスター プールを使うことを選んだ場合は、Azure Firewall またはネットワーク セキュリティ グループ (NSG) を使ってエグレス トラフィックを制御します。
- 送信クラスター プールでユーザー定義ルーティングを使用して、サブネット レベルでエグレス トラフィックを制御します。
- プライベート AKS クラスター機能を使用する - AKS コントロール プレーンまたは API サーバーに内部 IP アドレスがあることを確認します。 AKS コントロール プレーンまたは API サーバーと HDInsight on AKS ノード プール (クラスター) との間のネットワーク トラフィックが、プライベート ネットワーク上にのみ保持されます。
- クラスターにはパブリック IP を作成しないでください。 クラスターではプライベート イングレス機能を使います。
詳細については、「AKS クラスター プールとクラスター上の HDInsight からのネットワーク トラフィックの制御」を参照してください。
一括アップグレード
最新のソフトウェア更新プログラムで、クラスターとクラスター プールをアップグレードします。 つまり、クラスターを作成し直すことなく、クラスター パッケージの最新の修正プログラム、セキュリティ パッチ、AKS パッチを利用できます。 詳細については、「AKS クラスターとクラスター プール上の HDInsight のアップグレード」を参照してください。
重要
これらすべての最新機能を利用するには、1.1 とクラスター バージョン 1.1.1 で新しいクラスター プールを作成する必要があります。
既知の問題
- ワークロード ID の制限:
- ワークロード ID に移行する際には、既知の制限があります。 この制限は、FIC 操作のアクセス許可に依存する性質によるものです。 ユーザーは、リソース グループを削除してクラスターの削除を実行できません。 クラスター削除要求は、FIC/削除アクセス許可を持つアプリケーション/ユーザー/プリンシパルによってトリガーされる必要があります。 FIC の削除が失敗した場合、高レベルのクラスターの削除も失敗します。
- ユーザー割り当てマネージド ID (UAMI) のサポート – UAMI あたり 20 FIC の制限があります。 1 つの ID で作成できるフェデレーション資格情報は 20 個のみです。 HDInsight on AKS クラスターでは、FIC (フェデレーション ID 資格情報) と SA には 1 対 1 のマッピングがあり、1 つの MSI に対して作成できる SA は 20 個のみです。 さらにクラスターを作成したい場合は、異なる MSI を提供して制限を回避する必要があります。
- 現在、これらのリージョンで作成されたユーザー割り当てマネージド ID では、フェデレーション ID 資格情報の作成はサポートされていません
オペレーティング システムのバージョン
- Mariner OS 2.0
ワークロードのバージョン
| ワークロード | Version |
|---|---|
| Trino | 426 |
| Flink | 1.17.0 |
| Apache Spark | 3.3.1 |
サポートされている Java と Scala のバージョン
| ワークロード | Java | Scala |
|---|---|---|
| Trino | Open JDK 17.0.7 | - |
| Flink | Open JDK 11.0.21 | 2.12.7 |
| Spark | Open JDK 1.8.0_345 | 2.12.15 |
プレビューは、次のリージョンで利用できます。
その他の質問については、Azure サポートにご連絡いただくか、サポート オプションに関するページをご覧ください。 製品固有のフィードバックがある場合は、aka.ms/askhdinsight で情報をお寄せください。
リリース日: 2024 年 2 月 5 日
このリリースは次のものに適用されます
- クラスター プールのバージョン: 1.1
- クラスターのバージョン: 1.1.0
- AKS のバージョン: 1.27
ヒント
1.1.0 上の AKS クラスターに新しい HDInsight を作成するには、バージョン 1.1 で新しいクラスター プールを作成する必要があります
新機能
- ワークロード ID は、1.1 のクラスター プールで既定でサポートされています
- Trino クラスターでは、1.1.0 リリースから Trino 426 がサポートされます
- HDInsight on AKS には、Trino 426 までのすべての変更が含まれるようになり、コミュニティによって提供されるいくつかの顕著な改善が加えらています。 Trino の詳細については、こちらをご覧ください。
- Trino クラスター シェイプで、1.1.0 リリースからの負荷ベースの自動スケーリングがサポートされるようになりました
- HDInsight on AKS 上の Trino では、クラスターのコスト効率を高める負荷ベースの自動スケールがサポートされるようになりました。 詳細については こちら を参照してください。
- Trino クラスターの図形により、ハイブ メタストアとカタログの構成が簡略化される
- HDInsight on AKS では、Trino クラスターの外部 Hive メタストア構成がシンプルになっています。 config.properties に外部メタストアを指定し、1 個のパラメーターで各カタログに対してそれを有効にできるようになりました。 拡張機能の詳細については、こちらを参照してください。
- Trino クラスター図形によってシャード化された SQL コネクタが追加されます
- Flink クラスターで、HDInsight on AKS 1.1.0 リリースからの Flink 1.17.0 がサポートされるようになりました
- HDInsight on AKS では、Flink 1.17.0 リリースがサポートされるようになりました。チェックポイント、サブタスク レベルのフレーム グラフ、透かしの配置が大幅に改善されました。 Flink 1.17 リリースの詳細については、こちらをご覧ください
- Flink セッション クラスターを含む HDInsight on AKS 1.1.0 リリースから Flink SQL ゲートウェイがサポートされるようになりました
バグ修正と CVE
- このリリースには、プラットフォームとオープン ソース コンポーネント全体でいくつかの重要な CVE 修正が含まれています。
- Trino クラスター図形によってシステム テーブルが自動的にキャッシュから除外されます
- Trino クラスターの形状により、Power BI タイムスタンプのタイムゾーン処理が向上します
既知の問題
- ワークロード ID の制限:
- ワークロード ID に移行する際には、既知の制限があります。 これは、FIC 操作のアクセス許可に依存する性質が原因です。 ユーザーは、リソース グループを削除してクラスターの削除を実行できません。 クラスター削除要求は、FIC/削除アクセス許可を持つアプリケーション/ユーザー/プリンシパルによってトリガーされる必要があります。 FIC の削除が失敗した場合、高レベルのクラスターの削除も失敗します。
新しいリージョン
- 東アジア
オペレーティング システムのバージョン
- Mariner OS 2.0
ワークロードのバージョン
| ワークロード | Version |
|---|---|
| Trino | 426 |
| Flink | 1.17.0 |
| Apache Spark | 3.3.1 |
サポートされている Java と Scala のバージョン
| ワークロード | Java | Scala |
|---|---|---|
| Trino | Open JDK 17.0.7 | - |
| Flink | Open JDK 11.0.21 | 2.12.7 |
| Spark | Open JDK 1.8.0_345 | 2.12.15 |
プレビューは、次のリージョンで利用できます。
その他の質問については、Azure サポートにご連絡いただくか、サポート オプションに関するページをご覧ください。 製品固有のフィードバックがある場合は、aka.ms/askhdinsight で情報をお寄せください。
次のステップ
リリース日: 2023 年 12 月 13 日
この修正プログラムは次のものに適用されます
- クラスター プールのバージョン: 1.0
- クラスターのバージョン: 1.0.6
既知の問題
セキュリティで保護されたテナント ユーザー インターフェイスのサポート
- このリリースでは、HDInsight on AKS クラスターのオープン ソース コンポーネント Web URL にアクセスできない問題に対処しています。 この修正を適用するには、Azure サポートに連絡して、ご自分のサブスクリプションやテナントでこれを有効にしてください。
修正プログラムの適用方法
- クラスターを再作成する
- この修正プログラムを適用するには、既存のユーザーは既存のクラスター プールでクラスターを再作成する必要があります。
オペレーティング システムのバージョン
- Mariner OS 2.0
ワークロードのバージョン
| ワークロード | Version |
|---|---|
| Trino | 410 |
| Flink | 1.16 |
| Apache Spark | 3.3.1 |
サポートされている Java と Scala のバージョン
| ワークロード | Java | Scala |
|---|---|---|
| Trino | Open JDK 17.0.7 | - |
| Flink | Open JDK 11.0.21 | 2.12.7 |
| Spark | Open JDK 1.8.0_345 | 2.12.15 |
プレビューは、次のリージョンで利用できます。
その他の質問については、Azure サポートにご連絡いただくか、サポート オプションに関するページをご覧ください。