次の方法で共有

AKS 上の Azure HDInsight アーカイブ リリース ノート

  • [アーティクル]

大事な

AKS 上の Azure HDInsight は、2025 年 1 月 31 日に廃止されました。 この発表 に関連して、について詳しく学んでください。

ワークロードの突然の終了を回避するには、ワークロードを Microsoft Fabric または同等の Azure 製品 に移行する必要があります。

大事な

この機能は現在プレビュー段階です。 Microsoft Azure プレビューの 追加使用条件 には、ベータ版、プレビュー版、または一般公開されていない Azure 機能に適用される、より多くの法的条件が含まれています。 この特定のプレビューの詳細については、AKS プレビュー情報 Azure HDInsightを参照してください。 ご質問や機能の提案については、詳細を記載の上、AskHDInsight にリクエストを送信してください。また、Azure HDInsight Community をフォローして詳細な更新を取得してください。

AKS 上の Azure HDInsight は、Azure でオープンソース分析を行う企業のお客様の間で最も人気のあるサービスの 1 つです。 リリース ノートを購読したい場合は、この GitHub リポジトリのリリースをウォッチしてください。

リリース日: 2024 年 8 月 5 日

このリリースは、次の に適用されます。

  • クラスター プールのバージョン: 1.2
  • クラスター バージョン: 1.2.1
  • AKS バージョン: 1.27

新機能

MSI ベースの SQL 認証 ユーザーは、ユーザー ID パスワード認証ではなく、MSI を使用して外部の Azure SQL DB メタストアを認証できるようになりました。 この機能は、Metastore とのクラスター接続をさらにセキュリティで保護するのに役立ちます。

ヘッド ノード用に構成可能な VM SKU、SSH ノード この機能を使用すると、ユーザーはヘッド ノード、ワーカー ノード、SSH ノードに特定の SKU を選択できるため、ユース ケースに応じて柔軟に選択でき、総保有コスト (TCO) を削減できます。

クラスター内の複数の MSI ユーザーは、クラスター管理者の操作とジョブ関連のリソース アクセス用に複数の MSI を構成できます。 この機能を使用すると、ユーザーは、ストレージ アカウント内のクラスターとデータへのアクセスを区分および制御できます。 たとえば、ストレージ アカウント内のデータにアクセスするための 1 つの MSI と、クラスター操作用の専用 MSI などです。

更新

スクリプト アクション スクリプト アクションを Sudo ユーザー アクセス許可で追加できるようになりました。 ユーザーは、カスタム jar を含む複数の依存関係をインストールして、必要に応じてクラスターをカスタマイズできるようになりました。

ライブラリ管理 Maven リポジトリのショートカット機能が、このリリースのライブラリ管理に追加されました。 ユーザーは、オープンソース リポジトリから Maven 依存関係を直接インストールできるようになりました。

Spark 3.4 Spark 3.4 の更新プログラムでは、さまざまな新機能が含まれています

  • API の機能強化
  • 構造化ストリーミングの機能強化
  • 使いやすさと開発者エクスペリエンスの向上

大事な

これらのすべての最新機能を利用するには、1.2 とクラスター バージョン 1.2.1 で新しいクラスター プールを作成する必要があります

既知の問題

  • ワークロード ID の制限:
    • ワークロード ID への移行の際には、制限が 既知になっています。 この制限は、FIC 操作のアクセス許可に依存する性質によるものです。 ユーザーは、リソース グループを削除してクラスターの削除を実行できません。 クラスター削除要求は、FIC/削除アクセス許可を持つアプリケーション/ユーザー/プリンシパルによってトリガーされる必要があります。 FIC の削除が失敗した場合、高レベルのクラスターの削除も失敗します。
    • ユーザー割り当てマネージド ID (UAMI) サポート – UAMI あたり 20 FIC の制限があります。 1 つの ID に対して作成できるフェデレーション資格情報は 20 個のみです。 AKS クラスター上の HDInsight では、FIC (フェデレーション ID 資格情報) と SA には 1 対 1 のマッピングがあり、MSI に対して作成できる SA は 20 個のみです。 さらにクラスターを作成する場合は、制限を克服するためにさまざまな MSI を提供する必要があります。
    • フェデレーション ID 資格情報の作成は、これらのリージョンで作成されたユーザー割り当てマネージド ID では現在サポートされていません

オペレーティング システムのバージョン

  • マリナー OS 2.0

ワークロードのバージョン

ワークロード バージョン
Trino 440
Flink 1.17.0
Apache Spark 3.4

サポートされている Java および Scala のバージョン

ワークロード ジャワ Scala
Trino JDK 21.0.2 を開く - 
Flink JDK 11.0.21 を開く 2.12.7
火花 JDK 1.8.0_345 を開く 2.12.15

プレビューは、次の リージョンで利用できます。

その他の質問がある場合は、Azure サポート 問い合わせるか、サポート オプション ページを参照してください。 製品固有のフィードバックがある場合は、aka.ms/askhdinsightに関する情報をお寄せください。

リリース日: 2024 年 3 月 20 日

このリリースは、次の に適用されます。

  • クラスター プールのバージョン: 1.1
  • クラスター バージョン: 1.1.1
  • AKS バージョン: 1.27

新機能

Apache Flink アプリケーションモードクラスター

アプリケーション モード クラスターは、大規模で実行時間の長いジョブの専用リソースをサポートするように設計されています。 リソースを集中的に使用するタスクや広範なデータ処理タスクがある場合は、アプリケーション モード クラスターを使用できます。 このモードでは、特定の Apache Flink アプリケーションに専用リソースを割り当てることで、大規模なワークロードを効果的に処理するために必要なコンピューティング能力とメモリを確保できます。

詳細については、AKS 上の HDInsight での Apache Flink アプリケーション モード クラスターのに関する記事を参照してください。

AKS での HDInsight のプライベート クラスターの

プライベート クラスターと送信クラスターの設定を使用して、AKS クラスター プールとクラスター上の HDInsight からのイングレス トラフィックとエグレス トラフィックを制御できるようになりました。

  • ロード バランサーで送信クラスター プールを使用することを選択した場合は、Azure Firewall またはネットワーク セキュリティ グループ (NSG) を使用してエグレス トラフィックを制御します。
  • ユーザー定義ルーティングで送信クラスター プールを使用して、サブネット レベルでエグレス トラフィックを制御します。
  • プライベート AKS クラスター機能を使用する - AKS コントロール プレーンまたは API サーバーに内部 IP アドレスがあることを確認します。 AKS ノード プール (クラスター) 上の AKS コントロール プレーン/API サーバーと HDInsight の間のネットワーク トラフィックは、プライベート ネットワーク上にのみ残ります。
  • クラスターのパブリック IP は作成しないでください。 クラスターでプライベート イングレス機能を使用します。

詳細については、「AKS クラスター プールとクラスター上の HDInsight からのネットワーク トラフィックを制御する」を参照してください。

インプレース アップグレード

最新のソフトウェア更新プログラムを使用してクラスターとクラスター プールをアップグレードします。 つまり、クラスターを再作成することなく、最新のクラスター パッケージ修正プログラム、セキュリティ更新プログラム、AKS パッチを利用できます。 詳細については、「AKS クラスターとクラスター プールでの HDInsight のアップグレード」を参照してください。

大事な

これらすべての最新機能を利用するには、1.1 とクラスター バージョン 1.1.1 で新しいクラスター プールを作成する必要があります。

既知の問題

  • ワークロードアイデンティティの制限:
    • 移行先のワークロードアイデンティティには既知の制限事項があります（）。 この制限は、FIC 操作のアクセス許可に依存する性質によるものです。 ユーザーは、リソース グループを削除してクラスターの削除を実行できません。 クラスター削除要求は、FIC/削除アクセス許可を持つアプリケーション/ユーザー/プリンシパルによってトリガーされる必要があります。 FIC の削除が失敗した場合、高レベルのクラスターの削除も失敗します。
    • ユーザー割り当てマネージド ID (UAMI) サポート – UAMI あたり 20 FIC の制限があります。 1 つの ID に対して作成できるフェデレーション資格情報は 20 個のみです。 AKS クラスター上の HDInsight では、FIC (フェデレーション ID 資格情報) と SA には 1 対 1 のマッピングがあり、MSI に対して作成できる SA は 20 個のみです。 さらにクラスターを作成する場合は、制限を克服するためにさまざまな MSI を提供する必要があります。
    • フェデレーション ID 資格情報の作成は、現在、これらのリージョンで作成されたユーザー割り当てマネージド ID サポートされていません

オペレーティング システムのバージョン

  • マリナー OS 2.0

ワークロードのバージョン を する

ワークロード バージョン
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

サポートされている Java と Scala のバージョンを

ワークロード ジャワ Scala
Trino JDK 17.0.7 を開く - 
Flink JDK 11.0.21 を開く 2.12.7
火花 JDK 1.8.0_345 を開く 2.12.15

プレビューは、次の リージョンで利用できます。

その他の質問がある場合は、Azure サポート 問い合わせるか、サポート オプション ページを参照してください。 製品固有のフィードバックがある場合は、aka.ms/askhdinsightに関する情報をお寄せください。

リリース日: 2024 年 2 月 5 日

このリリースは、次の に適用されます。

  • クラスター プールのバージョン: 1.1
  • クラスター バージョン: 1.1.0
  • AKS バージョン: 1.27

ヒント

1.1.0 上の AKS クラスターに新しい HDInsight を作成するには、バージョン 1.1 の新しいクラスター プールを作成する必要があります

新機能

  • ワークロード ID は、1.1 のクラスター プールで既定でサポートされています
  • Trino クラスターでは、1.1.0 リリースから Trino 426 がサポートされます
    • AKS 上の HDInsight には、Trino 426 までのすべての変更が含まれるようになり、コミュニティによって提供されるいくつかの顕著な機能強化が行われました。 Trino の詳細については、を参照してください。
  • Trino クラスターシェイプで、1.1.0 リリースからの負荷ベースの自動スケーリングがサポートされるようになりました
    • AKS 上の HDInsight 上の Trino では、クラスターのコスト効率を高める負荷ベースの自動スケールがサポートされるようになりました。 詳細については、こちらを参照してください。
  • Trino クラスターの図形により、Hive メタストアとカタログの構成が簡略化される
    • AKS 上の HDInsight では、Trino クラスターの外部 Hive メタストア構成が簡略化されました。 config.properties で外部メタストアを指定し、1 つのパラメーターを使用してカタログごとに有効にできるようになりました。 拡張機能の詳細については、を参照してください。
  • Trino クラスター図形によってシャード化された SQL コネクタが追加される
  • Flink クラスターで、AKS 1.1.0 リリースの HDInsight からの Flink 1.17.0 がサポートされるようになりました
    • AKS 上の HDInsight では、Flink 1.17.0 リリースがサポートされるようになりました。チェックポイント、サブタスク レベルのフレーム グラフ、透かしの配置が大幅に改善されました。 Flink 1.17 リリース の詳細については、
  • Flink SQL Gateway が、Flink セッション クラスターを使用した AKS 1.1.0 リリースの HDInsight からサポートされるようになりました

CVE & バグ修正

  • このリリースには、プラットフォームとオープン ソース コンポーネント全体でいくつかの重要な CVE 修正が含まれています。
  • Trino クラスター図形によってシステム テーブルが自動的にキャッシュから除外される
  • Trino クラスターの形状により、Power BI タイムスタンプのタイムゾーン処理が向上する

既知の問題

  • ワークロード ID の制限:
    • ワークロード ID に移行するときには既知の制限（）があり、それは です。 これは、FIC 操作のアクセス許可に依存する性質が原因です。 ユーザーは、リソース グループを削除してクラスターの削除を実行できません。 クラスター削除要求は、FIC/削除アクセス許可を持つアプリケーション/ユーザー/プリンシパルによってトリガーされる必要があります。 FIC の削除が失敗した場合、高レベルのクラスターの削除も失敗します。

新しいリージョン

  • 東アジア

オペレーティング システムのバージョン

  • マリナー OS 2.0

ワークロードのバージョン を する

ワークロード バージョン
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

Java と Scala のサポートされているバージョン ()

ワークロード ジャワ Scala
Trino JDK 17.0.7 を開く - 
Flink JDK 11.0.21 を開く 2.12.7
火花 JDK 1.8.0_345 を開く 2.12.15

プレビューは、次の リージョンで利用できます。

その他の質問がある場合は、Azure サポート 問い合わせるか、サポート オプション ページを参照してください。 製品固有のフィードバックがある場合は、aka.ms/askhdinsightに関する情報をお寄せください。

次の手順

リリース日: 2023 年 12 月 13 日

この修正プログラムのリリースは、次の に適用されます。

  • クラスター プールのバージョン: 1.0
  • クラスター バージョン: 1.0.6

既知の問題

  • セキュリティで保護されたテナントユーザーインターフェイスのサポート

    • このリリースでは、AKS クラスター上の HDInsight のオープン ソース コンポーネント Web URL にアクセスできない問題に対処しています。 この修正プログラムを適用するには、Azure サポートに連絡して、サブスクリプション/テナントでこれを有効にします。

    修正プログラム を適用する方法

    • クラスターを再作成する
      • この修正プログラムを適用するには、既存のユーザーが既存のクラスター プールで クラスター を再作成する必要があります。

オペレーティング システムのバージョン

  • マリナー OS 2.0

ワークロードバージョン

ワークロード バージョン
Trino 410
Flink 1.16
Apache Spark 3.3.1

サポートされている Java と Scala のバージョン

ワークロード ジャワ Scala
Trino JDK 17.0.7 を開く - 
Flink JDK 11.0.21 を開く 2.12.7
火花 JDK 1.8.0_345 を開く 2.12.15

プレビューは、次の リージョンで利用できます。

その他の質問がある場合は、Azure サポート 問い合わせるか、サポート オプション ページを参照してください。