次の方法で共有

アーカイブされたリリース ノート

  • [アーティクル]

まとめ

Azure HDInsight は、Azure 上でオープン ソース分析を行うエンタープライズのお客様の間で最も人気のあるサービスの 1 つです。 HDInsight およびすべての HDInsight バージョンに関する最新の情報については、HDInsight リリース ノートを購読してください。

購読するには、バナーの [見る] ボタンをクリックし、HDInsight リリースをご覧ください。

リリース情報

リリース日: 2024 年 8 月 30 日

Note

これは、リソース プロバイダーの修正プログラム/メンテナンス リリースです。 詳細については、「リソース プロバイダー」を参照してください。

Azure HDInsight では、バグ修正、パフォーマンス強化、セキュリティ パッチを提供するためのメンテナンス更新プログラムを定期的にリリースし、これらの更新プログラムを最新の状態に保つことで、最適なパフォーマンスと信頼性を保証しています。

このリリース ノートの適用対象

HDInsight 5.1 バージョン。

HDInsight 5.0 バージョン。

HDInsight 4.0 バージョン。

HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリース ノートは、イメージ番号 2407260448 に適用されます。 画像番号を確認する方法

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

OS のバージョン

  • HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Note

Ubuntu 18.04 は、Azure Linux チームによって Azure HDInsight 2023 年 7 月リリース以降の拡張セキュリティ メンテナンス (ESM) でサポートされます。

ワークロード固有のバージョンについては、HDInsight 5.x コンポーネントのバージョンを参照してください。

修正された問題

  • 既定の DB に関するバグ修正。

近日対応予定

  • Basic および Standard A シリーズ VM の廃止。
    • 2024 年 8 月 31 日に、Basic および Standard の A シリーズ VM が廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。
    • サービスの中断を回避するには、2024 年 8 月 31 日より前に、Basic および Standard の A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。
  • HDInsight 4.0 および HDInsight 5.0 の提供終了通知。

その他のご質問がある場合は Azure サポートにご連絡ください。

HDInsight に関するご質問は Azure HDInsight - Microsoft Q&A でいつでも受け付けています。

お気軽にご質問ください: 何かアイデアや、その他トピックなどがあれば、遠慮なく HDInsight アイデアに投稿してください。投稿への投票もできます。その他の更新については AzureHDInsight Community のフォローをお願いいたします。

Note

最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。

リリース日: 2024 年 8 月 9 日

このリリース ノートの適用対象

HDInsight 5.1 バージョン。

HDInsight 5.0 バージョン。

HDInsight 4.0 バージョン。

HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリース ノートは、イメージ番号 2407260448 に適用されます。 画像番号を確認する方法

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

OS のバージョン

  • HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Note

Ubuntu 18.04 は、Azure Linux チームによって Azure HDInsight 2023 年 7 月リリース以降の拡張セキュリティ メンテナンス (ESM) でサポートされます。

ワークロード固有のバージョンについては、HDInsight 5.x コンポーネントのバージョンを参照してください。

更新プログラム

HDInsight での Log Analytics のための Azure Monitor エージェントの追加

新しい Azure Monitor エクスペリエンス (プレビュー) の廃止に鑑み、Log Analytics 用の SystemMSI および自動 DCR が追加されました。

Note

有効画像番号 2407260448、ログ分析にポータルを使用しているお客様は、既定の Azure Monitor エージェント エクスペリエンスになります。 Azure Monitor エクスペリエンス (プレビュー) に切り替えたい場合は、サポート リクエストを作成することで、クラスターを古い画像にピン留めできます。

リリース日: 2024 年 7 月 5 日

Note

これは、リソース プロバイダーの修正プログラム/メンテナンス リリースです。 詳細については、「リソース プロバイダー」を参照してください

修正された問題

  • HOBO タグはユーザー タグを上書きします。

    • HOBO タグは、HDInsight クラスターの作成でサブリソースのユーザー タグを上書きします。

リリース日: 2024 年 6 月 19 日

このリリース ノートの適用対象

HDInsight 5.1 バージョン。

HDInsight 5.0 バージョン。

HDInsight 4.0 バージョン。

HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリース ノートは、イメージ番号 2406180258 に適用されます。 画像番号を確認する方法

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

OS のバージョン

  • HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Note

Ubuntu 18.04 は、Azure Linux チームによって Azure HDInsight 2023 年 7 月リリース以降の拡張セキュリティ メンテナンス (ESM) でサポートされます。

ワークロード固有のバージョンについては、HDInsight 5.x コンポーネントのバージョンを参照してください。

修正された問題

  • セキュリティの強化

    • SFI 要件に合ったクラスターに対するタグの使用に関する改善。
    • SFI 要件に従ったプローブ スクリプトの改善。

  • HDInsight リソース プロバイダーに対するシステム マネージド ID サポートを持つ HDInsight Log Analytics の改善。

  • (2024 年より前に作成された) 古いイメージの mdsd エージェント バージョンをアップグレードするための新しいアクティビティの追加。

  • MSAL Migration の継続的な改善の一環としてのゲートウェイでの MISE の有効化。

  • Spark Thrift Server Httpheader hiveConf を Jetty HTTP ConnectionFactory に組み込む。

  • RANGER-3753 と RANGER-3593 を元に戻す。

    Ranger 2.3.0 リリースで提供されている setOwnerUser の実装には、Hive によって使用される場合の重大な回帰の問題があります。 Ranger 2.3.0 では、HiveServer2 がポリシーの評価を試みると、Ranger Client は setOwnerUser 関数内で Metastore を呼び出して Hive テーブルの所有者を取得しようとします。この関数は、基本的にそのテーブルのアクセス権を確認するためにストレージを呼び出します。 この問題により、Hive が 2.3.0 Ranger 上で実行されると、クエリの実行速度が低下します。

間もなく公開

  • Basic および Standard A シリーズ VM の廃止。
    • 2024 年 8 月 31 日に、Basic および Standard の A シリーズ VM が廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。
    • サービスの中断を回避するには、2024 年 8 月 31 日より前に、Basic および Standard の A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。
  • HDInsight 4.0 および HDInsight 5.0 の提供終了通知。

その他のご質問がある場合は Azure サポートにご連絡ください。

HDInsight に関するご質問は Azure HDInsight - Microsoft Q&A でいつでも受け付けています。

お気軽にご質問ください: 何かアイデアや、その他トピックなどがあれば、遠慮なく HDInsight アイデアに投稿してください。投稿への投票もできます。その他の更新については AzureHDInsight Community のフォローをお願いいたします。

Note

最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。

リリース日: 2024 年 5 月 16 日

このリリース ノートの適用対象

HDInsight 5.0 バージョン。

HDInsight 4.0 バージョン。

HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリース ノートは、イメージ番号 2405081840 に適用されます。 画像番号を確認する方法

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

OS のバージョン

  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Note

Ubuntu 18.04 は、Azure Linux チームによって Azure HDInsight 2023 年 7 月リリース以降の拡張セキュリティ メンテナンス (ESM) でサポートされます。

ワークロード固有のバージョンについては、HDInsight 5.x コンポーネントのバージョンを参照してください。

修正された問題

  • SFI イニシアチブの一部として、Keyvault のトークンを取得するための API をゲートウェイに追加しました。
  • 新しいログ モニターの HDInsightSparkLogs テーブルのログの種類 SparkDriverLog で一部のフィールドがありませんでした。 たとえば、LogLevel & Message のようにします。 このリリースでは、足りなかったフィールドがスキーマに追加されます。また、SparkDriverLog の書式設定を修正しました。
  • Log Analytics 監視の SparkDriverLog テーブルで Livy ログが利用できません。これは、SparkLivyLog 構成の Livy ログ ソース パスとログ解析の正規表現の問題に起因します。
  • プライマリ ストレージ アカウントとして ADLS Gen2 を使用する HDInsight クラスターでは、アプリケーション コード内で使用される任意の Azure リソース (SQL や Keyvaults など) への MSI ベースのアクセスを利用できます。

近日対応予定

  • Basic および Standard A シリーズ VM の廃止。
    • 2024 年 8 月 31 日に、Basic および Standard の A シリーズ VM が廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。
    • サービスの中断を回避するには、2024 年 8 月 31 日より前に、Basic および Standard の A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。
  • HDInsight 4.0 および HDInsight 5.0 の提供終了通知。

その他のご質問がある場合は Azure サポートにご連絡ください。

HDInsight に関するご質問は Azure HDInsight - Microsoft Q&A でいつでも受け付けています。

お気軽にご質問ください: 何かアイデアや、その他トピックなどがあれば、遠慮なく HDInsight アイデアに投稿してください。投稿への投票もできます。その他の更新については AzureHDInsight Community のフォローをお願いいたします。

Note

最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。

リリース日: 2024 年 4 月 15 日

このリリース ノートは、 HDInsight 5.1 バージョンに適用されます。

HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリース ノートは、イメージ番号 2403290825 に適用されます。 画像番号を確認する方法

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

OS のバージョン

  • HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Note

Ubuntu 18.04 は、Azure Linux チームによって Azure HDInsight 2023 年 7 月リリース以降の拡張セキュリティ メンテナンス (ESM) でサポートされます。

ワークロード固有のバージョンについては、HDInsight 5.x コンポーネントのバージョンを参照してください。

修正された問題

間もなく公開

  • Basic および Standard A シリーズ VM の廃止。
    • 2024 年 8 月 31 日に、Basic および Standard の A シリーズ VM が廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。
    • サービスの中断を回避するには、2024 年 8 月 31 日より前に、Basic および Standard の A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。
  • HDInsight 4.0 および HDInsight 5.0 の提供終了通知。

その他のご質問がある場合は Azure サポートにご連絡ください。

HDInsight に関するご質問は Azure HDInsight - Microsoft Q&A でいつでも受け付けています。

お気軽にご質問ください: 何かアイデアや、その他トピックなどがあれば、遠慮なく HDInsight アイデアに投稿してください。投稿への投票もできます。その他の更新については AzureHDInsight Community のフォローをお願いいたします。

Note

最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。

リリース日: 2024 年 2 月 15 日

このリリースは、HDInsight バージョン 4.x と 5.x に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリースは、イメージ番号 2401250802 に適用されます。 画像番号を確認する方法

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

OS のバージョン

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Note

Ubuntu 18.04 は、Azure Linux チームによって Azure HDInsight 2023 年 7 月リリース以降の拡張セキュリティ メンテナンス (ESM) でサポートされます。

ワークロード固有のバージョンについては、下記を参照してください

新機能

  • Enterprise セキュリティ パッケージを使用した Spark 3.3.0 (HDInsight バージョン 5.1) の Spark SQL に対する Apache Ranger サポート。 詳細については こちら を参照してください。

修正された問題

  • Ambari と Oozie コンポーネントからのセキュリティ修正プログラム

近日対応予定

  • Basic および Standard A シリーズ VM の廃止。
    • 2024 年 8 月 31 日に、Basic および Standard の A シリーズ VM が廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。
    • サービスの中断を回避するには、2024 年 8 月 31 日より前に、Basic および Standard の A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。

その他のご質問がある場合は Azure サポートにご連絡ください。

HDInsight に関するご質問は Azure HDInsight - Microsoft Q&A でも受け付けています

私たちは側にいます:ここにより多くのアイデアや他のトピックを追加し、それらに投票することを歓迎します - HDInsightアイデア と、 AzureHDInsightコミュニティに関するその他の更新については、私フォローしてください

Note

最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。

次の手順

Azure HDInsight は、Azure 上でオープン ソース分析を行うエンタープライズのお客様の間で最も人気のあるサービスの 1 つです。 リリース ノートをサブスクライブする場合は、この GitHub リポジトリのリリースをご覧ください。

リリース日: 2024 年 1 月 10 日

この修正プログラム リリースは、HDInsight バージョン 4.x と 5.x に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリースは、イメージ番号 2401030422 に適用されます。 画像番号を確認する方法

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

OS のバージョン

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Note

Ubuntu 18.04 は、Azure Linux チームによって Azure HDInsight 2023 年 7 月リリース以降の拡張セキュリティ メンテナンス (ESM) でサポートされます。

ワークロード固有のバージョンについては、下記を参照してください

修正された問題

  • Ambari と Oozie コンポーネントからのセキュリティ修正プログラム

近日対応予定

  • Basic および Standard A シリーズ VM の廃止。
    • 2024 年 8 月 31 日に、Basic および Standard の A シリーズ VM が廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。
    • サービスの中断を回避するには、2024 年 8 月 31 日より前に、Basic および Standard の A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。

その他のご質問がある場合は Azure サポートにご連絡ください。

HDInsight に関するご質問は Azure HDInsight - Microsoft Q&A でも受け付けています

私たちは側にいます:ここにより多くのアイデアや他のトピックを追加し、それらに投票することを歓迎します - HDInsightアイデア と、 AzureHDInsightコミュニティに関するその他の更新については、私フォローしてください

Note

最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。

リリース日: 2023 年 10 月 26 日

このリリースは、HDInsight 4.x および 5.x に適用されます。HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリースは、イメージ番号 2310140056に適用されます。 画像番号を確認する方法

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

OS のバージョン

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

ワークロード固有のバージョンについては、下記を参照してください

新機能

  • HDInsight は、2023 年 11 月 1 日から HDInsight 5.1 の一般提供を発表します。 このリリースでは、 オープン ソース コンポーネント と Microsoft の統合に対する完全なスタック更新が行われます。

    • HDInsight 5.1 最新のオープン ソース バージョン–には、最新の安定した オープンソース バージョン が付属しています。 お客様は、最新のオープン ソース機能、Microsoft のパフォーマンス向上、バグ修正の恩恵を受けることができます。
    • セキュリティで保護 – 最新バージョンには、最新のセキュリティ修正プログラムが付属しています。オープンソースのセキュリティ修正プログラムと、Microsoft によるセキュリティの強化の両方が含まれています。
    • TCOの低下 – パフォーマンスの向上により、お客様は、 強化されたオートスケールと共に、運用コストを削減できます。

  • セキュリティで保護されたストレージに対するクラスターのアクセス許可

    • お客様は、HDInsight クラスター ノードでストレージ アカウントを接続するためにセキュリティで保護されたチャネルを使用するかどうかを (クラスターの作成時に) 指定できます。

  • カスタム VNet を使用した HDInsight クラスターの作成。

    • HDInsight クラスターの全体的なセキュリティ態勢を改善するには、カスタム VNET を使用する HDInsight クラスターで、ユーザーが作成操作を実行するための Microsoft Network/virtualNetworks/subnets/join/action に対する権限を持っている必要があることを確認する必要があります。 このチェックが有効になっていない場合、お客様は作成失敗に直面する可能性があります。

  • 非 ESP ABFS クラスター [全ユーザーが読み取り可能なクラスターのアクセス許可]

    • ESP ABFS 以外のクラスターでは、Hadoop 以外のグループ ユーザーがストレージ操作用に Hadoop コマンドを実行することを制限します。 この変更により、クラスターのセキュリティ体制が向上します。

  • インライン クォータの更新。

    • これで、[マイ クォータ] ページからクォータ引き上げを直接要求できるようになりました。ダイレクト API 呼び出しの方がはるかに高速です。 API 呼び出しが失敗した場合は、クォータ引き上げの新しいサポート リクエストを作成できます。

近日対応予定

  • クラスターのセキュリティ態勢向上のために、クラスター名の最大長が 59 文字から 45 文字に変更されます。 この変更は、今後のリリースを開始するすべてのリージョンにロールアウトされます。

  • Basic および Standard A シリーズ VM の廃止。

    • 2024 年 8 月 31 日に、Basic および Standard A シリーズの VM は廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。
    • サービスの中断を回避するには、2024 年 8 月 31 日より前に、Basic および Standard の A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。

その他のご質問がある場合は Azure サポートにご連絡ください。

HDInsight に関するご質問は Azure HDInsight - Microsoft Q&A でも受け付けています

私たちは側にいます:ここにより多くのアイデアや他のトピックを追加し、それらに投票することを歓迎します - HDInsightアイデア と、 AzureHDInsightコミュニティに関するその他の更新については、私フォローしてください

Note

このリリースでは、2023 年 9 月 12 日に MSRC によってリリースされた次の CVE に対応しています。 アクションは、最新のイメージ 2308221128または2310140056に更新することです。 お客様には、これに応じて計画することをお勧めします。

CVE 重大度 CVE タイトル 注釈
CVE-2023-38156 重要 Azure HDInsight Apache Ambari Elevation の特権の脆弱性 画像2308221128または2310140056に含まれる
CVE-2023-36419 重要 Azure HDInsight Apache Oozie Workflow Scheduler の特権の昇格の脆弱性 クラスターの スクリプト アクション を適用するか、2310140056イメージに更新

Note

最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。

リリース日: 2023 年 9 月 7 日

このリリースは、HDInsight 4.x および 5.x に適用されます。HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリースは、イメージ番号 2308221128 に適用されます。 画像番号を確認する方法

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

OS のバージョン

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

ワークロード固有のバージョンについては、下記を参照してください

重要

このリリースでは、2023 年 9 月 12 日に MSRC によってリリースされた次の CVE に対応しています。 最新のイメージ 2308221128 に更新する操作が必要です。 お客様には、これに応じて計画することをお勧めします。

CVE 重大度 CVE タイトル 注釈
CVE-2023-38156 重要 Azure HDInsight Apache Ambari Elevation の特権の脆弱性 2308221128 イメージに含まれる
CVE-2023-36419 重要 Azure HDInsight Apache Oozie Workflow Scheduler の特権の昇格の脆弱性 クラスターにスクリプト アクションを適用する

近日対応予定

  • クラスターのセキュリティ態勢向上のために、クラスター名の最大長が 59 文字から 45 文字に変更されます。 この変更は、2023 年 9 月 30 日までに実装されます。
  • セキュリティで保護されたストレージに対するクラスターのアクセス許可
    • お客様は、HDInsight クラスター ノードをストレージ アカウントに接続するためにセキュリティで保護されたチャネルを使用するかどうかを (クラスターの作成時に) 指定できます。
  • インライン クォータの更新。
    • クォータの引き上げを [マイ クォータ] ページから直接要求します。API を直接呼び出すことで、より迅速に処理されます。 API 呼び出しが失敗した場合は、クォータ引き上げの新しいサポート リクエストを作成する必要があります。
  • カスタム VNet を使用した HDInsight クラスターの作成。
    • HDInsight クラスターの全体的なセキュリティ態勢を改善するには、カスタム VNET を使用する HDInsight クラスターで、ユーザーが作成操作を実行するための Microsoft Network/virtualNetworks/subnets/join/action に対する権限を持っている必要があることを確認する必要があります。 この変更は必須チェックになるため、お客様はクラスター作成エラーを回避するために、2023 年 9 月 30 日までに、これに応じた計画を行う必要があります。 
  • Basic および Standard A シリーズ VM の廃止。
    • 2024 年 8 月 31 日に、Basic および Standard の A シリーズ VM が廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。 サービスの中断を回避するには、2024 年 8 月 31 日より前に、Basic および Standard の A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。
  • 非 ESP ABFS クラスター [全ユーザーが読み取り可能なクラスター権限]
    • 非 ESP ABFS クラスターに、Hadoop 以外のグループ ユーザーがストレージ操作用に Hadoop コマンドを実行することを制限する変更を導入する予定です。 この変更は、クラスターのセキュリティ体制を改善するためのものです。 お客様は、2023 年 9 月 30 日より前に更新を計画する必要があります。 

その他のご質問がある場合は Azure サポートにご連絡ください。

HDInsight に関するご質問は Azure HDInsight - Microsoft Q&A でも受け付けています

その他のご提案、アイデア、トピックなどがあれば、HDInsight Community (azure.com) にぜひご投稿ください。投稿への投票もできます。

Note

最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。

リリース日: 2023 年 7 月 25 日

このリリースは、HDInsight 4.x および 5.x に適用されます。HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリースは、イメージ番号 2307201242 に適用されます。 画像番号を確認する方法

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

OS のバージョン

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

ワークロード固有のバージョンについては、下記を参照してください

新機能

  • HDInsight 5.1 が ESP クラスターでサポートされるようになりました。
  • Ranger 2.3.0 と Oozie 5.2.1 のアップグレード バージョンが HDInsight 5.1 の一部になりました
  • Spark 3.3.1 (HDInsight 5.1) クラスターには Hive Warehouse Connector (HWC) 2.1 が付属しており、これは Interactive Query (HDInsight 5.1) クラスターと共に動作します。
  • Ubuntu 18.04 は、Azure Linux チームによって Azure HDInsight 2023 年 7 月リリース以降の ESM (拡張セキュリティ メンテナンス) でサポートされます。

重要

このリリースでは、2023 年 8 月 8 日に MSRC によってリリースされた次の CVE が対処されます。 最新のイメージ 2307201242 に更新する操作が必要です。 お客様には、これに応じて計画することをお勧めします。

CVE 重大度 CVE タイトル
CVE-2023-35393 重要 Azure Apache Hive スプーフィングの脆弱性
CVE-2023-35394 重要 Azure HDInsight Jupyter Notebook スプーフィングの脆弱性
CVE-2023-36877 重要 Azure Apache Oozie スプーフィングの脆弱性
CVE-2023-36881 重要 Azure Apache Ambari スプーフィングの脆弱性
CVE-2023-38188 重要 Azure Apache Hadoop スプーフィングの脆弱性

近日対応予定

  • クラスターのセキュリティ態勢向上のために、クラスター名の最大長が 59 文字から 45 文字に変更されます。 お客様は、2023 年 9 月 30 日より前に更新を計画する必要があります。
  • セキュリティで保護されたストレージに対するクラスターのアクセス許可
    • お客様は、HDInsight クラスター ノードをストレージ アカウントに接続するためにセキュリティで保護されたチャネルを使用するかどうかを (クラスターの作成時に) 指定できます。
  • インライン クォータの更新。
    • クォータの引き上げを [マイ クォータ] ページから直接要求します。API を直接呼び出すことで、より迅速に処理されます。 API 呼び出しが失敗した場合は、クォータ引き上げの新しいサポート リクエストを作成する必要があります。
  • カスタム VNet を使用した HDInsight クラスターの作成。
    • HDInsight クラスターの全体的なセキュリティ態勢を改善するには、カスタム VNET を使用する HDInsight クラスターで、ユーザーが作成操作を実行するための Microsoft Network/virtualNetworks/subnets/join/action に対する権限を持っている必要があることを確認する必要があります。 この変更は必須チェックになるため、お客様はクラスター作成エラーを回避するために、2023 年 9 月 30 日までに、これに応じた計画を行う必要があります。 
  • Basic および Standard A シリーズ VM の廃止。
    • 2024 年 8 月 31 日に、Basic および Standard の A シリーズの VM が廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。 サービス中断を回避するためにも、2024 年 8 月 31 日より前に、Basic および Standard A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。
  • 非 ESP ABFS クラスター [全ユーザーが読み取り可能なクラスター権限]
    • 非 ESP ABFS クラスターに、Hadoop 以外のグループ ユーザーがストレージ操作用に Hadoop コマンドを実行することを制限する変更を導入する予定です。 この変更は、クラスターのセキュリティ体制を改善するためのものです。 お客様は、2023 年 9 月 30 日より前の更新を計画する必要があります。 

その他のご質問がある場合は Azure サポートにご連絡ください。

HDInsight に関するご質問は Azure HDInsight - Microsoft Q&A でも受け付けています

何か提案、アイデア、その他トピックなどがあれば、遠慮なく HDInsight Community (azure.com) に投稿してください。投票もできます。その他の更新については X のフォローをお願いいたします

Note

最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。

リリース日: 2023 年 5 月 8 日

このリリースは、HDInsight 4.x および 5.x に適用されます。HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリースは、イメージ番号 2304280205 に適用されます。 画像番号を確認する方法

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

OS のバージョン

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

ワークロード固有のバージョンについては、下記を参照してください

更新を示すアイコンとテキスト。

  1. Azure HDInsight 5.1 には以下の更新が含まれます。

    1. Apache HBase 2.4.11
    2. Apache Phoenix 5.1.2
    3. Apache Hive 3.1.2
    4. Apache Spark 3.3.1
    5. Apache Tez 0.9.1
    6. Apache Zeppelin 0.10.1
    7. Apache Livy 0.5
    8. Apache Kafka 3.2.0

    Note

    • すべてのコンポーネントは Hadoop 3.3.4 および ZK 3.6.3 と統合されています
    • 上記すべてのアップグレード済みコンポーネントは、パブリック プレビューの非 ESP クラスターで使用できるようになりました。

新しい機能を示すアイコンとテキスト。

  1. HDInsight 自動スケーリングの強化

    Azure HDInsight の自動スケーリングの安定性と待機時間が大幅に改善されました。重要な変更点には、スケーリングに関する意思決定のフィードバック ループの改善、スケーリングの待機時間の大幅な改善、廃止されたノードの復帰のサポートが含まれます。強化点、設定のカスタマイズ方法、クラスターを強化された自動スケーリングに移行する方法については、こちらをご覧ください。 拡張オートスケール機能は、サポートされているすべてのリージョンで 2023 年 5 月 17 日より利用可能です。

  2. Azure HDInsight ESP for Apache Kafka 2.4.1 が一般公開されました。

    Azure HDInsight ESP for Apache Kafka 2.4.1 は、2022 年 4 月からパブリック プレビュー段階にありました。 CVE の修正と安定性が著しく改善された後、Azure HDInsight ESP Kafka 2.4.1 は一般公開され、運用ワークロードへの準備が整いました。構成方法と移行の詳細をご確認ください。

  3. HDInsight のクォータ管理

    現在、HDInsight はリージョン レベルでサブスクリプションにクォータを割り当てます。 割り当てられるコアは汎用であり、VM ファミリ レベル (Dv2、Ev3、Eav4 など) では分類されていません。

    そこで、ファミリ レベルで VM クォータの詳細と分類の情報が提供される、改善されたビューが HDInsight に導入されました。この機能により、VM ファミリ レベルでリージョンの現在のクォータと残りのクォータが表示されます。 強化されたビューにより、クォータ計画の判断材料が多くなり、ユーザー エクスペリエンスが向上します。 この機能は、現時点では米国東部 EUAP リージョンの HDInsight 4.x および 5.x で使用できます。 その他のリージョンはその後に続きます。

    詳しくは、Azure HDInsight のクラスター容量計画 | Microsoft Learn をご覧ください

追加された新しいリージョンを示すアイコンとテキスト。

  • ポーランド中部

  • クラスターのセキュリティ態勢向上のために、クラスター名の最大長が 59 文字から 45 文字に変更されます。
  • セキュリティで保護されたストレージに対するクラスターのアクセス許可
    • お客様は、HDInsight クラスター ノードをストレージ アカウントに接続するためにセキュリティで保護されたチャネルを使用するかどうかを (クラスターの作成時に) 指定できます。
  • インライン クォータの更新。
    • クォータの引き上げを [マイ クォータ] ページから直接要求します。API を直接呼び出すことで、より迅速に処理されます。 API 呼び出しが失敗した場合は、クォータ引き上げの新しいサポート リクエストを作成する必要があります。
  • カスタム VNet を使用した HDInsight クラスターの作成。
    • HDInsight クラスターの全体的なセキュリティ態勢を改善するには、カスタム VNET を使用する HDInsight クラスターで、ユーザーが作成操作を実行するための Microsoft Network/virtualNetworks/subnets/join/action に対する権限を持っている必要があることを確認する必要があります。 クラスター作成エラーを回避するには、これが必須チェックになるため、ユーザーはそれに応じて計画する必要があります。
  • Basic および Standard A シリーズ VM の廃止。
    • 2024 年 8 月 31 日に、Basic および Standard の A シリーズの VM が廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。 サービス中断を回避するためにも、2024 年 8 月 31 日より前に、Basic および Standard A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。
  • 非 ESP ABFS クラスター [全ユーザーが読み取り可能なクラスターのアクセス許可]
    • 非 ESP ABFS クラスターに、Hadoop 以外のグループ ユーザーがストレージ操作用に Hadoop コマンドを実行することを制限する変更を導入する予定です。 この変更は、クラスターのセキュリティ体制を改善するためのものです。 お客様は、更新プログラムの計画を立てる必要があります。

リリース日: 2023 年 2 月 28 日

このリリースは、HDInsight 4.0 に適用されます。 および 5.0、5.1。 HDInsight リリースは、数日にわたってすべてのリージョンでご利用になれます。 このリリースは、イメージ番号 2302250400 に適用されます。 画像番号を確認する方法

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

OS のバージョン

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

ワークロード固有のバージョンについては、下記を参照してください

重要

Microsoft は CVE-2023-23408 を発行しました。これは現在のリリースでは修正されており、お客様にはクラスターを最新のイメージにアップグレードすることをお勧めします。 

新しい機能を示すアイコンとテキスト。

HDInsight 5.1

HDInsight 5.1 の新しいバージョンのロールアウトを開始しました。 オープン ソースのすべての新しいリリースは、HDInsight 5.1 で増分リリースとして追加されます。

詳細については、HDInsight 5.1.0 を参照してください

更新を示すアイコンとテキスト。

Kafka 3.2.0 アップグレード (プレビュー)

  • Kafka 3.2.0 には、いくつかの重要な新機能/機能強化が含まれています。
    • Zookeeper を 3.6.3 にアップグレード
    • Kafka Streams のサポート
    • 既定で有効になっている Kafka プロデューサーのより強力な配信保証。
    • log4j 1.x 置き換え後の関数名 reload4j。
    • パーティション リーダーにヒントを送信して、パーティションを復旧。
    • JoinGroupRequest と LeaveGroupRequest に理由を添付。
    • ブローカー数 metrics8 を追加。
    • Maker2 の改良点をミラー化します。

HBase 2.4.11 アップグレード (プレビュー)

  • このバージョンには、ブロック キャッシュ用の新しいキャッシュ メカニズムの種類の追加、HBase WEB UI から hbase:meta table を変更し、hbase:meta テーブルを表示する機能などの新機能があります。

Phoenix 5.1.2 アップグレード (プレビュー)

  • Phoenix バージョンは、このリリースで 5.1.2 にアップグレードされました。 このアップグレードには、Phoenix Query Server が含まれます。 Phoenix Query Server は、標準の Phoenix JDBC ドライバーをプロキシし、その JDBC ドライバーを呼び出すための下位互換性のあるワイヤ プロトコルを提供します。

Ambari CVE

  • 複数の Ambari CVE が修正されています。

Note

このリリースでは、ESP は Kafka と HBase でサポートされていません。

サポート終了を示すアイコンとテキスト。

参照トピック

  • 自動スケーリング
    • 自動スケーリングでの待機時間の短縮と複数の機能強化
  • クラスター名の変更の制限
    • クラスター名の最大長は、Public、Azure China、および Azure Government で 59 から 45 に変更されます。
  • セキュリティで保護されたストレージに対するクラスターのアクセス許可
    • お客様は、HDInsight クラスター ノードをストレージ アカウントに接続するためにセキュリティで保護されたチャネルを使用するかどうかを (クラスターの作成時に) 指定できます。
  • 非 ESP ABFS クラスター [全ユーザーが読み取り可能なクラスターのアクセス許可]
    • 非 ESP ABFS クラスターに、Hadoop 以外のグループ ユーザーがストレージ操作用に Hadoop コマンドを実行することを制限する変更を導入する予定です。 この変更は、クラスターのセキュリティ体制を改善するためのものです。 お客様は、更新プログラムの計画を立てる必要があります。
  • オープンソースのアップグレード
    • Apache Spark 3.3.0 と Hadoop 3.3.4 は HDInsight 5.1 で開発中であり、いくつかの重要な新機能、パフォーマンス、その他の機能強化が含まれます。

Note

最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。

リリース日: 2022 年 12 月 12 日

このリリースは、HDInsight 4.0 に適用されます。 また、5.0 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

OS のバージョン

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

新しい機能を示すアイコンとテキスト。

  • Log Analytics - お客様は、従来の監視機能を使って最新の OMS バージョン 14.19 を取得できます。 以前のバージョンを削除するには、従来の監視を無効にしてから有効にします。
  • 非アクティブな場合の Ambari ユーザーの自動 UI ログアウト。 詳細については、このページを参照してください。
  • Spark - このリリースでは、Spark 3.1.3 の新しい最適化されたバージョンが含まれています。 Microsoft は、TPC-DS ベンチマークを使って Apache Spark 3.1.2 (以前のバージョン) と Apache Spark 3.1.3 (現在のバージョン) をテストしました。 このテストは、1 TB のワークロードでの Apache Spark について、E8 V3 SKU を使って行われました。 同じハードウェア仕様を使用する TPC-DS クエリのクエリ ランタイム全体で、Apache Spark 3.1.3 (現在のバージョン) のパフォーマンスは Apache Spark 3.1.2 (以前のバージョン) を 40% 以上上回りました。 Microsoft Spark チームは、Azure Synapse と Azure HDInsight で利用できる最適化を追加しました。 詳しくは、「Azure Synapse での Apache Spark 3.1.2 に対するパフォーマンスの更新を使用してデータ ワークロードを高速化する」をご覧ください

追加された新しいリージョンを示すアイコンとテキスト。

  • カタール中部
  • ドイツ北部

変更内容を示すアイコンとテキスト。

  • HDInsight は Azul Zulu Java JDK 8 から Adoptium Temurin JDK 8 に移行したため、高品質の TCK 認定ランタイムと、Java エコシステム全体で使うための関連付けられたテクノロジをサポートするようになりました。

  • HDInsight は reload4j に移行しました。 log4j の変更は以下に適用されます

    • Apache Hadoop
    • Apache Zookeeper
    • Apache Oozie
    • Apache Ranger
    • Apache Sqoop
    • Apache Pig
    • Apache Ambari
    • Apache Kafka
    • Apache Spark
    • Apache Zeppelin
    • Apache Livy
    • Apache Rubix
    • Apache Hive
    • Apache Tez
    • Apache HBase
    • OMI
    • Apache Pheonix

更新を示すアイコンとテキスト。

HDInsight は今後 TLS1.2 を実装します。このプラットフォーム上の以前のバージョンは更新されます。 HDInsight 上で何らかのアプリケーションを実行しており、それらが TLS 1.0 と 1.1 を使っている場合は、サービスの中断を避けるために TLS 1.2 にアップグレードしてください。

詳細については、トランスポート層セキュリティ (TLS) を有効にする方法に関する記事を参照してください。

サポート終了を示すアイコンとテキスト。

2022 年 11 月 30 日から、Ubuntu 16.04 LTS 上の Azure HDInsight クラスターのサポートが終了します。 2021 年 6 月 27 日以降、HDInsight は Ubuntu 18.04 を使ったクラスター イメージのリリースを開始しました。 Ubuntu 16.04 を使ってクラスターを実行しているお客様には、2022 年 11 月 30 日までに最新の HDInsight イメージを使ってクラスターをリビルドすることをお勧めします。

クラスターの Ubuntu バージョンを確認する方法については、こちらを参照してください

  1. ターミナルで "lsb_release -a" コマンドを実行します。

  2. 出力の "Description" プロパティの値が "Ubuntu 16.04 LTS" であれば、この更新プログラムはクラスターに適用できます。

バグ修正を示すアイコンとテキスト。

  • Kafka と HBase (書き込みアクセス) のクラスターに対する可用性ゾーンの選択をサポートしました。

オープンソースのバグ修正

Hive のバグ修正

バグの修正 Apache JIRA
HIVE-26127 INSERT OVERWRITE エラー - ファイルが見つかりません
HIVE-24957 サブクエリの相関述語に COALESCE がある場合の間違った結果
HIVE-24999 HiveSubQueryRemoveRule により、複数の相関関係がある IN サブクエリに対して無効なプランが生成されます。
HIVE-24322 直接挿入がある場合、マニフェストの読み取りが失敗するときは試行 ID を確認する必要があります
HIVE-23363 DataNucleus の依存関係を 5.2 へアップグレードします
HIVE-26412 使用できるスロットをフェッチし、既定値を追加するインターフェイスを作成します
HIVE-26173 derby を 10.14.2.0 にアップグレードします
HIVE-25920 Xerce2 を 2.12.2 にアップグレードします。
HIVE-26300 CVE-2020-36518 を回避するために Jackson データ バインド バージョンを 2.12.6.1 以降にアップグレードします

リリース日: 2022 年 8 月 10 日

このリリースは、HDInsight 4.0 に適用されます。  HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

Icon_showing_new_features。

新機能

1. HDI Hadoop または Spark クラスターに外部ディスクを接続する

HDInsight クラスターには、SKU に基づいて事前定義されたディスク領域が用意されています。 この領域は、大規模なジョブのシナリオでは不十分な可能性があります。

この新機能では、ノード マネージャーのローカル ディレクトリとして使用されるディスクをさらにクラスターに追加できます。 HIVE および Spark クラスターの作成時にワーカー ノードにディスクの数を追加しますが、選択したディスクはノード マネージャーのローカル ディレクトリの一部になります。

注意

追加されたディスクは、ノード マネージャーのローカル ディレクトリに対してのみ構成されます。

詳細については、こちらを参照してください

2. 選択的ログの分析

選択的ログの分析は、パブリック プレビューのためにすべてのリージョンで使用できるようになりました。 クラスターをログ分析ワークスペースに接続できます。 有効にすると、HDInsight セキュリティ ログ、Yarn Resource Manager、システム メトリックなどのログとメトリックを表示できます。ワークロードを監視し、それらがクラスターの安定性にどのように影響しているかを確認できます。 選択的ログを使用すると、すべてのテーブルを有効または無効にしたり、ログ分析ワークスペースで選択したテーブルを有効にしたりできます。 新しいバージョンの Geneva 監視では 1 つのテーブルに複数のソースが含まれるため、テーブルごとにソースの種類を調整できます。

  1. Geneva 監視システムは、mdsd (MDS デーモン) を使用します。これは監視エージェントであり、統合ログ層を使用してログを収集するための fluentd です。
  2. 選択的ログでは、スクリプト アクションを使用して、テーブルとそのログの種類を無効または有効にします。 新しいポートを開いたり、既存のセキュリティ設定を変更したりしないため、セキュリティの変更はありません。
  3. スクリプト アクションは、指定されたすべてのノードで並列に実行され、テーブルとそのログの種類を無効または有効にするために構成ファイルを変更します。

詳細については、こちらを参照してください

Icon_showing_bug_fixes。

修正済み

ログ分析

OMS バージョン 13 を実行している Azure HDInsight と統合された Log Analytics では、最新のセキュリティ更新プログラムを適用するために OMS バージョン 14 にアップグレードする必要があります。 OMS のバージョンが 13 である古いバージョンのクラスターを使用しているお客様は、セキュリティ要件を満たすために OMS バージョン 14 をインストールする必要があります。 (現在のバージョンの確認と 14 のインストールを行う方法)

現在の OMS バージョンを確認する方法

  1. SSH を使用してクラスターにログインします。
  2. SSH クライアントで次のコマンドを実行します。
sudo /opt/omi/bin/ominiserver/ --version

OMS のアップグレードの確認方法を示すスクリーンショット。

OMS バージョンを 13 から 14 にアップグレードする方法

  1. Azure ポータル
  2. リソース グループから HDInsight クラスター リソースを選択します
  3. [スクリプト操作] を選択します
  4. [スクリプト操作を追加] パネルで、[スクリプトの種類] を [カスタム] として選択します
  5. Bash スクリプト URL ボックスにリンク https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh を貼り付けます
  6. [Node type(s)] (ノードの種類) を選択します
  7. [作成] を選択します

OMS のアップグレードの実行方法を示すスクリーンショット。

  1. 次の手順を使用して、パッチが正常にインストールされたことを確認します。

  2. SSH を使用してクラスターにログインします。

  3. SSH クライアントで次のコマンドを実行します。

sudo /opt/omi/bin/ominiserver/ --version

その他のバグ修正

  1. TFile が破損しているか、空の場合に、Yarn ログの CLI でログが取得できませんでした。
  2. Azure Active Directory から OAuth トークンを取得しているときの無効なサービス プリンシパルの詳細エラーを解決しました。
  3. 100 個を超えるワーカー ノードが構成されている場合のクラスター作成の信頼性が向上しました。

オープンソースのバグ修正

TEZ のバグ修正

バグの修正 Apache JIRA
Tez ビルドの失敗: FileSaver.jsが見つかりません TEZ-4411
ウェアハウスと scratchdir が異なる FS 上にある場合の不適切な FS 例外 TEZ-4406
32 MB を超える構成で TezUtils.createConfFromByteString が com.google.protobuf.CodedInputStream 例外をスローする TEZ-4142
TezUtils::createByteStringFromConf では、DeflaterOutputStream ではなく snappy を使用する必要がある TEZ-4113
protobuf 依存関係を 3.x に更新する TEZ-4363

Hive のバグ修正

バグの修正 Apache JIRA
ORC 分割生成でのパフォーマンスの最適化 HIVE-21457
テーブル名が "delta" で始まるときにテーブルを ACID として読み取らないようにするが、テーブルがトランザクションではなく、BI 分割戦略が使用される HIVE-22582
AcidUtils#getLogicalLength から FS#exists 呼び出しを削除 HIVE-23533
ベクター化された OrcAcidRowBatchReader.computeOffset とバケットの最適化 HIVE-17917

既知の問題

HDInsight は Apache HIVE 3.1.2 と互換性があります。 このリリースのバグにより、Hive バージョンは Hive インターフェイスでは 3.1.0 と表示されます。 ただし、機能に影響はありません。

リリース日: 2022 年 8 月 10 日

このリリースは、HDInsight 4.0 に適用されます。  HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。

HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

Icon_showing_new_features。

新機能

1. HDI Hadoop または Spark クラスターに外部ディスクを接続する

HDInsight クラスターには、SKU に基づいて事前定義されたディスク領域が用意されています。 この領域は、大規模なジョブのシナリオでは不十分な可能性があります。

この新機能では、ノード マネージャーのローカル ディレクトリとして使用されるディスクをさらにクラスターに追加できます。 HIVE および Spark クラスターの作成時にワーカー ノードにディスクの数を追加しますが、選択したディスクはノード マネージャーのローカル ディレクトリの一部になります。

注意

追加されたディスクは、ノード マネージャーのローカル ディレクトリに対してのみ構成されます。

詳細については、こちらを参照してください

2. 選択的ログの分析

選択的ログの分析は、パブリック プレビューのためにすべてのリージョンで使用できるようになりました。 クラスターをログ分析ワークスペースに接続できます。 有効にすると、HDInsight セキュリティ ログ、Yarn Resource Manager、システム メトリックなどのログとメトリックを表示できます。ワークロードを監視し、それらがクラスターの安定性にどのように影響しているかを確認できます。 選択的ログを使用すると、すべてのテーブルを有効または無効にしたり、ログ分析ワークスペースで選択したテーブルを有効にしたりできます。 新しいバージョンの Geneva 監視では 1 つのテーブルに複数のソースが含まれるため、テーブルごとにソースの種類を調整できます。

  1. Geneva 監視システムは、mdsd (MDS デーモン) を使用します。これは監視エージェントであり、統合ログ層を使用してログを収集するための fluentd です。
  2. 選択的ログでは、スクリプト アクションを使用して、テーブルとそのログの種類を無効または有効にします。 新しいポートを開いたり、既存のセキュリティ設定を変更したりしないため、セキュリティの変更はありません。
  3. スクリプト アクションは、指定されたすべてのノードで並列に実行され、テーブルとそのログの種類を無効または有効にするために構成ファイルを変更します。

詳細については、こちらを参照してください

Icon_showing_bug_fixes。

修正済み

ログ分析

OMS バージョン 13 を実行している Azure HDInsight と統合された Log Analytics では、最新のセキュリティ更新プログラムを適用するために OMS バージョン 14 にアップグレードする必要があります。 OMS のバージョンが 13 である古いバージョンのクラスターを使用しているお客様は、セキュリティ要件を満たすために OMS バージョン 14 をインストールする必要があります。 (現在のバージョンの確認と 14 のインストールを行う方法)

現在の OMS バージョンを確認する方法

  1. SSH を使用してクラスターにログインします。
  2. SSH クライアントで次のコマンドを実行します。
sudo /opt/omi/bin/ominiserver/ --version

OMS のアップグレードの確認方法を示すスクリーンショット。

OMS バージョンを 13 から 14 にアップグレードする方法

  1. Azure ポータル
  2. リソース グループから HDInsight クラスター リソースを選択します
  3. [スクリプト操作] を選択します
  4. [スクリプト操作を追加] パネルで、[スクリプトの種類] を [カスタム] として選択します
  5. Bash スクリプト URL ボックスにリンク https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh を貼り付けます
  6. [Node type(s)] (ノードの種類) を選択します
  7. [作成] を選択します

OMS のアップグレードの実行方法を示すスクリーンショット。

  1. 次の手順を使用して、パッチが正常にインストールされたことを確認します。

  2. SSH を使用してクラスターにログインします。

  3. SSH クライアントで次のコマンドを実行します。

sudo /opt/omi/bin/ominiserver/ --version

その他のバグ修正

  1. TFile が破損しているか、空の場合に、Yarn ログの CLI でログが取得できませんでした。
  2. Azure Active Directory から OAuth トークンを取得しているときの無効なサービス プリンシパルの詳細エラーを解決しました。
  3. 100 個を超えるワーカー ノードが構成されている場合のクラスター作成の信頼性が向上しました。

オープンソースのバグ修正

TEZ のバグ修正

バグの修正 Apache JIRA
Tez ビルドの失敗: FileSaver.jsが見つかりません TEZ-4411
ウェアハウスと scratchdir が異なる FS 上にある場合の不適切な FS 例外 TEZ-4406
32 MB を超える構成で TezUtils.createConfFromByteString が com.google.protobuf.CodedInputStream 例外をスローする TEZ-4142
TezUtils::createByteStringFromConf では、DeflaterOutputStream ではなく snappy を使用する必要がある TEZ-4113
protobuf 依存関係を 3.x に更新する TEZ-4363

Hive のバグ修正

バグの修正 Apache JIRA
ORC 分割生成でのパフォーマンスの最適化 HIVE-21457
テーブル名が "delta" で始まるときにテーブルを ACID として読み取らないようにするが、テーブルがトランザクションではなく、BI 分割戦略が使用される HIVE-22582
AcidUtils#getLogicalLength から FS#exists 呼び出しを削除 HIVE-23533
ベクター化された OrcAcidRowBatchReader.computeOffset とバケットの最適化 HIVE-17917

既知の問題

HDInsight は Apache HIVE 3.1.2 と互換性があります。 このリリースのバグにより、Hive バージョンは Hive インターフェイスでは 3.1.0 と表示されます。 ただし、機能に影響はありません。

リリース日: 2022 年 6 月 3 日

このリリースは、HDInsight 4.0 に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日にわたりリリースがライブになるまでお待ちください。

リリースの概要

Spark v3.1.2 の Hive Warehouse Connector (HWC)

Hive Warehouse Connector (HWC) を使用すると、Hive および Spark の独自の機能を活用して、強力なビッグデータ アプリケーションを構築できます。 HWC は現在、Spark v2.4 でのみサポートされています。 この機能は、Spark を使用する Hive テーブルでの ACID トランザクションを許可することでビジネス価値を高めます。 この機能は、データ資産で Hive と Spark の両方を使用するお客様に役立ちます。 詳細については、「Apache Spark & Hive - Hive Warehouse Connector - Azure HDInsight | Microsoft Docs」を参照してください

Ambari

  • スケーリングとプロビジョニングの改善に関する変更
  • HDI Hive が OSS バージョン 3.1.2 と互換性を持つようになりました

HDI Hive 3.1 バージョンが OSS Hive 3.1.2 にアップグレードされました。 このバージョンには、オープン ソースの Hive 3.1.2 バージョンで使用できるすべての修正プログラムと機能があります。

注意

Spark

  • Azure ユーザー インターフェイスを使用して HDInsight 用の Spark クラスターを作成している場合は、ドロップダウン リストに以前のバージョンと共に他のバージョンの Spark 3.1 (HDI 5.0) が表示されます。 このバージョンは、Spark 3.1 (HDI 4.0) の名前が変更されたバージョンです。 これは UI レベルの変更に過ぎません。これは、既存のユーザーや ARM テンプレートを既に使用しているユーザーには影響しません。

Spark 3.1 (HDI 5.0) のスクリーンショット。

注意

Interactive Query

  • Interactive Query クラスターを作成する場合は、ドロップダウン リストに Interactive Query 3.1 (HDI 5.0) として他のバージョンが表示されます。
  • ACID のサポートが必要な Hive と共に Spark 3.1 バージョンを使用する場合は、このバージョンの Interactive Query 3.1 (HDI 5.0) を選択する必要があります。

Interactive Query 3.1 (HDI 5.0) のスクリーンショット。

TEZ のバグ修正

バグの修正 Apache JIRA
32 MB を超える構成で TezUtils.createConfFromByteString が com.google.protobuf.CodedInputStream 例外をスローする TEZ-4142
TezUtils createByteStringFromConf では、DeflaterOutputStream ではなく snappy を使用する必要があります TEZ-4113

HBase のバグ修正

バグの修正 Apache JIRA
TableSnapshotInputFormat では、HFiles のスキャンに ReadType.STREAM を使用する必要があります HBASE-26273
TableSnapshotInputFormat で scanMetrics を無効にするオプションを追加 HBASE-26330
バランサーの実行時の ArrayIndexOutOfBoundsException を修正 HBASE-22739

Hive のバグ修正

バグの修正 Apache JIRA
dynpart の並べ替えの最適化で 'distribute by' 句を使用してデータを挿入する場合の NPE HIVE-18284
パーティションの削除中にパーティション フィルター処理を使用する MSCK REPAIR コマンドが失敗する HIVE-23851
capacity<=0 の場合に間違った例外がスローされる HIVE-25446
HastTable (インターフェイス) の並列読み込みをサポート HIVE-25583
既定で HiveServer2 に MultiDelimitSerDe を含める HIVE-20619
jdbc-standalone jar から glassfish.jersey と mssql-jdbc クラスを削除 HIVE-22134
MM テーブルに対して圧縮を実行する場合の null ポインター例外。 HIVE-21280
knox を使用した大きなサイズの Hive クエリがパイプの破損で失敗する (書き込みに失敗) HIVE-22231
ユーザーがバインド ユーザーを設定する機能の追加 HIVE-21009
UDF を実装し、その内部表現とグレゴリオ ユリウス暦ハイブリッド カレンダーを使用して日付とタイムスタンプを解釈する HIVE-22241
実行レポートを表示または非表示にする Beeline オプション HIVE-22204
Tez: SplitGenerator により、Tez に存在しないプラン ファイルの検索が試行される HIVE-22169
LLAP キャッシュ hotpath からコストのかかるログを削除 HIVE-22168
UDF: FunctionRegistry が org.apache.hadoop.hive.ql.udf.UDFType クラスで同期する HIVE-22161
プロパティが false に設定されている場合にクエリ ルーティング アペンダーを作成できないようにする HIVE-22115
partition-eval のクロスクエリ同期を削除 HIVE-22106
計画中に Hive スクラッチ ディレクトリの設定をスキップする HIVE-21182
RPC がオンの場合、tez のスクラッチ ディレクトリの作成をスキップする HIVE-21171
Re2J 正規表現エンジンを使用するように Hive UDF を切り替える HIVE-19661
hive 3 の bucketing_version 1 を使用して移行されたクラスター化テーブルで、挿入に bucketing_version 2 が使用される HIVE-22429
バケット: バケット バージョン 1 でデータが正しくパーティション分割されない HIVE-21167
新しく追加されたファイルへの ASF ライセンス ヘッダーの追加 HIVE-22498
mergeCatalog をサポートするためのスキーマ ツールの機能強化 HIVE-22498
TEZ UNION ALL と UDTF を含む Hive でデータが失われる HIVE-21915
ヘッダーとフッターが存在する場合でも、テキスト ファイルを分割する HIVE-21924
読み込まれたファイルの列がテーブル スキーマに存在するものよりも多い場合、MultiDelimitSerDe から最後の列に間違った結果が返されます HIVE-22360
LLAP 外部クライアント - LlapBaseInputFormat#getSplits() 占有領域を削減する必要がある HIVE-22221
マスク列を持つテーブルの結合を含むクエリが書き換えられた場合は、予約キーワードを持つ列名がエスケープされない (担当: Zoltan Matyus、レビュー: Zoltan Haindrich) HIVE-22208
AMReporter 関連の RuntimeException での LLAP シャットダウンを防止 HIVE-22113
LLAP 状態のサービス ドライバーが間違った Yarn アプリ ID で停止する可能性がある HIVE-21866
OperationManager.queryIdOperation で複数の queryId が適切にクリーンアップされない HIVE-22275
ノード マネージャーを停止すると、LLAP サービスの再起動がブロックされる HIVE-22219
多数のパーティションが削除された場合の StackOverflowError HIVE-15956
一時ディレクトリが削除されたときにアクセス確認が失敗する HIVE-22273
特定の境界条件における左外部マップ結合での間違った結果や ArrayOutOfBound 例外を修正 HIVE-22120
pom.xml から配布管理タグを削除 HIVE-19667
深く入れ子になったサブクエリがある場合、解析時間が長くなる可能性がある HIVE-21980
ALTER TABLE t SET TBLPROPERTIES ('EXTERNAL'='TRUE') の場合; TBL_TYPE 属性の変更が CAPS 以外で反映されない HIVE-20057
JDBC: HiveConnection で log4j インターフェイスがシェーディングされる HIVE-18874
poms のリポジトリ URL を更新する - ブランチ 3.1 バージョン HIVE-21786
マスターとブランチ 3.1 で DBInstall テストが破損している HIVE-21758
バケット化されたテーブルにデータを読み込むと、パーティションの指定が無視され、既定のパーティションにデータが読み込まれる HIVE-21564
タイムスタンプ、またはローカル タイム ゾーン リテラルのタイムスタンプを持つ結合条件を使用するクエリで SemanticException がスローされる HIVE-21613
列のコンピューティング統計の分析で HDFS にステージング ディレクトリが残る HIVE-21342
Hive バケット計算での互換性のない変更 HIVE-21376
他の承認者が使用されていない場合にフォールバック承認者を提供 HIVE-20420
一部の alterPartitions 呼び出しで 'NumberFormatException: null' がスローされる HIVE-18767
HiveServer2: http トランスポート用の事前認証されたサブジェクトが、場合によっては http 通信の期間全体にわたって保持されない HIVE-20555

リリース日: 2022 年 3 月 10 日

このリリースは、HDInsight 4.0 に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日にわたりリリースがライブになるまでお待ちください。

このリリースの OS バージョンは次のとおりです。

  • HDInsight 4.0: Ubuntu 18.04.5

Spark 3.1 の一般提供開始

HDInsight 4.0 リリースでは、Spark 3.1 が一般提供されるようになりました。 このリリースには以下が含まれます

  • アダプティブ クエリの実行
  • 並べ替えマージ結合からブロードキャスト ハッシュ結合への変換
  • Spark Catalyst Optimizer
  • 動的なパーティションの排除
  • お客様は、Spark 3.0 (プレビュー) クラスターではなく、新しい Spark 3.1 クラスターを作成できます。

詳細については、Microsoft Tech Community の「Apache Spark 3.1 が HDInsight で一般提供されます」を参照してください。

機能強化の完全な一覧については、Apache Spark 3.1 のリリース ノートを参照してください。

移行の詳細については、「移行ガイド」を参照してください。

Kafka 2.4 の一般提供開始

Kafka 2.4.1 が一般提供されるようになりました。 詳細については、Kafka 2.4.1 のリリース ノートを参照してください。その他の機能としては、使用できるようになった MirrorMaker 2、新しいメトリック カテゴリ AtMinIsr トピック パーティション、インデックス ファイルの遅延オンデマンド mmap によるブローカーの起動時間の改善、ユーザーのポーリング動作を観察するためのコンシューマー メトリックの増加などがあります。

HWC の Map データ型の HDInsight 4.0 でのサポート

このリリースには、Spark シェル アプリケーションによる HWC 1.0 (Spark 2.4) の Map データ型のサポートと、HWC でサポートされているその他すべての Spark クライアントが含まれています。 他のデータ型と同様に、次の機能強化が含まれています。

ユーザーは次のことができます

  • Map データ型を含む任意の列で Hive テーブルを作成し、そのテーブルにデータを挿入して、そこから結果を読み取ります。
  • Map 型で Apache Spark データフレームを作成し、バッチとストリームの読み取りと書き込みを実行します。

新しいリージョン

HDInsight の地理的プレゼンスが、2 つの新しいリージョン (中国東部 3 と中国北部 3) に拡張されました。

OSS バックポートの変更

Map データ型をサポートする HWC 1.0 (Spark 2.4) を含む Hive に含まれる OSS バックポート。

このリリースで OSS バックポートされた Apache JIRA:

影響を受ける機能 Apache JIRA
IN/(NOT IN) を使用するメタスト直接 SQL クエリを、SQL DB で許容される最大パラメーター数に基づいて分割する必要がある HIVE-25659
log4j 2.16.0 を 2.17.0 にアップグレードする HIVE-25825
Flatbuffer のバージョンを更新する HIVE-22827
Map データ型を Arrow 形式でネイティブにサポートする HIVE-25553
LLAP 外部クライアント - 親構造体が null の場合に入れ子になった値を処理する HIVE-25243
Arrow のバージョンを 0.11.0 にアップグレードする HIVE-23987

非推奨の通知

HDInsight での Azure Virtual Machine Scale Sets

HDInsight では、クラスターのプロビジョニングに Azure Virtual Machine Scale Sets が使用されなくなります。破壊的変更は予想されません。 Virtual Machine Scale Sets 上の既存の HDInsight クラスターに影響はありません。最新のイメージ上の新しいクラスターで、Virtual Machine Scale Sets が使用できなくなります。

Azure HDInsight HBase ワークロードのスケーリングは、手動スケーリングを使用する場合にのみサポートされる

2022 年 3 月 1 日から、HDInsight では HBase の手動スケーリングのみがサポートされるようになります。クラスターの実行に影響はありません。 新しい HBase クラスターでは、スケジュール ベースの自動スケーリングを有効にできません。 HBase クラスターの手動スケーリング方法の詳細については、「Azure HDInsight クラスターを手動でスケーリングする」を参照してください

リリース日: 2021 年 12 月 27 日

このリリースは、HDInsight 4.0 に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日にわたりリリースがライブになるまでお待ちください。

このリリースの OS バージョンは次のとおりです。

  • HDInsight 4.0: Ubuntu 18.04.5 LTS

HDInsight 4.0 のイメージは、「CVE-2021-44228 Apache Log4j 2 に対するマイクロソフトの対応」に記載されている Log4j の脆弱性を緩和するために更新されています。

Note

  • 2021 年 12 月 27 日 00:00 UTC 以降に作成される HDI 4.0 クラスターは、log4j の脆弱性を軽減する、更新されたバージョンのイメージを使用して作成されます。 したがって、お客様はこれらのクラスターにパッチを適用する必要はなく、クラスターの再起動も不要です。
  • 2021 年 12 月 16 日 01:15 UTC から 2021 年 12 月 27 日 00:00 UT Cの間に作成された新しい HDInsight 4.0 クラスター、HDInsight 3.6、または 2021 年 12 月 16 日以降にピン留めされたサブスクリプションでは、クラスターが作成された 1 時間以内にパッチが自動適用されます。ただし、お客様はその後、パッチの適用を完了するためにノードを再起動する必要があります (自動的に再起動される Kafka 管理ノードを除く)。

リリース日: 2021 年 7 月 27 日

このリリースは HDInsight 3.6 と HDInsight 4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。

このリリースの OS バージョンは次のとおりです。

  • HDInsight 3.6: Ubuntu 16.04.7 LTS
  • HDInsight 4.0: Ubuntu 18.04.5 LTS

新機能

制限付きパブリック接続に対する Azure HDInsight のサポートは、2021 年 10 月 15 日に一般提供されます

すべてのリージョンの Azure HDInsight で、制限付きパブリック接続がサポートされるようになります。 この機能の主な特徴を次に示します。

  • クラスターからリソース プロバイダーに送信されるように、リソース プロバイダーからクラスターへの通信を反転する機能
  • HDInsight クラスターがプライベート ネットワークのみを使用してリソースにアクセスするため、独自の Private Link 対応リソース (ストレージ、SQL、キー コンテナーなど) の持ち込みのサポート
  • パブリック IP アドレスはプロビジョニングされたリソースではありません

この新機能を使用すると、HDInsight 管理 IP のインバウンド ネットワーク セキュリティ グループ (NSG) のサービス タグ規則をスキップすることもできます。 パブリック接続の制限の詳細を確認してください

プライベート エンドポイントを使用して、プライベート リンク経由で HDInsight クラスターに接続できるようになります。 プライベート リンクは、VNET ピアリングが使用できない、または有効になっていないクロス VNET シナリオで使用できます。

Azure Private Link を使用すると、お使いの仮想ネットワーク内のプライベート エンドポイント経由で Azure PaaS サービス (Azure Storage、SQL Database など) と Azure でホストされている顧客所有の、またはパートナー サービスにアクセスできます。

仮想ネットワークとサービスの間のトラフィックは、Microsoft のバックボーン ネットワークを通ります。 パブリック インターネットにサービスを公開する必要はありません。

プライベート リンクの有効化の詳細を確認してください。 

新しい Azure Monitor 統合エクスペリエンス (プレビュー)

新しい Azure Monitor 統合エクスペリエンスは、このリリースで、米国東部と西ヨーロッパでプレビュー段階になります。 新しい Azure Monitor エクスペリエンスについては、こちらをご覧ください。

非推奨

HDInsight 3.6 バージョンは、2022 年 10 月 1 日より非推奨となりました。

動作の変更

HDInsight Interactive Query がスケジュールベースの自動スケーリングのみをサポート

お客様のシナリオがますます成熟し、多様化する中、Interactive Query (LLAP) の負荷ベースの自動スケーリングに制限がいくつかあることがわかりました。 これらの制限は、LLAP クエリ ダイナミクスの性質、将来の負荷予測の精度の問題、LLAP スケジューラのタスク再配布の問題によるものです。 こうした制限により、自動スケーリングが有効になっていると、LLAP クラスター上でのクエリの実行が遅くなる可能性があります。 パフォーマンスへの影響は、自動スケーリングのコスト面での利点を上回る可能性があります。

2021 年 7 月以降、HDInsight 内の Interactive Query ワークロードでは、スケジュールベースの自動スケーリングのみがサポートされます。 新しい Interactive Query クラスター上では負荷ベースの自動スケーリングを有効にできません。 実行中の既存のクラスターについては、前述の既知の制限付きで引き続き実行できます。

Microsoft では、LLAP のスケジュールベースの自動スケーリングに移行することを推奨しています。 Grafana Hive ダッシュボードを使用すると、クラスターの現在の使用パターンを分析できます。 詳細については、「Azure HDInsight クラスターを自動的にスケール調整する」を参照してください。

今後の変更

今後のリリースでは、次の変更が行われます。

ESP Spark クラスターの組み込み LLAP コンポーネントが削除されます

HDInsight 4.0 ESP Spark クラスターには、両方のヘッド ノードで実行される組み込みの LLAP コンポーネントがあります。 ESP Spark クラスターの LLAP コンポーネントは、もともと HDInsight 3.6 ESP Spark 用に追加されましたが、HDInsight 4.0 ESP Spark の実際のユーザー ケースはありません。 2021 年 9 月に予定されている次のリリースでは、HDInsight で HDInsight 4.0 ESP Spark クラスターから組み込みの LLAP コンポーネントが削除されます。 この変更により、ヘッド ノードのワークロードをオフロードできるようになり、ESP Spark と ESP Interactive Hive クラスターの種類の間の混乱を回避できます。

新しいリージョン

  • 米国西部 3
  • Jio インド西部
  • オーストラリア中部

コンポーネントのバージョンの変更

このリリースでは、次のコンポーネント バージョンが変更されました。

  • 1\.5.1 から 1.5.9 への ORC バージョン

HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。

移植された JIRA

このリリースで移植された Apache JIRA を次に示します。

影響を受ける機能 Apache JIRA
日付/タイムスタンプ HIVE-25104
HIVE-24074
HIVE-22840
HIVE-22589
HIVE-22405
HIVE-21729
HIVE-21291
HIVE-21290
UDF HIVE-25268
HIVE-25093
HIVE-22099
HIVE-24113
HIVE-22170
HIVE-22331
ORC HIVE-21991
HIVE-21815
HIVE-21862
テーブル スキーマ HIVE-20437
HIVE-22941
HIVE-21784
HIVE-21714
HIVE-18702
HIVE-21799
HIVE-21296
ワークロード管理 HIVE-24201
圧縮 HIVE-24882
HIVE-23058
HIVE-23046
具体化されたビュー HIVE-22566

HDInsight Dv2 Virtual Machines の価格修正

2021 年 4 月 25 日、HDInsight 上の Dv2 VM シリーズの価格の誤りが修正されました。 この価格の誤りにより、4 月 25 日より前の一部のお客様の請求書に減額された料金が示されていましたが、これが HDInsight 価格ページと HDInsight 料金計算ツールで公開されていたものと一致するように修正されました。 この価格の誤りは、Dv2 VM を使用している以下のリージョンのお客様に影響を与えました。

  • カナダ中部
  • カナダ東部
  • 東アジア
  • 南アフリカ北部
  • 東南アジア
  • アラブ首長国連邦中部

2021 年 4 月 25 日以降、お客様のアカウントに、Dv2 VM の修正後の金額が反映されます。 変更に先立ち、お客様への通知をサブスクリプション所有者にお送りしました。 料金計算ツール、HDInsight 価格ページ、Azure portal 内の [HDInsight クラスターの作成] ブレードのいずれかを使って、ご自身のリージョン内の Dv2 VM の修正されたコストをご確認いただくことができます。

お客様が他に対処する必要ありません。 価格修正は、2021 年 4 月 25 日以降に指定されたリージョン内でご利用いただいた分にのみ適用されます。それ以前のご利用分には適用されません。 最高のパフォーマンスとコスト効率を確実に実現するために、Dv2 クラスターの価格、VCPU、RAM を確認し、Dv2 の仕様と Ev3 VM を比較して、ご自身のソリューションで新しい VM シリーズのいずれかを利用することでメリットを得られる可能性があるかどうかを検討することをお勧めします。

リリース日: 2021 年 6 月 2 日

このリリースは HDInsight 3.6 と HDInsight 4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。

このリリースの OS バージョンは次のとおりです。

  • HDInsight 3.6: Ubuntu 16.04.7 LTS
  • HDInsight 4.0: Ubuntu 18.04.5 LTS

新機能

OS バージョンのアップグレード

Ubuntu のリリース サイクルに関する記事で言及されているように、Ubuntu 16.04 カーネルは、2021 年 4 月にサポート終了 (EOL) となります。 このリリースでは、Ubuntu 18.04 で実行される新しい HDInsight 4.0 クラスター イメージのロールアウトが開始されました。 新しく作成された HDInsight 4.0 クラスターは、使用可能になると、Ubuntu 18.04 で既定で実行されます。 Ubuntu 16.04 上の既存のクラスターは、現状のまま完全にサポートされ実行されます。

HDInsight 3.6 は、Ubuntu 16.04 で引き続き実行されます。 2021 年 7 月 1 日からは、Basic サポートに (Standard サポートから) 変更されます。 日付とサポート オプションの詳細については、「Azure HDInsight のバージョン」を参照してください。 Ubuntu 18.04 は、HDInsight 3.6 ではサポートされません。 Ubuntu 18.04 を使用する場合は、クラスターを HDInsight 4.0 に移行する必要があります。

既存の HDInsight 4.0 クラスターを Ubuntu 18.04 に移動する場合は、クラスターを削除して再作成する必要があります。 Ubuntu 18.04 のサポートが利用可能になった後、クラスターの作成または再作成を計画してください。

新しいクラスターを作成した後は、クラスターに SSH で接続し、sudo lsb_release -a を実行して Ubuntu 18.04 で実行されることを確認できます。 運用環境に移行する前に、まずテスト サブスクリプションでアプリケーションをテストすることをお勧めします。

HBase 高速書き込みクラスターでのスケーリングの最適化

HDInsight では、HBase 高速書き込み対応クラスターのスケーリングに関して、いくつかの機能強化と最適化が行われました。 HBase 高速書き込みの詳細を確認してください。

非推奨

このリリースに非推奨はありません。

動作の変更

HDInsight 4.0 用のヘッド ノードとして Stardard_A5 VM サイズが無効になった

HDInsight クラスターのヘッド ノードは、クラスターの初期化と管理を担当します。 Standard_A5 VM サイズには、HDInsight 4.0 のヘッド ノードとして信頼性の問題があります。 このリリース以降、お客様は、ヘッド ノードとして Standard_A5 VM サイズを使用して、新しいクラスターを作成できなくなります。 E2_v3 や E2s_v3 など、他の 2 コア VM は使用できます。 既存のクラスターはそのまま実行されます。 運用 HDInsight クラスターの高可用性と信頼性を確保するために、ヘッド ノードには 4 コアの VM を強くお勧めします。

Azure 仮想マシン スケール セットで実行されているクラスターでのネットワーク インターフェイス リソースの非表示

HDInsight は Azure 仮想マシン スケール セットに段階的に移行しています。 仮想マシンのネットワーク インターフェイスは、Azure 仮想マシン スケール セットを使用するクラスターの顧客に対しては表示されなくなりました。

今後の変更

今後のリリースでは、次の変更が行われます。

HDInsight Interactive Query がスケジュールベースの自動スケーリングのみをサポート

お客様のシナリオがますます成熟し、多様化する中、Interactive Query (LLAP) の負荷ベースの自動スケーリングに制限がいくつかあることがわかりました。 これらの制限は、LLAP クエリ ダイナミクスの性質、将来の負荷予測の精度の問題、LLAP スケジューラのタスク再配布の問題によるものです。 こうした制限により、自動スケーリングが有効になっていると、LLAP クラスター上でのクエリの実行が遅くなる可能性があります。 パフォーマンスへの影響は、自動スケーリングのコスト面での利点を上回る可能性があります。

2021 年 7 月以降、HDInsight 内の Interactive Query ワークロードでは、スケジュールベースの自動スケーリングのみがサポートされます。 新しい Interactive Query クラスター上では自動スケーリングを有効にできません。 実行中の既存のクラスターについては、前述の既知の制限付きで引き続き実行できます。

Microsoft では、LLAP のスケジュールベースの自動スケーリングに移行することを推奨しています。 Grafana Hive ダッシュボードを使用すると、クラスターの現在の使用パターンを分析できます。 詳細については、「Azure HDInsight クラスターを自動的にスケール調整する」を参照してください。

VM ホストの名前付けが、2021 年 7 月 1 日に変更されます

HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このサービスは Azure 仮想マシン スケール セットに段階的に移行しています。 この移行により、クラスター ホスト名の FQDN 名の形式が変更され、ホスト名に含まれる番号の順番は保証されなくなります。 各ノードの FQDN 名を取得する場合は、「クラスター ノードのホスト名を検索する」を参照してください。

Azure 仮想マシン スケール セットに移行する

HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このサービスは、Azure 仮想マシン スケール セットに段階的に移行します。 プロセス全体には数か月かかる場合があります。 リージョンとサブスクリプションが移行された後は、新しく作成された HDInsight クラスターは、お客様が操作することなく、仮想マシン スケール セット上で動作するようになります。 破壊的変更は想定されていません。

リリース日: 2021 年 3 月 24 日

新機能

Spark 3.0 プレビュー

HDInsight では、プレビュー機能として HDInsight 4.0 に Spark 3.0.0 のサポートを追加しました。

Kafka 2.4 プレビュー

HDInsight では、プレビュー機能として HDInsight 4.0 に Kafka 2.4.1 のサポートを追加しました。

Eav4 シリーズのサポート

HDInsight のこのリリースでは、Eav4 シリーズのサポートが追加されました。

Azure 仮想マシン スケール セットへの移行

HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このサービスは Azure 仮想マシン スケール セットに段階的に移行しています。 プロセス全体には数か月かかる場合があります。 リージョンとサブスクリプションが移行された後は、新しく作成された HDInsight クラスターは、お客様が操作することなく、仮想マシン スケール セット上で動作するようになります。 破壊的変更は想定されていません。

非推奨

このリリースに非推奨はありません。

動作の変更

既定のクラスター バージョンは 4.0 に変更されています

HDInsight クラスターの既定のバージョンは 3.6 から 4.0 に変更されています。 使用可能なバージョンの詳細については、「使用可能なバージョン」を参照してください。 HDInsight 4.0 の新機能については、こちらを参照してください。

既定のクラスター VM サイズが Ev3 シリーズに変更

既定のクラスター VM のサイズは、D シリーズから Ev3 シリーズに変更されています。 この変更は、ヘッド ノードとワーカー ノードに適用されます。 この変更がテスト済みのワークフローに影響を与えることを回避するには、使用する VM サイズを ARM テンプレートで指定します。

Azure 仮想マシン スケール セットで実行されているクラスターでのネットワーク インターフェイス リソースの非表示

HDInsight は Azure 仮想マシン スケール セットに段階的に移行しています。 仮想マシンのネットワーク インターフェイスは、Azure 仮想マシン スケール セットを使用するクラスターの顧客に対しては表示されなくなりました。

今後の変更

今後のリリースでは、次の変更が行われます。

HDInsight Interactive Query がスケジュールベースの自動スケーリングのみをサポート

お客様のシナリオがますます成熟し、多様化する中、Interactive Query (LLAP) の負荷ベースの自動スケーリングに制限がいくつかあることがわかりました。 これらの制限は、LLAP クエリ ダイナミクスの性質、将来の負荷予測の精度の問題、LLAP スケジューラのタスク再配布の問題によるものです。 こうした制限により、自動スケーリングが有効になっていると、LLAP クラスター上でのクエリの実行が遅くなる可能性があります。 このパフォーマンスへの影響は、自動スケーリングのコスト面での利点を上回る可能性があります。

2021 年 7 月以降、HDInsight 内の Interactive Query ワークロードでは、スケジュールベースの自動スケーリングのみがサポートされます。 新しい Interactive Query クラスター上では自動スケーリングを有効にできません。 実行中の既存のクラスターについては、前述の既知の制限付きで引き続き実行できます。

Microsoft では、LLAP のスケジュールベースの自動スケーリングに移行することを推奨しています。 Grafana Hive ダッシュボードを使用すると、クラスターの現在の使用パターンを分析できます。 詳細については、「Azure HDInsight クラスターを自動的にスケール調整する」を参照してください。

OS バージョンのアップグレード

現在、HDInsight クラスターは Ubuntu 16.04 LTS で実行されています。 Ubuntu のリリース サイクルに関する記事で言及されているように、Ubuntu 16.04 カーネルは、2021 年 4 月にサポート終了 (EOL) となります。 2021 年 5 月から、Ubuntu 18.04 で実行される新しい HDInsight 4.0 クラスター イメージのロールアウトが開始されます。 新しく作成された HDInsight 4.0 クラスターは、使用可能になった後、既定では Ubuntu 18.04 で実行されます。 Ubuntu 16.04 上の既存のクラスターは、完全サポートでそのまま実行されます。

HDInsight 3.6 は、Ubuntu 16.04 で引き続き実行されます。 2021 年 6 月 30 日で標準サポートが終了し、2021 年 7 月 1 日から Basic サポートに変更されます。 日付とサポート オプションの詳細については、「Azure HDInsight のバージョン」を参照してください。 Ubuntu 18.04 は、HDInsight 3.6 ではサポートされません。 Ubuntu 18.04 を使用する場合は、クラスターを HDInsight 4.0 に移行する必要があります。

既存のクラスターを Ubuntu 18.04 に移動する場合は、クラスターを削除して再作成する必要があります。 Ubuntu 18.04 のサポートが利用可能になった後、クラスターの作成または再作成を計画してください。 新しいイメージがすべてのリージョンで利用可能になった後、別の通知が送信されます。

Ubuntu 18.04 仮想マシン (VM) 上のエッジ ノードにデプロイされているスクリプト アクションとカスタム アプリケーションを事前にテストすることを強くお勧めします。 18.04-LTS で Ubuntu Linux VM を作成し、その後、その VM で Secure Shell (SSH) キー ペアを作成および使用して、エッジ ノードにデプロイされているスクリプト アクションとカスタム アプリケーションを実行およびテストできます。

HDInsight 4.0 用のヘッド ノードとして Stardard_A5 VM サイズが無効になった

HDInsight クラスターのヘッド ノードは、クラスターの初期化と管理を担当します。 Standard_A5 VM サイズには、HDInsight 4.0 のヘッド ノードとして信頼性の問題があります。 2021 年 5 月の次回のリリース以降、お客様は、ヘッド ノードとして Standard_A5 VM サイズを使用した新しいクラスターを作成できなくなります。 E2_v3 や E2s_v3 など、他の 2 コア VM は使用できます。 既存のクラスターはそのまま実行されます。 運用 HDInsight クラスターの高可用性と信頼性を確保するために、ヘッド ノードには 4 コアの VM を強くお勧めします。

バグの修正

HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。

コンポーネントのバージョンの変更

Spark 3.0.0 と Kafka 2.4.1 のプレビューとしてのサポートが追加されました。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。

リリース日: 2021 年 2 月 5 日

このリリースは HDInsight 3.6 と HDInsight 4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。

新機能

Dav4 シリーズのサポート

HDInsight のこのリリースでは、Dav4 シリーズのサポートが追加されました。 Dav4 シリーズの詳細についてはこちらを参照してください。

Kafka REST プロキシ GA

Kafka REST プロキシを使用すると、HTTPS 経由の REST API を使用して Kafka クラスターを操作することができます。 Kafka REST プロキシは、このリリース以降、一般提供となります。 Kafka REST プロキシの詳細についてはこちらを参照してください。

Azure 仮想マシン スケール セットへの移行

HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このサービスは Azure 仮想マシン スケール セットに段階的に移行しています。 プロセス全体には数か月かかる場合があります。 リージョンとサブスクリプションが移行された後は、新しく作成された HDInsight クラスターは、お客様が操作することなく、仮想マシン スケール セット上で動作するようになります。 破壊的変更は想定されていません。

非推奨

無効な VM サイズ

2021 年 1 月 9 日以降は、すべてのお客様が HDInsight で standand_A8、standand_A9、standand_A10、および standand_A11 の VM サイズを使用してクラスターを作成することができなくなります。 既存のクラスターはそのまま実行されます。 システムやサポートが中断される可能性を回避するため、HDInsight 4.0 への移行を検討してください。

動作の変更

既定のクラスター VM サイズが Ev3 シリーズに変更

既定のクラスター VM のサイズは、D シリーズから Ev3 シリーズに変更されます。 この変更は、ヘッド ノードとワーカー ノードに適用されます。 この変更がテスト済みのワークフローに影響を与えることを回避するには、使用する VM サイズを ARM テンプレートで指定します。

Azure 仮想マシン スケール セットで実行されているクラスターでのネットワーク インターフェイス リソースの非表示

HDInsight は Azure 仮想マシン スケール セットに段階的に移行しています。 仮想マシンのネットワーク インターフェイスは、Azure 仮想マシン スケール セットを使用するクラスターの顧客に対しては表示されなくなりました。

今後の変更

今後のリリースでは、次の変更が行われます。

既定のクラスター バージョンは 4.0 に変更されます

2021 年 2 月以降、HDInsight クラスターの既定のバージョンは 3.6 から 4.0 に変更されます。 使用可能なバージョンの詳細については、「使用可能なバージョン」を参照してください。 HDInsight 4.0 の新機能については、こちらを参照してください。

OS バージョンのアップグレード

HDInsight では、OS バージョンが Ubuntu 16.04 から 18.04 にアップグレードされます。 アップグレードは、2021 年 4 月までに完了する予定です。

HDInsight 3.6 は 2021 年 6 月 30 日にサポート終了

HDInsight 3.6 のサポートが終了します。 2021 年 6 月 30 日以降は、お客様は新しい HDInsight 3.6 クラスターを作成することはできなくなります。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、HDInsight 4.0 への移行を検討してください。

コンポーネントのバージョンの変更

このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。

リリース日: 2020 年 11 月 18 日

このリリースは HDInsight 3.6 と HDInsight 4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。

新機能

保存時におけるカスタマー マネージド キー暗号化の自動キー ローテーション

このリリース以降、お客様はカスタマー マネージド キーの暗号化に、バージョンレスの Azure KeyValut 暗号化キー URL を使用できます。 HDInsight は、有効期限が切れたとき、または新しいバージョンに置き換えられたときに、自動的にキーをローテーションします。 詳細についてはここを参照してください。

Spark、Hadoop、および ML Services 用のさまざまな Zookeeper 仮想マシン サイズを選択する機能

これまで、HDInsight では、Spark、Hadoop、ML Services のクラスターの種類に対して Zookeeper ノード サイズのカスタマイズはサポートされていませんでした。 既定値は A2_v2 および A2 の仮想マシン サイズであり、無料で提供されます。 このリリース以降、お客様のシナリオに最も適した Zookeeper 仮想マシン サイズを選択できます。 A2_v2 および A2 以外の仮想マシン サイズの Zookeeper ノードには課金されます。 A2_v2 および A2 の仮想マシンは引き続き無料で提供されます。

Azure 仮想マシン スケール セットへの移行

HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このリリース以降、サービスは徐々に Azure 仮想マシン スケール セットに移行されます。 プロセス全体には数か月かかる場合があります。 リージョンとサブスクリプションが移行された後は、新しく作成された HDInsight クラスターは、お客様が操作することなく、仮想マシン スケール セット上で動作するようになります。 破壊的変更は想定されていません。

非推奨

HDInsight 3.6 ML Services クラスターの非推奨

HDInsight 3.6 ML Services クラスターの種類は、2020 年 12 月 31 日でサポート終了となります。 2021 年 1 月 1 日以降は新しい 3.6 ML Services クラスターを作成できなくなります。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 HDInsight のバージョンとクラスターの種類に関するサポートの有効期限については、こちらで確認してください。

無効な VM サイズ

2020 年 11 月 16 日以降、新規のお客様が HDInsight で standand_A8、standand_A9、standand_A10、および standand_A11 の VM サイズを使用してクラスターを作成することができなくなります。 過去 3 か月間、これらの VM サイズを使用していた既存のお客様は、影響を受けません。 2021 年 1 月 9 日以降は、すべてのお客様が HDInsight で standand_A8、standand_A9、standand_A10、および standand_A11 の VM サイズを使用してクラスターを作成することができなくなります。 既存のクラスターはそのまま実行されます。 システムやサポートが中断される可能性を回避するため、HDInsight 4.0 への移行を検討してください。

動作の変更

スケーリング操作の前に NSG ルール チェックを追加する

HDInsight では、ネットワーク セキュリティ グループ (NSG) とユーザー定義ルート (UDR) のチェックがスケーリング操作で追加されました。 クラスターの作成に加えて、クラスターのスケーリングについても同じ検証が行われます。 この検証により、予測できないエラーを防ぐことができます。 検証が成功しなかった場合、スケーリングは失敗します。 NSG と UDR を正しく構成する方法の詳細については、「HDInsight 管理 IP アドレス」を参照してください。

コンポーネントのバージョンの変更

このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。

リリース日: 2020 年 11 月 9 日

このリリースは HDInsight 3.6 と HDInsight 4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。

新機能

HDInsight Identity Broker (HIB) の一般提供が開始されました

このリリースで、ESP クラスターに対して OAuth 認証を有効にする HDInsight Identity Broker (HIB) の一般提供が開始されました。 このリリース以降に作成された HIB クラスターには、次の最新の HIB 機能があります。

  • 高可用性 (HA)
  • 多要素認証 (MFA) のサポート
  • フェデレーション ユーザーの AAD-DS へのパスワード ハッシュ同期なしのサインインの詳細については、HIB のドキュメントを参照してください。

Azure 仮想マシン スケール セットへの移行

HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このリリース以降、サービスは徐々に Azure 仮想マシン スケール セットに移行されます。 プロセス全体には数か月かかる場合があります。 リージョンとサブスクリプションが移行された後は、新しく作成された HDInsight クラスターは、お客様が操作することなく、仮想マシン スケール セット上で動作するようになります。 破壊的変更は想定されていません。

非推奨

HDInsight 3.6 ML Services クラスターの非推奨

HDInsight 3.6 ML Services クラスターの種類は、2020 年 12 月 31 日でサポート終了となります。 2021 年 1 月 1 日以降は新しい 3.6 ML Services クラスターを作成できなくなります。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 HDInsight のバージョンとクラスターの種類に関するサポートの有効期限については、こちらで確認してください。

無効な VM サイズ

2020 年 11 月 16 日以降、新規のお客様が HDInsight で standand_A8、standand_A9、standand_A10、および standand_A11 の VM サイズを使用してクラスターを作成することができなくなります。 過去 3 か月間、これらの VM サイズを使用していた既存のお客様は、影響を受けません。 2021 年 1 月 9 日以降は、すべてのお客様が HDInsight で standand_A8、standand_A9、standand_A10、および standand_A11 の VM サイズを使用してクラスターを作成することができなくなります。 既存のクラスターはそのまま実行されます。 システムやサポートが中断される可能性を回避するため、HDInsight 4.0 への移行を検討してください。

動作の変更

このリリースに動作変更はありません。

今後の変更

今後のリリースでは、次の変更が行われます。

Spark、Hadoop、および ML Services 用のさまざまな Zookeeper 仮想マシン サイズを選択する機能

現在、HDInsight では、Spark、Hadoop、および ML サービス クラスターの種類での Zookeeper ノード サイズのカスタマイズはサポートされていません。 既定値は A2_v2 および A2 の仮想マシン サイズであり、無料で提供されます。 今後のリリースでは、お客様のシナリオに最も適した Zookeeper 仮想マシン サイズを選択できます。 A2_v2 および A2 以外の仮想マシン サイズの Zookeeper ノードには課金されます。 A2_v2 および A2 の仮想マシンは引き続き無料で提供されます。

既定のクラスター バージョンは 4.0 に変更されます

2021 年 2 月以降、HDInsight クラスターの既定のバージョンは 3.6 から 4.0 に変更されます。 サポートされているバージョンの詳細については、「使用可能なバージョン」を参照してください。 HDInsight 4.0 の新機能については、こちらを参照してください

HDInsight 3.6 は 2021 年 6 月 30 日にサポート終了

HDInsight 3.6 のサポートが終了します。 2021 年 6 月 30 日以降は、お客様は新しい HDInsight 3.6 クラスターを作成することはできなくなります。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、HDInsight 4.0 への移行を検討してください。

バグの修正

HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。

クラスター内の VM の再起動に関する問題を修正

クラスター内の VM の再起動に関する問題が修正されました。PowerShell または REST API を使用して、クラスター内のノードをもう一度再起動することができます。

コンポーネントのバージョンの変更

このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。

リリース日: 2020 年 10 月 8 日

このリリースは HDInsight 3.6 と HDInsight 4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。

新機能

HDInsight は、プレビュー段階でクラスターへのパブリック IP およびプライベート リンク アクセスを使用しないクラスターの作成をサポートするようになりました。 新しい高度なネットワーク設定を使用して、パブリック IP を使用しない完全に分離されたクラスターを作成し、独自のプライベート エンドポイントを使用してクラスターにアクセスできます。

Azure 仮想マシン スケール セットへの移行

HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このリリース以降、サービスは徐々に Azure 仮想マシン スケール セットに移行されます。 プロセス全体には数か月かかる場合があります。 リージョンとサブスクリプションが移行された後は、新しく作成された HDInsight クラスターは、お客様が操作することなく、仮想マシン スケール セット上で動作するようになります。 破壊的変更は想定されていません。

非推奨

HDInsight 3.6 ML Services クラスターの非推奨

HDInsight 3.6 ML Services クラスターの種類は、2020 年 12 月 31 日でサポートの終了となります。 その後は新しい 3.6 ML Services クラスターを作成できなくなります。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 HDInsight のバージョンとクラスターの種類に関するサポートの有効期限については、こちらで確認してください。

動作の変更

このリリースに動作変更はありません。

今後の変更

今後のリリースでは、次の変更が行われます。

Spark、Hadoop、および ML Services 用のさまざまな Zookeeper 仮想マシン サイズを選択する機能

現在、HDInsight では、Spark、Hadoop、および ML サービス クラスターの種類での Zookeeper ノード サイズのカスタマイズはサポートされていません。 既定値は A2_v2 および A2 の仮想マシン サイズであり、無料で提供されます。 今後のリリースでは、お客様のシナリオに最も適した Zookeeper 仮想マシン サイズを選択できます。 A2_v2 および A2 以外の仮想マシン サイズの Zookeeper ノードには課金されます。 A2_v2 および A2 の仮想マシンは引き続き無料で提供されます。

バグの修正

HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。

コンポーネントのバージョンの変更

このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。

リリース日: 2020 年 9 月 28 日

このリリースは HDInsight 3.6 と HDInsight 4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。

新機能

HDInsight 4.0 での対話型クエリの自動スケールが一般提供を開始

対話型クエリ クラスター タイプの自動スケールが、HDInsight 4.0 向けに一般提供 (GA) されました。 2020 年 8 月 27 日以降に作成されたすべての対話型クエリ 4.0 クラスターでは、自動スケールの GA サポートが提供されます。

HBase クラスターが Premium ADLS Gen2 をサポート

HDInsight では、HDInsight HBase 3.6 および 4.0 クラスターのプライマリ ストレージ アカウントとして、Premium ADLS Gen2 がサポートされるようになりました。 高速書き込みと併用して、HBase クラスターのパフォーマンスを向上させることができます。

Azure 障害ドメインでの Kafka パーティション分散

障害ドメインとは、Azure データ センター内にある基になるハードウェアの論理的なグループです。 各障害ドメインは、一般的な電源とネットワーク スイッチを共有します。 以前の HDInsight Kafka では、パーティションのレプリカがすべて同じ障害ドメインに格納される可能性があります。 このリリースから、HDInsight では、Azure 障害ドメインに基づく Kafka パーティションの自動分散がサポートされるようになりました。

転送中の暗号化

お客様は、プラットフォーム マネージド キーによる IPSec 暗号化を使用して、クラスター ノード間での転送中の暗号化を有効にすることができます。 このオプションは、クラスターの作成時に有効にすることができます。 詳しくは、転送中の暗号化を有効にする方法についての記事をご覧ください。

ホストでの暗号化

ホストでの暗号化を有効にすると、VM ホスト上の格納データは、保存時に暗号化され、暗号化された状態でストレージ サービスに送られます。 このリリースでは、クラスターの作成時に、一時データ ディスク上のホストでの暗号化を有効にすることができます。 ホストでの暗号化は、限られたリージョンの特定の VM SKU でのみサポートされています。 HDInsight では、次のノード構成と SKU がサポートされています。 詳しくは、ホストでの暗号化を有効にする方法についての記事をご覧ください。

Azure 仮想マシン スケール セットへの移行

HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このリリース以降、サービスは徐々に Azure 仮想マシン スケール セットに移行されます。 プロセス全体には数か月かかる場合があります。 リージョンとサブスクリプションが移行された後は、新しく作成された HDInsight クラスターは、お客様が操作することなく、仮想マシン スケール セット上で動作するようになります。 破壊的変更は想定されていません。

非推奨

このリリースに非推奨はありません。

動作の変更

このリリースに動作変更はありません。

今後の変更

今後のリリースでは、次の変更が行われます。

Spark、Hadoop、および ML サービスのさまざまな Zookeeper SKU を選択する機能

現在、HDInsight では、Spark、Hadoop、および ML サービス クラスターの種類での Zookeeper SKU の変更はサポートされていません。 Zookeeper ノードでは A2_v2/A2 SKU が使用され、これには課金されません。 今後のリリースでは、必要に応じて、Spark、Hadoop、および ML サービスの Zookeeper SKU を変更できます。 A2_v2/A2 以外の SKU を持つ Zookeeper ノードは課金されます。 既定の SKU は引き続き A2_v2/A2 であり、無料でご利用いただけます。

バグの修正

HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。

コンポーネントのバージョンの変更

このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。

リリース日: 2020 年 8 月 9 日

このリリースは、HDInsight 4.0 にのみ適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。

新機能

SparkCruise のサポート

SparkCruise は、Spark 用の自動計算再利用システムです。 これは、過去のクエリ ワークロードに基づいて具体化する共通の部分式を選択します。 SparkCruise は、これらの部分式をクエリ処理の一部として具体化します。計算の再利用は、バックグラウンドで自動的に適用されます。 Spark コードを変更しなくても、SparkCruise の機能を使用できます。

HDInsight 4.0 での Hive ビューのサポート

Apache Ambari Hive ビューは、Web ブラウザーから Hive クエリを作成、最適化、および実行する際に役立つように設計されています。 Hive ビューは、このリリース以降の HDInsight 4.0 クラスターでネイティブにサポートされています。 既存のクラスターには適用されません。 組み込みの Hive ビューを取得するには、クラスターを削除して再作成する必要があります。

HDInsight 4.0 での Tez ビューのサポート

Apache Tez ビューは、Hive Tez ジョブの実行を追跡およびデバッグする際に使用されます。 Tez ビューは、このリリース以降の HDInsight 4.0 でネイティブにサポートされています。 既存のクラスターには適用されません。 組み込みの Tez ビューを取得するには、クラスターを削除して再作成する必要があります。

非推奨

HDInsight 3.6 Spark クラスターでの Spark 2.1 と 2.2 の非推奨化

2020 年 7 月 1 日以降、HDInsight 3.6 で Spark 2.1 と 2.2 を使用して新しい Spark クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断する可能性を回避するため、2020 年 6月 30 日までに HDInight 3.6 で Spark 2.3 に移行することを検討してください。

HDInsight 4.0 Spark クラスターでの Spark 2.3 の非推奨化

2020 年 7 月 1 日以降、HDInsight 4.0 で Spark 2.3 を使用して新しい Spark クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断する可能性を回避するため、2020 年 6月 30 日までに HDInight 4.0 で Spark 2.4 に移行することを検討してください。

HDInsight 4.0 Kafka クラスターの Kafka 1.1 の廃止

2020 年 7 月 1 日以降、HDInsight 4.0 で Kafka 1.1 を使用して新しい Kafka クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、2020 年 6 月 30 日までに HDInsight 4.0 で Kafka 2.1 に移行することを検討してください。

動作の変更

Ambari スタック バージョンの変更

このリリースでは、Ambari のバージョンが 2.x.x.x から 4.1 に変更されます。 Ambari のスタック バージョン (HDInsight 4.1) は、[Ambari] > [User](ユーザー) > [Versions](バージョン) で確認できます。

今後の変更

注意を払う必要があり、近く予定されている破壊的変更はありません。

バグの修正

HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。

Hive の場合、以下の JIRA が移植されます。

HBase の場合、以下の JIRA が移植されます。

コンポーネントのバージョンの変更

このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。

既知の問題

Azure portal で、SSH 認証の種類の公開キーを使用して Azure HDInsight クラスターを作成するときにエラーが発生する問題が修正されました。 ユーザーが [確認と作成] をクリックすると、"SSH ユーザー名に含まれる 3 文字以上連続する文字列を使用することはできません" というエラーを受け取ります。この問題は修正されましたが、CTRL + F5 キーを押してブラウザーのキャッシュを更新し、修正されたビューを読み込む必要がある場合があります。 この問題の回避策は、ARM テンプレートを使用してクラスターを作成することでした。

リリース日: 2020 年 7 月 13 日

このリリースは、HDInsight 3.6 と4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。

新機能

Microsoft Azure 用カスタマー ロックボックスのサポート

Azure HDInsight で Azure カスタマー ロックボックスがサポートされるようになりました。 ここでは、お客様が顧客データへのアクセス要求を承認または拒否するインターフェイスが用意されています。 これは、Microsoft のエンジニアがサポート要求の際に顧客データにアクセスする必要がある場合に使用されます。 詳細については、「Microsoft Azure 用カスタマー ロックボックス」を参照してください。

ストレージのサービス エンドポイント ポリシー

お客様は、HDInsight クラスター サブネットでサービス エンドポイント ポリシー (SEP) を使用できるようになりました。 Azure サービス エンドポイント ポリシーの詳細を確認してください。

非推奨

HDInsight 3.6 Spark クラスターでの Spark 2.1 と 2.2 の非推奨化

2020 年 7 月 1 日以降、HDInsight 3.6 で Spark 2.1 と 2.2 を使用して新しい Spark クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断する可能性を回避するため、2020 年 6月 30 日までに HDInight 3.6 で Spark 2.3 に移行することを検討してください。

HDInsight 4.0 Spark クラスターでの Spark 2.3 の非推奨化

2020 年 7 月 1 日以降、HDInsight 4.0 で Spark 2.3 を使用して新しい Spark クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断する可能性を回避するため、2020 年 6月 30 日までに HDInight 4.0 で Spark 2.4 に移行することを検討してください。

HDInsight 4.0 Kafka クラスターの Kafka 1.1 の廃止

2020 年 7 月 1 日以降、HDInsight 4.0 で Kafka 1.1 を使用して新しい Kafka クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、2020 年 6 月 30 日までに HDInsight 4.0 で Kafka 2.1 に移行することを検討してください。

動作の変更

注意する必要がある動作変更はありません。

今後の変更

今後のリリースでは、次の変更が行われます。

Spark、Hadoop、および ML サービスのさまざまな Zookeeper SKU を選択する機能

現在、HDInsight では、Spark、Hadoop、および ML サービス クラスターの種類での Zookeeper SKU の変更はサポートされていません。 Zookeeper ノードでは A2_v2/A2 SKU が使用され、これには課金されません。 今後のリリースでは、必要に応じて、Spark、Hadoop、および ML サービスの Zookeeper SKU を変更できるようになります。 A2_v2/A2 以外の SKU を持つ Zookeeper ノードは課金されます。 既定の SKU は引き続き A2_v2/A2 であり、無料でご利用いただけます。

バグの修正

HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。

Hive Warehouse Connector の問題の修正

以前のリリースでは、Hive Warehouse Connector の操作性に問題がありました。 この問題は修正されました。

Zeppelin Notebook で先頭の 0 が切り捨てられる問題の修正

Zeppelin では、文字列形式のテーブル出力の先頭の 0 が誤って切り捨てられていました。 この問題は、今回のリリースで修正されています。

コンポーネントのバージョンの変更

このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。

リリース日: 2020 年 6 月 11 日

このリリースは、HDInsight 3.6 と4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。

新機能

Azure 仮想マシン スケール セットへの移行

HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このリリースから、新しく作成された HDInsight クラスターでは、Azure 仮想マシン スケール セットの使用が開始されます。 変更は段階的にロールアウト中です。 破壊的変更は予期されていません。 Azure 仮想マシン スケール セットについてご確認ください。

HDInsight クラスターでの VM の再起動

このリリースでは、応答しないノードを再起動するために、HDInsight クラスターでの VM の再起動がサポートされます。 現時点では API からのみ実行可能で、PowerShell と CLI でのサポートが予定されています。 API の詳細については、このドキュメントを参照してください。

非推奨

HDInsight 3.6 Spark クラスターでの Spark 2.1 と 2.2 の非推奨化

2020 年 7 月 1 日以降、HDInsight 3.6 で Spark 2.1 と 2.2 を使用して新しい Spark クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断する可能性を回避するため、2020 年 6月 30 日までに HDInight 3.6 で Spark 2.3 に移行することを検討してください。

HDInsight 4.0 Spark クラスターでの Spark 2.3 の非推奨化

2020 年 7 月 1 日以降、HDInsight 4.0 で Spark 2.3 を使用して新しい Spark クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断する可能性を回避するため、2020 年 6月 30 日までに HDInight 4.0 で Spark 2.4 に移行することを検討してください。

HDInsight 4.0 Kafka クラスターの Kafka 1.1 の廃止

2020 年 7 月 1 日以降、HDInsight 4.0 で Kafka 1.1 を使用して新しい Kafka クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、2020 年 6 月 30 日までに HDInsight 4.0 で Kafka 2.1 に移行することを検討してください。

動作の変更

ESP Spark クラスターのヘッド ノード サイズの変更

ESP Spark クラスターに対して許される最小ノード サイズが、Standard_D13_V2 に変更されています。 コア数やメモリが少ないヘッド ノードとしての VM は、CPU とメモリの容量が比較的少ないため、ESP クラスターの問題の原因となる可能性があります。 リリース以降、ESP Spark クラスターのヘッド ノードとしては Standard_D13_V2 および Standard_E16_V3 よりも上位の SKU を使用してください。

ヘッド ノードには最低 4 コアの VM が必要

HDInsight クラスターの高可用性と信頼性を確保するには、ヘッド ノード用に少なくとも 4 コアの VM が必要です。 2020 年 4 月 6 日以降、お客様は新しい HDInsight クラスターのヘッド ノードに、4 コア以上の VM のみを選択することができます。 既存のクラスターは正常に実行されます。

クラスターのワーカー ノードに関するプロビジョニングの変更

ワーカー ノードのうち 80% の準備ができると、クラスターは運用可能ステージに入ります。 このステージでは、スクリプトやジョブの実行など、データ プレーンのすべての操作を行えます。 しかし、スケールアップやスケールダウンなど、コントロール プレーンの操作を行うことはできません。 削除のみがサポートされます。

運用可能ステージになってから、クラスターは残り 20% のワーカー ノードのために、さらに 60 分待機します。 この 60 分間が経過すると、まだすべてのワーカー ノードを使用できない場合でも、クラスターは実行中ステージに移行します。 いったんクラスターが実行中ステージに入れば、クラスターを通常どおり使用できます。 スケールアップやスケールダウンなどのコントロール プレーンの操作と、スクリプトやジョブの実行などのデータ プレーンの操作の両方が受け付けられます。 要求されたワーカー ノードの一部を使用できない場合、クラスターは一部成功としてマークされます。 課金されるのは、正常にデプロイされたノードに対してです。

HDInsight を通した新しいサービス プリンシパルの作成

以前はクラスターの作成時に、Azure portal の接続されている ADLS Gen 1 アカウントにアクセスする新しいサービス プリンシパルを作成できました。 2020 年 6 月 15 日以降は、HDInsight の作成ワークフローでは新しいサービス プリンシパルは作成できず、既存のサービス プリンシパルのみがサポートされます。 Azure Active Directory を使用してサービス プリンシパルと証明書を作成することに関するページを参照してください。

クラスター作成でのスクリプト アクションのタイムアウト

HDInsight では、クラスター作成でのスクリプト アクションの実行がサポートされています。 このリリースからは、クラスター作成でのすべてのスクリプト アクションが 60 分 以内に完了する必要があり、そうでない場合はタイムアウトします。実行中のクラスターに送信されたスクリプト アクションは影響を受けません。 詳細についてはここを参照してください。

今後の変更

注意を払う必要があり、近く予定されている破壊的変更はありません。

バグの修正

HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。

コンポーネントのバージョンの変更

HBase 2.0 から 2.1.6

HBase のバージョンが、バージョン 2.0 から 2.1.6 にアップグレードされています。

Spark 2.4.0 から 2.4.4

Spark のバージョンが、バージョン 2.4.0 から 2.4.4 にアップグレードされています。

Kafka 2.1.0 から 2.1.1

Kafka のバージョンが、バージョン 2.1.0 から 2.1.1 にアップグレードされています。

HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、このドキュメントで確認できます

既知の問題

Hive Warehouse Connector の問題

このリリースでは、Hive Warehouse Connector の問題があります。 次のリリースに修正プログラムが含められる予定です。 このリリースより前に作成された既存のクラスターは、影響を受けません。 可能であれば、クラスターの削除と再作成を避けてください。 この問題についてさらに支援が必要な場合は、サポート チケットを開いてください。

リリース日: 2020 年 1 月 9 日

このリリースは、HDInsight 3.6 と4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。

新機能

TLS 1.2 の適用

TLS (トランスポート層セキュリティ) と SSL (Secure Sockets Layer) は、コンピューター ネットワーク上の通信にセキュリティを確保する暗号プロトコルです。 TLS の詳細を参照してください。 HDInsight はパブリック HTTPs エンドポイントで TLS 1.2 を使用しますが、TLS 1.1 も下位互換性のために引き続きサポートされています。

このリリースでは、お客様はパブリック クラスター エンドポイント経由のすべての接続でのみ TLS 1.2 を選択できます。 これのサポートに、クラスターの作成時に指定できる新しいプロパティ minSupportedTlsVersion が導入されました。 このプロパティを設定しない場合、クラスターは TLS 1.0、1.1、1.2 を引き続きサポートします。これは、今日の動作と同じです。 お客様はこのプロパティの値を "1.2" に設定できます。これは、クラスターが TLS 1.2 以降のみをサポートすることを意味します。 詳細については、「トランスポート層セキュリティ」を参照してください。

Bring Your Own Key でディスクを暗号化する

HDInsight のマネージド ディスクはすべて、Azure Storage Service Encryption (SSE) で保護されます。 これらのディスク上のデータは、既定で Microsoft が管理するキーを使用して暗号化されます。 このリリース以降、ディスクの暗号化に Bring Your Own Key (BYOK) を使用し、Azure Key Vault を使用して管理することができます。 BYOK 暗号化はクラスターの作成時に 1 回のステップで構成でき、他のコストはかかりません。 Azure Key Vault にマネージド ID として HDInsight を登録し、お使いのクラスターの作成時に暗号化キーを追加するだけです。 詳細については、「お客様が管理するキー ディスクの暗号化」を参照してください。

非推奨

このリリースに非推奨はありません。 今後の非推奨に備えるには、「今後の変更」を参照してください。

動作の変更

このリリースに動作変更はありません。 今後の変更に備えるには、「今後の変更」を参照してください。

今後の変更

今後のリリースでは、次の変更が行われます。

HDInsight 3.6 Spark クラスターでの Spark 2.1 と 2.2 の非推奨化

2020 年 7 月 1 日以降、HDInsight 3.6 で Spark 2.1 と 2.2 を使用して新しい Spark クラスターを作成することはできません。 既存のクラスターはそのまま動作しますが、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、2020 年 6 月 30 日までに HDInsight 3.6 で Spark 2.3 に移行することを検討してください。

HDInsight 4.0 Spark クラスターでの Spark 2.3 の非推奨化

2020 年 7 月 1 日以降は、HDInsight 4.0 で Spark 2.3 を使用して新しい Spark クラスターを作成できません。 既存のクラスターはそのまま動作しますが、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、2020 年 6 月 30 日までに HDInsight 4.0 で Spark 2.4 に移行することを検討してください。

HDInsight 4.0 Kafka クラスターの Kafka 1.1 の廃止

2020 年 7 月 1 日以降、HDInsight 4.0 で Kafka 1.1 を使用して新しい Kafka クラスターを作成することはできません。 既存のクラスターはそのまま動作しますが、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、2020 年 6 月 30 日までに HDInsight 4.0 で Kafka 2.1 に移行することを検討してください。 詳細については、「Apache Kafka のワークロードを Azure HDInsight 4.0 に移行する」を参照してください。

HBase 2.0 から 2.1.6

今後の HDInsight 4.0 リリースでは、HBase のバージョンがバージョン 2.0 から 2.1.6 にアップグレードされます

Spark 2.4.0 から 2.4.4

今後の HDInsight 4.0 リリースでは、Spark のバージョンがバージョン 2.4.0 から 2.4.4 にアップグレードされます

Kafka 2.1.0 から 2.1.1

今後の HDInsight 4.0 リリースでは、Kafka のバージョンがバージョン 2.1.0 から 2.1.1 にアップグレードされます

ヘッド ノードには最低 4 コアの VM が必要

HDInsight クラスターの高可用性と信頼性を確保するには、ヘッド ノード用に少なくとも 4 コアの VM が必要です。 2020 年 4 月 6 日以降、お客様は新しい HDInsight クラスターのヘッド ノードに、4 コア以上の VM のみを選択することができます。 既存のクラスターは正常に実行されます。

ESP Spark クラスター ノード サイズの変更

今後のリリースで、ESP Spark クラスターに許容される最小ノード サイズは Standard_D13_V2 に変更されます。 A シリーズの VM は、CPU とメモリの容量が比較的少ないため、ESP クラスターで問題が発生する可能性があります。 新しい ESP クラスターの作成に A シリーズの VM は非推奨です。

Azure 仮想マシン スケール セットへの移行

HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 今後のリリースでは、HDInsight では代わりに Azure 仮想マシン スケール セットを使用します。 Azure 仮想マシン スケール セットの詳細をご確認ください。

バグの修正

HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。

コンポーネントのバージョンの変更

このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 および HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらを参照してください。

リリース日: 12/17/2019

このリリースは、HDInsight 3.6 と4.0 の両方に適用されます。

新機能

サービス タグ

サービス タグを利用することで、ネットワーク アクセスを Azure サービスに簡単に制限できるため、Azure 仮想マシンと Azure 仮想ネットワークのセキュリティが簡単になります。 ネットワーク セキュリティ グループ (NSG) ルールでサービス タグを使用し、グローバルで、または Azure リージョンごとに特定の Azure サービスへのトラフィックを許可または拒否できます。 Azure では、各タグの基になる IP アドレスが保守管理されます。 ネットワーク セキュリティ グループ (NSG) 用の HDInsight サービス タグは、正常性および管理サービスのための IP アドレスのグループです。 これらのグループを使用すると、セキュリティ規則の作成の複雑さを最小限に抑えることができます。 HDInsight をご利用のお客様は Azure portal、PowerShell、REST API からサービス タグを有効にできます。 詳細については、「Azure HDInsight のネットワーク セキュリティ グループ (NSG) サービス タグ」を参照してください。

カスタム Ambari DB

HDInsight では、自分の SQL DB for Apache Ambari を使用できるようになりました。 このカスタム Ambari DB は、Azure portal または Resource Manager テンプレートから構成できます。 この機能により、自分に必要な処理と容量に最適な SQL DB を選択できます。 また、事業の成長に合わせて簡単にアップグレードできます。 詳細については、「カスタム Ambari DB を使用して HDInsight クラスターを設定する」を参照してください。

カスタム Ambari DB。

廃止

このリリースに非推奨はありません。 今後の非推奨に備えるには、「今後の変更」を参照してください。

動作の変更

このリリースに動作変更はありません。 今後の動作変更に備えるには、「今後の変更」を参照してください。

今後の変更

今後のリリースでは、次の変更が行われます。

トランスポート層セキュリティ (TLS) 1.2 施行

TLS (トランスポート層セキュリティ) と SSL (Secure Sockets Layer) は、コンピューター ネットワーク上の通信にセキュリティを確保する暗号プロトコルです。 詳細については、「トランスポート層セキュリティ」を参照してください。 Azure HDInsight クラスターのパブリック HTTPS エンドポイントは TLS 1.2 に対応していますが、旧クライアントとの下位互換性のため、TLS 1.1 も引き続きサポートされます。

次のリリースから、新しい HDInsight クラスターで TLS 1.2 接続のみを許可するように選択し、構成できます。

2020 年 6 月 30 日以降、Azure HDInsight ではすべての HTTPS 接続で TLS 1.2 以降のバージョンが強制されます。 すべてのクライアントで確実に TLS 1.2 以降のバージョンに対応できるようにすることをお勧めします。

Azure 仮想マシン スケール セットへの移行

HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 2020 年 2 月より (正式な日付は今後通達します)、HDInsight では Azure 仮想マシン スケール セットが代わりに使用されます。 Azure 仮想マシン スケール セットについてご確認ください。

ESP Spark クラスター ノード サイズの変更

次期リリースで:

  • ESP Spark クラスターに許容される最小ノード サイズが Standard_D13_V2 に変更されます。
  • CPU とメモリの容量が比較的低いことに起因し、A シリーズの VM は ESP クラスターに問題を引き起こす可能性があるため、新しい ESP クラスターの作成するとき、A シリーズ VM は非推奨となります。

HBase 2.0 から 2.1

今後の HDInsight 4.0 リリースでは、HBase のバージョンがバージョン 2.0 から 2.1 にアップグレードされます。

バグの修正

HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。

コンポーネントのバージョンの変更

HDInsight 3.6 のサポートが 2020 年 12 月 31 日に延長されます。 詳細は「サポートされている HDInsight バージョン」にあります。

HDInsight 4.0 のコンポーネント バージョン変更はありません。

HDInsight 3.6 の Apache Zeppelin: 0.7.0-->0.7.3。

最新のコンポーネント バージョンについてはこちらのドキュメントでご確認いただけます。

新しいリージョン

アラブ首長国連邦北部

アラブ首長国連邦北部の管理 IP: 65.52.252.96 と 65.52.252.97

リリース日: 2019/07/11

このリリースは、HDInsight 3.6 と4.0 の両方に適用されます。

新機能

HDInsight Identity Broker (HIB) (プレビュー)

HDInsight Identity Broker (HIB) を使用すると、ユーザーは多要素認証 (MFA) を使用して Apache Ambari にサインインし、Azure Active Directory Domain Services (AAD-DS) でパスワードハッシュを必要とせずに必要な Kerberos チケットを取得できます。 現在、HIB は Azure Resource Management (ARM) テンプレートを使用してデプロイされたクラスターでのみ使用できます。

Kafka REST API プロキシ (プレビュー)

Kafka REST API プロキシでは、セキュリティで保護された Azure AD 承認と OAuth プロトコルを使用して、Kafka クラスターで高可用性 REST プロキシをワンクリックでデプロイできます。

自動スケール

Apache Spark および Hadoop クラスターの種類向けに、すべてのリージョンで Azure HDInsight の自動スケールの一般提供が開始されました。 この機能により、よりコスト効率に優れた生産性の高い方法で、ビッグ データ分析のワークロードを管理できるようになります。 HDInsight クラスターの使用を最適化し、必要な分だけ支払うことができるようになりました。

要件に応じて、負荷ベースまたはスケジュール ベースの自動スケーリングを選択できます。 負荷ベースの自動スケールでは、現在のリソースのニーズに基づいてクラスター サイズをスケールアップ/スケールダウンできます。スケジュール ベースの自動スケールでは、事前定義されたスケジュールに基づいてクラスター サイズを変更できます。

自動スケールでの HBase および LLAP ワークロードのサポートもパブリック プレビュー段階です。 詳細については、「Azure HDInsight クラスターを自動的にスケール調整する」を参照してください。

HDInsight の Apache HBase 用書き込みアクセラレータ

高速書き込みでは、Azure Premium SSD マネージド ディスクが使用されて、Apache HBase の先書きログ (WAL) のパフォーマンスが向上します。 詳細については、「Azure HDInsight の Apache HBase 用書き込みアクセラレータ」を参照してください。

カスタム Ambari DB

HDInsight では、お客様が独自の SQL DB for Ambari を使用できるようにするための新しい容量が提供されるようになりました。 お客様は、適切な SQL DB for Ambari を選択し、独自のビジネス拡張要件に基づいて簡単にアップグレードすることができます。 デプロイには、Azure Resource Manager テンプレートを使用します。 詳細については、「カスタム Ambari DB を使用して HDInsight クラスターを設定する」を参照してください。

HDInsight で F シリーズの仮想マシンを使用できるようになりました

F シリーズの仮想マシン (VM) は、低負荷の処理要件を持つ HDInsight の使用を開始する場合に適しています。 F シリーズは時間あたりの料金が抑えられており、vCPU あたりの Azure コンピューティング ユニット (ACU) に基づく Azure ポートフォリオにおいて、最もコスト パフォーマンスに優れています。 詳細については、「Azure HDInsight クラスターの適切な VM サイズの選択」を参照してください。

非推奨

G シリーズの仮想マシンの非推奨

このリリースから、G シリーズの VM は HDInsight で提供されなくなりました。

Dv1 仮想マシンの非推奨

このリリースから、HDInsight での Dv1 VM の使用は非推奨とされます。 Dv1 のお客様の要求は、Dv2 で自動的に提供されます。 Dv1 と Dv2 VM の価格に違いはありません。

動作の変更

クラスター マネージド ディスクのサイズ変更

HDInsight では、クラスターにマネージド ディスク領域が用意されています。 このリリースから、新しく作成されたクラスター内の各ノードのマネージド ディスクのサイズが 128 GB に変更されます。

今後の変更

今後のリリースでは、次の変更が行われます。

Azure 仮想マシン スケール セットへの移行

HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 12 月以降、HDInsight では代わりに Azure 仮想マシン スケール セットが使用されます。 Azure 仮想マシン スケール セットについてご確認ください。

HBase 2.0 から 2.1

今後の HDInsight 4.0 リリースでは、HBase のバージョンがバージョン 2.0 から 2.1 にアップグレードされます。

ESP クラスターにおける A シリーズの仮想マシンの非推奨

A シリーズの VM では、CPU とメモリの容量が比較的少ないため、ESP クラスターの問題が発生する可能性があります。 今後のリリースでは、新しい ESP クラスターを作成するために A シリーズの VM が非推奨とされます。

バグの修正

HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。

コンポーネントのバージョンの変更

このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 および HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらを参照してください。

リリース日:2019/08/07

コンポーネントのバージョン

以下に HDInsight 4.0 のすべてのコンポーネントの正式な Apache バージョンを示します。 ここに列挙されているコンポーネントは、利用できる最新の安定したバージョンのリリースです。

  • Apache Ambari 2.7.1
  • Apache Hadoop 3.1.1
  • Apache HBase 2.0.0
  • Apache Hive 3.1.0
  • Apache Kafka 1.1.1、2.1.0
  • Apache Mahout 0.9.0+
  • Apache Oozie 4.2.0
  • Apache Phoenix 4.7.0
  • Apache Pig 0.16.0
  • Apache Ranger 0.7.0
  • Apache Slider 0.92.0
  • Apache Spark 2.3.1、2.4.0
  • Apache Sqoop 1.4.7
  • Apache TEZ 0.9.1
  • Apache Zeppelin 0.8.0
  • Apache ZooKeeper 3.4.6

新しいバージョンの Apache のコンポーネントは、上の一覧のバージョンに加えて HDP ディストリビューションにバンドルされていることがあります。 この場合、これらの新しいバージョンの一覧はテクニカル プレビューの表に表示され、運用環境で上の一覧の Apache コンポーネントのバージョンの代替にはなりません。

Apache のパッチ情報

HDInsight 4.0 で使用可能なパッチの詳細については、以下の表の各製品のパッチ一覧を参照してください。

製品名 パッチ情報
Ambari Ambari のパッチ情報
Hadoop Hadoop のパッチ情報
hbase HBase のパッチ情報
Hive このリリースでは、Hive 3.1.0 に Apache パッチが提供されなくなりました。
Kafka このリリースでは、Kafka 1.1.1 に Apache パッチは提供されなくなりました。
Oozie Oozie のパッチ情報
Phoenix Phoenix のパッチ情報
Pig Pig のパッチ情報
Ranger Ranger のパッチ情報
Spark Spark のパッチ情報
Sqoop このリリースでは、Sqoop 1.4.7 に Apache パッチは提供されなくなりました。
Tez このリリースでは、Tez 0.9.1 に Apache パッチは提供されなくなりました。
Zeppelin このリリースでは、Zeppelin 0.8.0 に Apache パッチは提供されなくなりました。
Zookeeper Zookeeper のパッチ情報

修正された共通脆弱性識別子

このリリースで解決されたセキュリティの問題の詳細については、Hortonworks の「Fixed Common Vulnerabilities and Exposures for HDP 3.0.1」を参照してください。

既知の問題

既定のインストールで Secure HBase のレプリケーションが破損する

HDInsight 4.0 の場合は、次の手順を実行します。

  1. クラスター間通信を有効にします。

  2. アクティブなヘッドノードにサインインします。

  3. 次のコマンドを使用して、スクリプトをダウンロードしてレプリケーションを有効にします。

    sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

  4. コマンド sudo kinit <domainuser> を入力します。

  5. 次のコマンドを入力して、スクリプトを実行します。

    sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

HDInsight 3.6

  1. アクティブな HMaster ZK にサインインします。

  2. 次のコマンドを使用して、スクリプトをダウンロードしてレプリケーションを有効にします。

    sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

  3. コマンド sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN> を入力します。

  4. 次のコマンドを入力します。

    sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

HBase クラスターを HDInsight 4.0 に移行した後に Phoenix Sqlline の動作が停止する

手順は次のとおりです。

  1. 次の Phoenix テーブルを削除します。
    1. SYSTEM.FUNCTION
    2. SYSTEM.SEQUENCE
    3. SYSTEM.STATS
    4. SYSTEM.MUTEX
    5. SYSTEM.CATALOG
  2. テーブルを削除できない場合は、HBase を再起動してテーブルへの接続をすべて解除してください。
  3. sqlline.py をもう一度実行します。 手順 1 で削除されたすべてのテーブルが Phoenix によって再作成されます。
  4. HBase データ用の Phoenix テーブルとビューを再生成します。

HBase Phoenix のメタデータを HDInsight 3.6 から 4.0 にレプリケートした後に Phoenix Sqlline の動作が停止する

手順は次のとおりです。

  1. レプリケーションを行う前に、宛先の 4.0 クラスターに移動して sqlline.py を実行します。 このコマンドによって、4.0 にのみ存在する SYSTEM.MUTEX や SYSTEM.LOG などのPhoenix テーブルが生成されます。
  2. 次のテーブルを削除します。
    1. SYSTEM.FUNCTION
    2. SYSTEM.SEQUENCE
    3. SYSTEM.STATS
    4. SYSTEM.CATALOG
  3. HBase レプリケーションの起動

非推奨

Apache Storm と ML サービスは、HDInsight 4.0 では使用できません。

リリース日:2019/04/14

新機能

新しい更新内容や機能は、次のカテゴリに分類されます。

  • Hadoop と他のオープンソース プロジェクトの更新 – この更新では、20 以上のオープンソース プロジェクト全体で 1,000 個以上のバグが修正され、さらに新しいバージョンの Spark (2.3) と Kafka (1.0) も追加されました。

    a. Apache Spark 2.3 の新機能

    b. Apache Kafka 1.0 の新機能

  • Microsoft R Server 9.1 から Machine Learning Services 9.3 への更新 – このリリースでは、データ サイエンティストとエンジニア向けに先進的なアルゴリズムと使いやすさで強化したオープンソースを提供しています。すべての機能を Apache Spark の速度で、好みの言語で利用できます。 このリリースでは、Microsoft R Server で提供されている機能に基づいて拡張し、Python のサポートを追加したため、クラスター名を Microsoft R Server から ML Services に変更しました。

  • Azure Data Lake Storage Gen2 のサポート – HDInsight では、Azure Data Lake Storage Gen2 のプレビュー リリースがサポートされます。 利用可能なリージョンのお客様は、HDInsight クラスターの主ストアまたは 2 次ストアとして、ADLS Gen2 アカウントを選択できるようになります。

  • HDInsight Enterprise セキュリティ パッケージの更新プログラム (プレビュー) – (プレビュー) 仮想ネットワーク サービス エンドポイントでは、Azure Blob Storage、ADLS Gen1、Azure Cosmos DB、および Azure DB をサポートします。

コンポーネントのバージョン

以下に HDInsight 3.6 のすべてのコンポーネントの正式な Apache バージョンの一覧を示します。 ここに列挙されているすべてのコンポーネントは、利用できる最新の安定したバージョンの公式の Apache リリースです。

  • Apache Hadoop 2.7.3

  • Apache HBase 1.1.2

  • Apache Hive 1.2.1

  • Apache Hive 2.1.0

  • Apache Kafka 1.0.0

  • Apache Mahout 0.9.0+

  • Apache Oozie 4.2.0

  • Apache Phoenix 4.7.0

  • Apache Pig 0.16.0

  • Apache Ranger 0.7.0

  • Apache Slider 0.92.0

  • Apache Spark 2.2.0/2.3.0

  • Apache Sqoop 1.4.6

  • Apache Storm 1.1.0

  • Apache TEZ 0.7.0

  • Apache Zeppelin 0.7.3

  • Apache ZooKeeper 3.4.6

新しいバージョンの Apache のいくつかのコンポーネントは、上の一覧のバージョンに加えて HDP ディストリビューションにバンドルされています。 この場合、これらの新しいバージョンの一覧はテクニカル プレビューの表に表示され、運用環境で上の一覧の Apache コンポーネントのバージョンの代替にはなりません。

Apache のパッチ情報

Hadoop

このリリースは、Hadoop Common 2.7.3 と次の Apache のパッチを提供します。

  • HADOOP-13190: KMS HA ドキュメントで LoadBalancingKMSClientProvider をメンションする。

  • HADOOP-13227: AsyncCallHandler ではイベント ドリブン アーキテクチャを使用して非同期呼び出しが処理される必要がある。

  • HADOOP-14104: クライアントによって KMS プロバイダー パスの NameNode が常に確認される必要がある。

  • HADOOP-14799: nimbus-jose-jwt を 4.41.1 に更新する。

  • HADOOP-14814: FsServerDefaults の互換性のない API の変更を HADOOP-14104 に修正する。

  • HADOOP-14903: json-smart を pom.xml に明示的に追加する。

  • HADOOP-15042: numberOfPagesRemaining が 0 の場合に、Azure PageBlobInputStream.skip() が負の値を返すことがある。

  • HADOOP-15255: LdapGroupsMapping 内のグループ名の大文字/小文字の変換をサポートする。

  • HADOOP-15265: hadoop auth pom.xml から json-smart を明示的に除外する。

  • HDFS-7922: ShortCircuitCache#close によって ScheduledThreadPoolExecutors が解放されない。

  • HDFS-8496: FSDatasetImpl をロックした状態で stopWriter() を呼び出すと別のスレッド (cmccabe) をブロックすることがする。

  • HDFS-10267: FsDatasetImpl#recoverAppend と FsDatasetImpl#recoverClose が追加で "同期" される。

  • HDFS-10489: HDFS 暗号化ゾーンの dfs.encryption.key.provider.uri を廃止する。

  • HDFS-11384: NameNode の rpc.CallQueueLength の急増を回避するために、バランサーで getBlocks 呼び出しを分散するためのオプションを追加する。

  • HDFS-11689: DFSClient%isHDFSEncryptionEnabled が hacky Hive コードを中断したことによってスローされる新しい例外。

  • HDFS-11711: DN が "開かれたファイルが多すぎる" 例外の発生時にブロックを削除してはならない。

  • HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay が頻繁に失敗する。

  • HDFS-12781: Datanode が停止すると、Namenode UI の [Datanode] タブに警告メッセージがスローされる。

  • HDFS 13054: DFSClient の削除呼び出しで PathIsNotEmptyDirectoryException を処理する。

  • HDFS-13120: 連結後にスナップショットの差分が破損することがある。

  • YARN-3742: ZKClient の作成がタイムアウトすると YARN RM がシャットダウンする。

  • YARN-6061: RM 内の重大なスレッドに UncaughtExceptionHandler を追加する。

  • YARN-7558: UI 認証を有効にすると、yarn logs コマンドが実行中のコンテナーのログの取得に失敗する。

  • YARN-7697: ログの集計が完了した場合でも、完成したアプリケーションに関するログのフェッチが失敗する。

HDP 2.6.4 は、Hadoop Common 2.7.3 と次の Apache のパッチを提供します。

  • HADOOP-13700: TrashPolicy#initialize シグネチャと #getInstance シグネチャからスローされていない IOException を削除する。

  • HADOOP-13709: プロセスの終了時に、サブプロセスをクリーンアップする機能がシェルによって生成される。

  • HADOOP-14059: s3a rename(self, subdir) エラー メッセージのタイポ。

  • HADOOP-14542: slf4j logger API を受け取る IOUtils.cleanupWithLogger を追加する。

  • HDFS-9887: WebHdfs ソケットのタイムアウトを構成できるようになる。

  • HDFS-9914: 構成可能な WebhDFS 接続または読み取りのタイムアウトを修正する。

  • MAPREDUCE-6698: TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser のタイムアウトを増やす。

  • YARN-4550: 英語以外のロケールの環境で TestContainerLanch のいくつかのテストが失敗する。

  • YARN-4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir がクリーンアップからの IllegalArgumentException により断続的に失敗する。

  • YARN-5042: 読み取り専用マウントとして Docker コンテナーに /sys/fs/cgroup をマウントする。

  • YARN-5318: TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider の断続的なテスト エラーを修正する。

  • YARN-5641: コンテナーが完成した後にローカライザーが tarball を後に残す。

  • YARN-6004: TestResourceLocalizationService#testDownloadingResourcesOnContainer が 150 行を上回らないようにリファクタリングします。

  • YARN-6078: コンテナーがローカライズ中の状態でスタックする。

  • YARN-6805: PrivilegedOperationException の終了コードが null であることにより LinuxContainerExecutor に NPE が発生する。

hbase

このリリースは、HBase 1.1.2 と次の Apache のパッチを提供します。

  • HBASE-13376: Stochastic ロード バランサーの機能強化。

  • HBASE-13716: Hadoop の FSConstants の使用を停止する。

  • HBASE-13848: Credential Provider API 経由で InfoServer SSL のパスワードにアクセスする。

  • HBASE-13947: AssignmentManager で Server の代わりに MasterServices を使用する。

  • HBASE-14135: HBase バックアップおよび復元フェーズ 3: バックアップ イメージをマージする。

  • HBASE-14473: リージョンの地域を並列に計算する。

  • HBASE-14517: マスター ステータス ページに regionserver's のバージョンを表示する。

  • HBASE-14606: Apache 上でビルドされたトランクの TestSecureLoadIncrementalHFiles のテストがタイムアウトする。

  • HBASE-15210: ミリ秒ごとに何十行ものログを記録するアグレッシブなロード バランサーを元に戻す。

  • HBASE-15515: バランサーの LocalityBasedCandidateGenerator を改善する。

  • HBASE-15615: RegionServerCallable の再試行が必要なときのスリープ時間が間違っている。

  • HBASE-16135: 削除されたピアのリージョン サーバーの下にある PeerClusterZnode が削除されない場合がある。

  • HBASE-16570: 起動時にリージョンの地域を並列に計算する。

  • HBASE-16810: regionservers が /hbase/draining の znode にあり、アンロードされているときに、HBase バランサーが ArrayIndexOutOfBoundsException をスローする。

  • HBASE-16852: ブランチ 1.3 で TestDefaultCompactSelection が失敗した。

  • HBASE-17387: RegionActionResult の multi() に関する例外レポートのオーバーヘッドを削減する。

  • HBASE-17850: システム修復ユーティリティをバックアップする。

  • HBASE-17931: 最上位バージョンのサーバーにシステム テーブルを割り当てる。

  • HBASE-18083: 大きい/小さいファイルのクリーンアップのスレッド数を HFileCleaner で構成できるようにする。

  • HBASE-18084: より多くのディスク領域を消費するディレクトリからクリーンアップするよう CleanerChore を改善する。

  • HBASE-18164: 地域コスト関数と候補ジェネレーターがより速くなる。

  • HBASE-18212: スタンドアロン モードのローカル ファイルシステムの HBase ログの警告メッセージ: Failed to invoke 'unbuffer' method in class class org.apache.hadoop.fs.FSDataInputStream.

  • HBASE-18808: BackupLogCleaner#getDeletableFiles() の効果的でないコンフィグ チェック。

  • HBASE-19052: ブランチ 1.x で FixedFileTrailer によって CellComparatorImpl クラスが認識される必要がある。

  • HBASE-19065: HRegion#bulkLoadHFiles() が同時実行の Region#flush() の完了を待つ必要がある。

  • HBASE-19285: テーブルごとの待ち時間ヒストグラムを追加する。

  • HBASE-19393: SSL を使用した HBase UI へのアクセス中に HTTP 413 FULL head が発生する。

  • HBASE-19395: [ブランチ 1] の TestEndToEndSplitTransaction.testMasterOpsWhileSplitting が NPE により失敗する。

  • HBASE-19421: ブランチ 1 が Hadoop 3.0.0 に対してコンパイルされない。

  • HBASE-19934: 読み取りレプリカが有効になっており、リージョンの分割後にオンラインのスナップショットが作成されるときに、HBaseSnapshotException が発生する。

  • HBASE-20008: リージョン分割後にスナップショットを復元するときに、NullPointerException を [バックポート] する。

Hive

このリリースは、次のパッチに加えて、Hive 1.2.1 と Hive 2.1.0 を提供します。

Hive 1.2.1 の Apache のパッチ:

  • HIVE-10697: ObjectInspectorConvertors#UnionConvertor が問題のある変換を実行する。

  • HIVE-11266: 外部テーブルのテーブルの統計情報に基づく count(*) の結果が正しくない。

  • HIVE-12245: HBase によって裏付けられるテーブルの列のコメントをサポートする。

  • HIVE-12315: ベクター化された倍精度浮動小数点のゼロ除算を修正する。

  • HIVE-12360: 述語プッシュダウンによる非圧縮の ORC のシークが正しくない。

  • HIVE-12378: HBaseSerDe.serialize バイナリ フィールドでの例外。

  • HIVE-12785: 構造体への共用体型および UDF によるビューが壊れている。

  • HIVE-14013: テーブル定義が Unicode を正しく表示しない。

  • HIVE-14205: Hive が AVRO ファイル形式の共用体型をサポートしない。

  • HIVE-14421: FS.deleteOnExit が _tmp_space.db ファイルへの参照を保持する。

  • HIVE-15563: SQLOperation.runQuery の不正な操作の状態遷移の例外を無視して、実際の例外を公開する。

  • HIVE-15680: MR モードにおいて、hive.optimize.index.filter=true で、クエリで同じ ORC テーブルが 2 回参照されると、正しくない結果になる。

  • HIVE-15883: Hive の HBase にマッピングされたテーブルの 10 進数の挿入が失敗する。

  • HIVE-16232: QuotedIdentifier に含まれている列の統計の計算をサポートする。

  • HIVE-16828: CBO が有効な場合に、パーティション ビューに対するクエリによって IndexOutOfBoundException がスローされる。

  • HIVE-17013: ビュー上の選択に基づくサブクエリによる要求を削除する。

  • HIVE-17063: 最初にパーティションをドロップすると、外部テーブルへのパーティションの insert overwrite が失敗する。

  • HIVE-17259: Hive JDBC で共用体型の列が認識されない。

  • HIVE-17419: ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS コマンドを使用すると、マスクされたテーブルの計算された統計情報が表示される。

  • HIVE-17530: uniontype を変換するときに ClassCastException が発生する。

  • HIVE-17621: HCatInputFormat の分割計算中は Hive サイト設定が無視される。

  • HIVE-17636: blobstores に multiple_agg.q test を追加する。

  • HIVE-17729: データベースを追加し、関連する blobstore のテストについて説明する。

  • HIVE-17731: 外部ユーザーに対して HIVE-11985 への後方 compat オプションを追加する。

  • HIVE-17803: Pig による複数クエリにより、2 つの HCatStorer の同じテーブルへの書き込みが互いの出力に干渉する。

  • HIVE-17829: ArrayIndexOutOfBoundsException - Hive2 内の Avro スキーマにより HBASE で裏付けされたテーブル。

  • HIVE-17845: ターゲット テーブルの列が小文字でない場合は挿入が失敗する。

  • HIVE-17900: 圧縮機によってトリガーされた列の統計情報を分析すると、> 1 のパーティション列を持つ無効な SQL が生成される。

  • HIVE-18026: Hive の WebHCat プリンシパル構成の最適化。

  • HIVE-18031: Alter Database 操作のレプリケーションをサポートする。

  • HIVE-18090: Hadoop の資格情報を介して metastore に接続されている場合、ACID のハートビートが失敗する。

  • HIVE-18189: hive.groupby.orderby.position.alias が true に設定されると、間違った結果が Hive クエリによって返される。

  • HIVE-18258: ベクター化: 重複する列を含む削減側の GROUP BY MERGEPARTIAL が壊れている。

  • HIVE-18293: Hive が、HiveMetaStore を実行している ID が所有していないフォルダー内に含まれるテーブルの圧縮に失敗する。

  • HIVE-18327: MiniHiveKdc に不要な HiveConf 依存関係を削除する。

  • HIVE-18341: 同じ暗号化キーを使用して TDE の "raw" 名前空間を追加するための REPL LOAD のサポートを追加する。

  • HIVE-18352: その他のツールの統合を許可する REPL DUMP を行う際に METADATAONLY オプションを導入する。

  • HIVE-18353: CompactorMR によって jobclient.close() が呼び出され、クリーンアップがトリガーされる必要がある。

  • HIVE 18390: ColumnPruner でパーティション ビューをクエリすると、IndexOutOfBoundsException が発生する。

  • HIVE-18429: 出力が生成されないケースが圧縮で処理される必要がある。

  • HIVE-18447: JDBC: JDBC のユーザーが接続文字列を使用してクッキーの情報を渡す方法を指定する。

  • HIVE-18460: Table プロパティが圧縮機によって ORC ライターに渡されない。

  • HIVE-18467: ウェアハウス ダンプ / 読み込み + データベース イベントの作成/ドロップ全体をサポートする (Anishek Agarwal、レビュー: Sankar Hariappan)。

  • HIVE-18551: ベクター化: VectorMapOperator によって書き込みが試行される Hybrid Grace 用のベクター列の数が多すぎる。

  • HIVE-18587: DML イベントの挿入によりディレクトリのチェックサムの計算を試行する場合がある。

  • HIVE-18613: バイナリ型をサポートするよう JsonSerDe を拡張する。

  • HIVE-18626: REPL LOAD の "with" 句によって config がタスクに渡されない。

  • HIVE-18660: PCR がパーティション列と仮想列の間で分散されない。

  • HIVE-18754: REPL STATUS が "with" 句をサポートする必要がある。

  • HIVE-18754: REPL STATUS が "with" 句をサポートする必要がある。

  • HIVE-18788: JDBC PreparedStatement 内の入力をクリーンアップする。

  • HIVE-18794: REPL LOAD の "with" 句によって非パーティション テーブルのタスクに config が渡されない。

  • HIVE-18808: 統計情報の更新が失敗したときに圧縮をより堅牢にする。

  • HIVE-18817: ACID テーブルの読み取り中に ArrayIndexOutOfBounds 例外が発生する

  • HIVE-18833: "orcfile としてディレクトリに挿入" すると自動マージが失敗する。

  • HIVE-18879: クラスパスに xercesImpl.jar がある場合、UDFXPathUtil 内に埋め込まれた要素の無効化が機能する必要がある。

  • HIVE-18907: HIVE-18817 の ACID キーのインデックスの問題を修正するユーティリティを作成する。

Hive 2.1.0 の Apache のパッチ:

  • HIVE-14013: テーブル定義が Unicode を正しく表示しない。

  • HIVE-14205: Hive が AVRO ファイル形式の共用体型をサポートしない。

  • HIVE-15563: SQLOperation.runQuery の不正な操作の状態遷移の例外を無視して、実際の例外を公開する。

  • HIVE-15680: MR モードにおいて、hive.optimize.index.filter=true で、クエリで同じ ORC テーブルが 2 回参照されると、正しくない結果になる。

  • HIVE-15883: Hive の HBase にマッピングされたテーブルの 10 進数の挿入が失敗する。

  • HIVE-16757: 非推奨の AbstractRelNode.getRows への呼び出しを削除する。

  • HIVE-16828: CBO が有効な場合に、パーティション ビューに対するクエリによって IndexOutOfBoundException がスローされる。

  • HIVE-17063: 最初にパーティションをドロップすると、外部テーブルへのパーティションの insert overwrite が失敗する。

  • HIVE-17259: Hive JDBC で共用体型の列が認識されない。

  • HIVE-17530: uniontype を変換するときに ClassCastException が発生する。

  • HIVE-17600: ユーザーが OrcFile の "enforceBufferSize" を設定できるようにする。

  • HIVE-17601: LlapServiceDriver でのエラー処理を改善する。

  • HIVE-17613: 短い、同一スレッドに割り当てられるオブジェクト プールを削除する。

  • HIVE-17617: 空の結果セットのロールアップに空のグループ化セットのグループ化が含まれている必要がある。

  • HIVE-17621: HCatInputFormat の分割計算中は Hive サイト設定が無視される。

  • HIVE-17629: CachedStore: 承認済み/未承認の config にテーブルまたはパーティションの選択キャッシュを許可し、事前ウォームアップ中での読み取りを許可する。

  • HIVE-17636: blobstores に multiple_agg.q test を追加する。

  • HIVE-17702: ORC の 10 進数リーダーの isRepeating の処理が間違っている。

  • HIVE-17729: データベースを追加し、関連する blobstore のテストについて説明する。

  • HIVE-17731: 外部ユーザーに対して HIVE-11985 への後方 compat オプションを追加する。

  • HIVE-17803: Pig による複数クエリにより、2 つの HCatStorer の同じテーブルへの書き込みが互いの出力に干渉する。

  • HIVE-17845: ターゲット テーブルの列が小文字でない場合は挿入が失敗する。

  • HIVE-17900: 圧縮機によってトリガーされた列の統計情報を分析すると、> 1 のパーティション列を持つ無効な SQL が生成される。

  • HIVE-18006: HLLDenseRegister のメモリ占有領域を最適化する。

  • HIVE-18026: Hive の WebHCat プリンシパル構成の最適化。

  • HIVE-18031: Alter Database 操作のレプリケーションをサポートする。

  • HIVE-18090: Hadoop の資格情報を介して metastore に接続されている場合、ACID のハートビートが失敗する。

  • HIVE-18189: cbo が無効になっていると、位置による並べ替えが機能しない。

  • HIVE-18258: ベクター化: 重複する列を含む削減側の GROUP BY MERGEPARTIAL が壊れている。

  • HIVE-18269: LLAP: 低速のプロセス パイプラインによる高速な llap の入出力は OOM につながる場合がある。

  • HIVE-18293: Hive が、HiveMetaStore を実行している ID が所有していないフォルダー内に含まれるテーブルの圧縮に失敗する。

  • HIVE-18318: ブロックされないときでも LLAP レコード リーダーによって中断がチェックされる必要があります。

  • HIVE-18326: LLAP Tez スケジューラ - タスク間に依存関係が存在する場合にそれらのタスクの中断のみを行う。

  • HIVE-18327: MiniHiveKdc に不要な HiveConf 依存関係を削除する。

  • HIVE-18331: TGT の有効期限が切れたときに、再ログインといくつかのログ記録/ラムダを追加する。

  • HIVE-18341: 同じ暗号化キーを使用して TDE の "raw" 名前空間を追加するための REPL LOAD のサポートを追加する。

  • HIVE-18352: その他のツールの統合を許可する REPL DUMP を行う際に METADATAONLY オプションを導入する。

  • HIVE-18353: CompactorMR によって jobclient.close() が呼び出され、クリーンアップがトリガーされる必要がある。

  • HIVE-18384: log4j2.x ライブラリに ConcurrentModificationException が発生する。

  • HIVE 18390: ColumnPruner でパーティション ビューをクエリすると、IndexOutOfBoundsException が発生する。

  • HIVE-18447: JDBC: JDBC のユーザーが接続文字列を使用してクッキーの情報を渡す方法を指定する。

  • HIVE-18460: Table プロパティが圧縮機によって ORC ライターに渡されない。

  • HIVE-18462: (マップ結合によりフォーマットされたクエリに、フォーマットされていない列名を備えた columnExprMap があることについて説明する)。

  • HIVE-18467:ウェアハウス ダンプ / 読み込み + データベース イベントの作成/ドロップ全体をサポートする。

  • HIVE-18488: LLAP ORC リーダーにいくつかの null チェックがない。

  • HIVE-18490: EXISTS と NOT EXISTS が指定され、述語が同値でないクエリによって、間違った結果が生成されることがある。

  • HIVE-18506: LlapBaseInputFormat - 負の値の配列インデックス。

  • HIVE-18517: ベクター化: VRB を受け取るように VectorMapOperator を修正し、LLAP キャッシュをサポートするように正しくベクター化されたフラグをチェックする。

  • HIVE-18523: 入力がない場合に概要の行を修正する。

  • HIVE-18528: ObjectStore の統計情報を集計すると間違った結果が取得される。

  • HIVE-18530: (現在のところ) レプリケーションで MM テーブルがスキップされる必要がある。

  • HIVE-18548: log4j のインポートを修正する。

  • HIVE-18551: ベクター化: VectorMapOperator によって書き込みが試行される Hybrid Grace 用のベクター列の数が多すぎる。

  • HIVE-18577: SemanticAnalyzer.validate に無意味な metastore の呼び出しがいくつかある。

  • HIVE-18587: DML イベントの挿入によりディレクトリのチェックサムの計算を試行する場合がある。

  • HIVE-18597: LLAP: 常に org.apache.log4j 用に log4j2 API jar をパッケージ化する。

  • HIVE-18613: バイナリ型をサポートするよう JsonSerDe を拡張する。

  • HIVE-18626: REPL LOAD の "with" 句によって config がタスクに渡されない。

  • HIVE-18643: ACID 操作用にアーカイブされたパーティションをチェックしない。

  • HIVE-18660: PCR がパーティション列と仮想列の間で分散されない。

  • HIVE-18754: REPL STATUS が "with" 句をサポートする必要がある。

  • HIVE-18788: JDBC PreparedStatement 内の入力をクリーンアップする。

  • HIVE-18794: REPL LOAD の "with" 句によって非パーティション テーブルのタスクに config が渡されない。

  • HIVE-18808: 統計情報の更新が失敗したときに圧縮をより堅牢にする。

  • HIVE-18815: HPL/SQL の使用されていない機能を削除する。

  • HIVE-18817: ACID テーブルの読み取り中に ArrayIndexOutOfBounds 例外が発生する

  • HIVE-18833: "orcfile としてディレクトリに挿入" すると自動マージが失敗する。

  • HIVE-18879: クラスパスに xercesImpl.jar がある場合、UDFXPathUtil 内に埋め込まれた要素の無効化が機能する必要がある。

  • HIVE-18944: DPP 中に Grouping Sets の位置が間違って設定されている。

Kafka

このリリースは、Kafka 1.0.0 と次の Apache のパッチを提供します。

  • KAFKA-4827: Kafka の接続: コネクタ名に特殊文字が入っているとエラーが発生する。

  • KAFKA-6118: kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials で一時的なエラーが発生する。

  • KAFKA-6156: Windows スタイルのディレクトリ パスが JmxReporter によって処理されない。

  • KAFKA-6164: ログの読み込み中にエラーが発生した場合、ClientQuotaManager スレッドでシャットダウンが回避される。

  • KAFKA-6167: ストリーム ディレクトリのタイムスタンプに無効な文字であるコロンが含まれている。

  • KAFKA-6179: MinTimestampTracker で管理された一覧が RecordQueue.clear() によってクリアされない。

  • HDFS-6185: セレクタのメモリ リークで、下位変換があると OOM になる可能性が高い。

  • KAFKA-6190: トランザクション メッセージを使用するときに GlobalKTable の復元が完了しない。

  • KAFKA-6210: inter.broker.protocol.version または log.message.format.version で 1.0.0 が使用されている場合に IllegalArgumentException が発生する。

  • KAFKA-6214: メモリ内状態ストアでスタンバイ レプリカを使用すると、ストリームのクラッシュが発生する。

  • KAFKA-6215: KafkaStreamsTest がトランクで失敗する。

  • KAFKA-6238: 1.0.0 へのローリング アップグレードを適用するときにプロトコルのバージョンに問題が発生する。

  • KAFKA-6260: AbstractCoordinator で NULL 例外がはっきりと処理されない。

  • KAFKA-6261: ack = 0 の場合に要求ログによって例外がスローされる。

  • KAFKA-6274: KTable ソース状態ストアで自動生成された名前を改善する。

Mahout

HDP-2.3.x と 2.4.x では、Mahout という特定 Apache リリースを配布する代わりに、Apache Mahout トランク上の特定のリビジョン ポイントに同期しました。 このリビジョン ポイントは、0.9.0 リリースの後、かつ 0.10.0 リリースの前です。 これには 0.9.0 リリースを上回る多数のバグ修正と機能改善が施されており、新しい Spark ベースの 0.10.0 の Mahout に完全に変換される前の Mahout の機能の安定版リリースを提供します。

HDP 2.3.x と 2.4.x で Mahout 用に選択されたリビジョン ポイントは、Apache Mahout の "mahout-0.10.x" ブランチからのもので、2014 年 12 月 19 日の GitHub のリビジョン 0f037cb03e77c096 です。

HDP-2.5.x と 2.6.x では、"commons-httpclient" ライブラリをセキュリティ上問題がある可能性がある古いライブラリであると見なし、Mahout から削除しました。また、Mahout の Hadoop-Client を、HDP-2.5 で使用されている同じバージョンである 2.7.3 にアップグレードしました。 その結果、次のような影響が出ています。

  • 以前にコンパイルした Mahout のジョブを、HDP-2.5 または 2.6 の環境で再コンパイルする必要があります。

  • 一部の Mahout のジョブで、"org.apache.commons.httpclient"、"net.java.dev.jets3t"、または関連するクラス名のプレフィックスに関連して、"ClassNotFoundException" や "クラスを読み込めない" エラーが低い確率で発生する場合があります。 これらのエラーが発生した場合、古いライブラリのセキュリティ上の問題のリスクがお使いの環境で許容されるのであれば、ジョブのクラスパスに必要な jar を手動でインストールするかどうかを検討してもかまいません。

  • さらに低い確率で、一部の Mahout のジョブで、バイナリの互換性の問題により、Mahout の HBase クライアント コードが Hadoop の共通ライブラリを呼び出すと、クラッシュが発生する場合があります。 残念ながら、セキュリティ上問題がある可能性がある HDP-2.4.2 バージョンの Mahout に戻す以外に、この問題を解決する方法はありません。 繰り返しますが、これはまれなケースで、ほとんどの Mahout ジョブ スイートでは発生しません。

Oozie

このリリースは、Oozie 4.2.0 と次の Apache のパッチを提供します。

  • OOZIE-2571: Scala 2.11 を使用できるように spark.scala.binary.version Maven プロパティを追加する。

  • OOZIE-2606: Spark 2.0 を Oozie で修正するために spark.yarn.jars を設定する。

  • OOZIE-2658: --driver-class-path が SparkMain のクラスパスを上書きする場合がある。

  • OOZIE-2787: Oozie がアプリケーション jar を 2 回配布し、Spark ジョブが失敗する。

  • OOZIE-2792: Hive が Spark 上にあるとき、Hive2 アクションがログ ファイルから Spark アプリケーション ID を正しく解析しない。

  • OOZIE-2799: Spark SQL 用のログの場所を Hive 上に設定する。

  • OOZIE-2802: sharelibs の重複が原因で、Spark 2.1.0 で Spark のアクションが失敗する。

  • OOZIE-2923: Spark のオプションの解析を改善する。

  • OOZIE-3109: SCA: クロスサイト スクリプティング: 反映済み。

  • OOZIE-3139: Oozie でワークフローが正しく検証されない。

  • OOZIE-3167: Oozie 4.3 ブランチ上の Tomcat のバージョンをアップグレードする。

Phoenix

このリリースは、Phoenix 4.7.0 と次の Apache のパッチを提供します。

  • PHOENIX-1751: postScannerOpen の代わりに preScannerNext 内で集計、並べ替えなどを実行する。

  • PHOENIX-2714: BaseResultIterators の byte の見積もりを修正し、インターフェイスとして公開する。

  • PHOENIX-2724: 大量のガイドポストを使用したクエリが、統計情報なしと比較して低速になる。

  • PHOENIX-2855: 回避策 TimeRange の増分が HBase 1.2 でシリアル化されていない。

  • PHOENIX-3023: 既定で limit クエリが並列に実行されるとパフォーマンスが低下する。

  • PHOENIX-3040: クエリを連続で実行するためにガイドポストを使用してはならない。

  • PHOENIX-3112: 行の部分的なスキャンが正しく処理されない。

  • PHOENIX-3240: Pig ローダーから ClassCastException が発生する。

  • PHOENIX-3452: NULLS FIRST/NULL LAST が GROUP BY で順序が保持されるかどうかに影響を及ぼしてはならない。

  • PHOENIX-3469: NULLS LAST/NULLS FIRST の DESC 主キーの並べ替え順序が正しくない。

  • PHOENIX-3789: postBatchMutateIndispensably でクロス リージョン インデックス管理呼び出しを実行する。

  • PHOENIX-3865: 最初の列ファミリがフィルター処理されないと、IS NULL が正しい結果を返さない。

  • PHOENIX-4290: 不変のインデックスがあるテーブルで DELETE が実行されると、フル テーブル スキャンが実行される。

  • PHOENIX-4373: アップサート中にローカル インデックスの可変長キーの末尾が null になる場合がある。

  • PHOENIX-4466: java.lang.RuntimeException: 応答コード 500 - Phoenix のクエリ サーバーに接続し、データを読み込む Spark ジョブを実行する。

  • PHOENIX-4489: Phoenix MR のジョブで HBase の接続リークが発生する。

  • PHOENIX-4525: GroupBy の実行で整数がオーバーフローする。

  • PHOENIX-4560: pk 列に WHERE がある場合に、ORDER BY と GROUP BY が一緒に動作しない。

  • PHOENIX-4586: UPSERT SELECT がサブクエリの比較演算子を考慮に入れない

  • PHOENIX-4588: その子に Determinism.PER_INVOCATION がある場合は、式もクローンする。

Pig

このリリースは、Pig 0.16.0 と次の Apache のパッチを提供します。

  • PIG-5159: Pig で Grunt の履歴が保存されない問題を修正する。

  • PIG-5175: jruby を 1.7.26 にアップグレードする。

Ranger

このリリースは、Ranger 0.7.0 と次の Apache のパッチを提供します。

  • RANGER-1805: js のベスト プラクティスに従うようにコードを改善する。

  • RANGER-1960: 削除でスナップショットのテーブル名を考慮に入れる。

  • RANGER-1982: Ranger Admin と Ranger KMS の分析メトリックのエラーを改善する。

  • RANGER-1984: HBase の監査ログのレコードに、アクセスした列に関連付けられたすべてのタグが表示されない場合がある。

  • RANGER-1988: 安全でないランダム性を修正する。

  • RANGER-1990: 一方向の SSL MySQL サポートを Ranger Admin に追加する。

  • RANGER 2006: Ranger usersync の ldap 同期ソースで静的コードの分析によって検出された問題を修正する。

  • RANGER-2008: マルチライン ポリシー条件でポリシーの評価が失敗する。

スライダー

このリリースでは、Slider 0.92.0 に Apache パッチは提供されなくなりました。

Spark

このリリースは、Spark 2.3.0 と次の Apache のパッチを提供します。

  • SPARK-13587: PySpark で VirtualEnv をサポートする。

  • SPARK-19964: SparkSubmitSuite のリモート リポジトリからの読み取りを回避する。

  • SPARK-22882: 構造化ストリーミング用の ML テスト: ml.classification。

  • SPARK-22915: spark.ml.feature のストリーミング テスト (N から Z まで)。

  • SPARK-23020: プロセス内ランチャー テストで別の競合を修正する。

  • SPARK-23040: シャッフル リーダーの割り込み可能な反復子を返す。

  • SPARK-23173: JSON からデータを読み込むときに、破損している Parquet ファイルを作成しないようにする。

  • SPARK-23264: literals.sql.out の scala.MatchError を修正する。

  • SPARK-23288: Parquet シンクを使用して出力メトリックを修正する。

  • SPARK-23329: 三角関数のドキュメントを修正する。

  • SPARK-23406: ブランチ 2.3 のストリーム間の自己結合を有効にする。

  • SPARK-23434: Spark が HDFS ファイル パスの "メタデータ ディレクトリ" を警告してはならない。

  • SPARK-23436: 日付にキャストできる場合にのみ、パーティションを日付として推論する。

  • SPARK-23457: 最初に ParquetFileFormat でタスク完了リスナーを登録する。

  • SPARK-23462: `StructType` のフィールドが不足しているエラー メッセージを改善する。

  • SPARK-23490: CreateTable の既存のテーブルで storage.locationUri を確認する。

  • SPARK-23524: ローカルの大きなシャッフル ブロックの破損をチェックしないようにする必要がある。

  • SPARK-23525: 外部の Hive テーブルの ALTER TABLE CHANGE COLUMN COMMENT をサポートする。

  • SPARK-23553: テストで "spark.sql.sources.default" の既定値を想定しない必要がある。

  • SPARK-23569: pandas_udf が Python3 スタイルの型注釈関数で機能することを許可する。

  • SPARK-23570: Spark 2.3.0 を HiveExternalCatalogVersionsSuite に追加する。

  • SPARK-23598: BufferedRowIterator のメソッドをパブリックにして、大きなクエリでランタイム エラーを回避する。

  • SPARK-23599: UUID ジェネレーターを擬似ランダム数値から追加する。

  • SPARK-23599: UUID の式で RandomUUIDGenerator を使用する。

  • SPARK-23601: リリースから .md5 ファイルを削除する。

  • SPARK-23608: SHS の attachSparkUI 関数と detachSparkUI 関数の間に同期を追加して、Jetty ハンドラーへの同時修正の問題を回避する。

  • SPARK-23614: キャッシュが使用されるときに、正しくない再利用交換を修正する。

  • SPARK-23623: CachedKafkaConsumer (ブランチ 2.3) でキャッシュされたコンシューマーの同時使用を回避する。

  • SPARK-23624: Datasource V2 のメソッド pushFilters のドキュメントを改訂する。

  • SPARK-23628: calculateParamLength が 1 + 式の数を返さないようにする必要がある。

  • SPARK-23630: ユーザーによる Hadoop の構成のカスタマイズを有効にすることを許可する。

  • SPARK-23635: Spark の Executor の環境変数が同じ名前の AM の環境変数によって上書きされる。

  • SPARK-23637: 同じ Executor が複数回中止された場合に、Yarn がより多くのリソースを割り当てる可能性がある。

  • SPARK-23639: SparkSQL CLI の metastore クライアントを初期化する前にトークンを取得する。

  • SPARK-23642: AccumulatorV2 サブクラスの isZero scaladoc の修正。

  • SPARK-23644: SHS での REST 呼び出しのための絶対パスを使用する。

  • SPARK-23645: ドキュメントに RE `pandas_udf` をキーワード変数と共に追加する。

  • SPARK-23649: UTF-8 で許可されない文字をスキップする。

  • SPARK-23658: InProcessAppHandle によって、getLogger で間違ったクラスが使用される。

  • SPARK-23660: アプリケーションが早く終了したときに YARN クラスター モードの例外を修正する。

  • SPARK-23670: SparkPlanGraphWrapper でメモリ リークを修正する。

  • SPARK-23671: 条件を修正して SHS スレッド プールを有効にする。

  • SPARK-23691: PySpark テストでできるだけ sql_conf ユーティリティを使用する。

  • SPARK-23695: Kinesis のストリーミング テストのエラー メッセージを修正する。

  • SPARK-23706: PySpark で spark.conf.get(value, default=None) によって None が生成される必要がある。

  • SPARK-23728: ML テストをストリーミング テストで予想される例外を使用して修正する。

  • SPARK-23729: glob を解決するときに URI フラグメントを考慮する。

  • SPARK-23759: Spark UI を特定のホスト名または IP にバインドできない。

  • SPARK-23760: CodegenContext.withSubExprEliminationExprs によって CSE 状態が正しく保存または復元される。

  • SPARK-23769: Scalastyle チェックを不必要に無効にするコメントを削除する。

  • SPARK-23788: StreamingQuerySuite の競合を修正する。

  • SPARK-23802: PropagateEmptyRelation でクエリ プランが未解決の状態のままになる場合がある。

  • SPARK-23806: Broadcast.unpersist を動的割り当てで使用すると、致命的な例外が発生することがある。

  • SPARK-23808: 既定の Spark セッションをテスト専用の Spark セッションに設定する。

  • SPARK-23809: getOrCreate によってアクティブな SparkSession が設定される必要がある。

  • SPARK-23816: 中止されたタスクで FetchFailure が無視される必要がある。

  • SPARK-23822: Parquet スキーマの不一致に対するエラー メッセージを改善する。

  • SPARK-23823: transformExpression の原点を保持する。

  • SPARK-23827: StreamingJoinExec が、入力データが特定の数のパーティションに分割されることを確認する必要がある。

  • SPARK-23838: SQL クエリの実行が SQL タブに "completed" と表示される。

  • SPARK-23881: 不安定なテスト JobCancellationSuite."interruptible iterator of shuffle reader" を修正する。

Sqoop

このリリースでは、Sqoop 1.4.6 に Apache パッチは提供されなくなりました。

Storm

このリリースは、Storm 1.1.1 と次の Apache のパッチを提供します。

  • STORM-2652: JmsSpout の open メソッドで例外がスローされる。

  • STORM-2841: testNoAcksIfFlushFails UT が NullPointerException で失敗する。

  • STORM-2854: IEventLogger を公開してイベントのログ記録をプラグ可能にする。

  • STORM-2870: FileBasedEventLogger がデーモン以外の ExecutorService をリークし、プロセスの完了を妨害する。

  • STORM-2960: Storm プロセスの適切な OS アカウントを設定することの重要性をより強調する。

Tez

このリリースは、Tez 0.7.0 と次の Apache のパッチを提供します。

  • TEZ-1526: TezTaskID の LoadingCache が大きなジョブで低速になる。

Zeppelin

このリリースでは、Zeppelin 0.7.3 に Apache パッチが提供されなくなりました。

  • ZEPPELIN-3072: ノートブックが多すぎると Zeppelin UI が低速または応答しなくなる。

  • ZEPPELIN-3129: Zeppelin UI が Internet Explorer でサインアウトしない。

  • ZEPPELIN-903: CXF を Jersey2 に置き換える。

ZooKeeper

このリリースは、ZooKeeper 3.4.6 と次の Apache のパッチを提供します。

  • ZOOKEEPER-1256: macOS X で ClientPortBindTest が失敗する。

  • ZOOKEEPER-1901: [JDK8] AsyncOps テストで比較のために子を並べ替える。

  • ZOOKEEPER-2423: セキュリティの脆弱性から Netty のバージョンを更新する (CVE-2014-3488)。

  • ZOOKEEPER-2693: 4 文字単語 (4lw) wchp/wchc による DOS 攻撃。

  • ZOOKEEPER-2726: パッチにより潜在的な競合状態が発生する。

修正された共通脆弱性識別子

このセクションでは、このリリースで対処されているすべての共通脆弱性識別子 (CVE) を紹介します。

​CVE-2017-7676

概要: Apache Ranger ポリシーの評価で '*' ワイルドカード文字の後の文字が無視される
重大度: Critical
ベンダー: Hortonworks
影響を受けるバージョン: Apache Ranger バージョン 0.5.x/0.6.x/0.7.0 を含む HDInsight 3.6 バージョン
影響を受けるユーザー: '*' ワイルドカード文字の後に文字を含む Ranger ポリシー (my*test、test*.txt など) を使用する環境
影響: ポリシー リソースのマッチ機能では '*' ワイルドカード文字の後の文字が無視されます。これにより、意図しない動作が実行されることがあります。
修正の詳細: ワイルドカードの一致を正しく処理するように、Ranger ポリシー リソースのマッチ機能が更新されました。
推奨される操作: HDI 3.6 (および Apache Ranger 0.7.1 以降) にアップグレードしてください。

​CVE-2017-7677

概要: 外部の場所が指定された場合、Apache Ranger Hive Authorizer は RWX のアクセス許可をチェックする必要がある
重大度: Critical
ベンダー: Hortonworks
影響を受けるバージョン: Apache Ranger バージョン 0.5.x/0.6.x/0.7.0 を含む HDInsight 3.6 バージョン
影響を受けるユーザー: hive テーブルに外部の場所を使用する環境
影響: hive テーブルに外部の場所を使用する環境では、Apache Ranger Hive Authorizer は、テーブル作成用に指定された外部の場所に対する RWX のアクセス許可をチェックする必要があります。
修正の詳細: 外部の場所に関するアクセス許可のチェックを正しく処理するように、Ranger Hive Authorizer が更新されました。
推奨される操作: ユーザーは、HDI 3.6 (および Apache Ranger 0.7.1+) にアップグレードしてください。

​CVE-2017-9799

概要: Apache Storm で正しくないユーザーとしてコードが実行される可能性がある
重大度: 重要
ベンダー: Hortonworks
影響を受けるバージョン: HDP 2.4.0、HDP-2.5.0、HDP-2.6.0
影響を受けるユーザー: Storm をセキュア モードで使用し、かつ blobstore を使用してトポロジ ベースの成果物を配布しているか、または blobstore を使用してすべてのトポロジ リソースを配布しているユーザー。
影響: ストームの状況や構成によっては、トポロジの所有者が、別の (ルート 以外の) ユーザーとしてワーカー を起動するようにスーパーバイザーをだますことが理論的に可能になる場合があります。 最悪の場合、他のユーザーのセキュリティ資格情報が侵害されることがあります。 この脆弱性は、セキュリティが有効な Apache Storm のインストールにのみ当てはまります。
対応策: 現時点は対処法がないため、HDP-2.6.2.1 にアップグレードしてください。

​CVE-2016-4970

概要: 4.0.37 より前の Netty 4.0.x の handler/ssl/OpenSslEngine.java。 Final と 4.1.1 より前の 4.1.x。 Final により、リモート攻撃者がサービス拒否を引き起こすことができる (無限ループ)
重大度: 中
ベンダー: Hortonworks
影響を受けるバージョン: 2.3. x 以降の HDP 2.x.x
影響を受けるユーザー: HDFS を使用しているすべてのユーザー。
影響: Hortonworks は Hadoop コードベースで直接 OpenSslEngine.java を使用していないため、影響は大きくありません。
推奨される操作: HDP 2.6.3 にアップグレードしてください。

​CVE-2016-8746

概要: ポリシーの評価における Apache Ranger のパス照合の問題
重大度: Normal
ベンダー: Hortonworks
影響を受けるバージョン: Apache Ranger バージョン 0.6.0/0.6.1/0.6.2 を含むすべての HDP 2.5 バージョン
影響を受けるユーザー: Ranger ポリシー管理ツールのすべてのユーザー。
影響: ポリシーにワイルドカードや recursive フラグか含まれている場合は、特定の条件で Ranger ポリシー エンジンがパスを誤って照合します。
修正の詳細: ポリシー評価のロジックを修正しました
推奨される操作: ユーザーは、HDP 2.5.4 以降 (および Apache Ranger 0.6.3 以降) または HDP 2.6 以降 (および Apache Ranger 0.7.0 以降) にアップグレードしてください

​CVE-2016-8751

概要: Apache Ranger の蓄積型クロス サイト スクリプティングの問題
重大度: Normal
ベンダー: Hortonworks
影響を受けるバージョン: Apache Ranger バージョン 0.5.x/0.6.0/0.6.1/0.6.2 を含むすべての HDP 2.3/2.4/2.5 バージョン
影響を受けるユーザー: Ranger ポリシー管理ツールのすべてのユーザー。
影響: カスタム ポリシー条件を入力する場合、Apache Ranger は蓄積型クロス サイト スクリプティングに対して脆弱です。 管理者ユーザーは、一般ユーザーがサインインしてポリシーにアクセスするときに、任意の JavaScript コードの実行を一部格納できます。
修正の詳細: ユーザー入力をサニタイズするロジックを追加しました。
推奨される操作: ユーザーは、HDP 2.5.4 以降 (および Apache Ranger 0.6.3 以降) または HDP 2.6 以降 (および Apache Ranger 0.7.0 以降) にアップグレードしてください

修正されたサポートの問題

修正された問題は、以前に Hortonworks のサポートにログされたことのある選択された問題を表しますが、現在のリリースでは対処されています。 これらの問題は、以前のバージョンの「既知の問題」セクション内で報告されている場合があります。それらはお客様によって報告されたか、Hortonworks の Quality Engineering チームによって特定された問題であることを意味します。

正しくない結果

バグ ID Apache JIRA まとめ
BUG-100019 YARN-8145 yarn rmadmin -getGroups が更新されたユーザーのグループを返さない
BUG-100058 PHOENIX-2645 ワイルドカード文字が改行文字に一致しない
BUG-100266 PHOENIX-3521、PHOENIX-4190 ローカル インデックスにより結果が間違っている
BUG-88774 HIVE-17617、HIVE-18413、HIVE-18523 query36 が失敗する、行カウントが一致しない
BUG-89765 HIVE-17702 ORC の 10 進数リーダーの isRepeating の処理が間違っている
BUG-92293 HADOOP-15042 numberOfPagesRemaining が 0 の場合に、Azure PageBlobInputStream.skip() が負の値を返すことがある
BUG-92345 ATLAS-2285 UI: 保存した検索の名前を日付属性で変更した。
BUG-92563 HIVE-17495、HIVE-18528 ObjectStore の統計情報を集計すると間違った結果が取得される
BUG-92957 HIVE-11266 外部テーブルのテーブルの統計情報に基づく count(*) の結果が正しくない
BUG-93097 RANGER-1944 管理者監査のアクション フィルターが機能しない
BUG-93335 HIVE-12315 二重計算により vectorization_short_regress.q の結果が間違っている
BUG-93415 HIVE-18258、HIVE-18310 ベクター化: 重複する列を含む削減側の GROUP BY MERGEPARTIAL が壊れている
BUG-93939 ATLAS-2294 型を作成するときに追加パラメーター "description" が追加される
BUG-94007 PHOENIX-1751、PHOENIX-3112 HBase の部分的な行により Phoenix のクエリが Null 値を返す
BUG-94266 HIVE-12505 同じ暗号化されたゾーンに insert overwrite を実行すると、一部の既存ファイルの削除がサイレントに失敗する
BUG-94414 HIVE-15680 hive.optimize.index.filter=true で、クエリで同じ ORC テーブルが 2 回参照されると、正しくない結果になる
BUG-95048 HIVE-18490 EXISTS と NOT EXISTS が指定され、述語が同値でないクエリは間違った結果を生成することがある
BUG-95053 PHOENIX-3865 最初の列ファミリがフィルター処理されないと、IS NULL が正しい結果を返さない
BUG-95476 RANGER-1966 一部のケースで、ポリシー エンジンの初期化によりコンテキスト エンリッチャーが作成されない
BUG-95566 SPARK-23281 複合的な order by 句が元の列とエイリアスの両方を参照すると、クエリが正しくない順序で結果を生成する
BUG-95907 PHOENIX-3451、PHOENIX-3452、PHOENIX-3469、PHOENIX-4560 クエリに集計があるときに ORDER BY ASC で問題を修正する
BUG-96389 PHOENIX-4586 UPSERT SELECT がサブクエリの比較演算子を考慮に入れない
BUG-96602 HIVE-18660 PCR がパーティション列と仮想列間で分散されない
BUG-97686 ATLAS-2468 [基本的な検索] NEQ が数値型で使用されたときの OR ケースの問題
BUG-97708 HIVE-18817 ACID テーブルの読み取り中に ArrayIndexOutOfBounds 例外が発生する
BUG-97864 HIVE-18833 "orcfile としてディレクトリに挿入" すると自動マージが失敗する
BUG-97889 RANGER-2008 マルチライン ポリシー条件でポリシーの評価が失敗する。
BUG-98655 RANGER-2066 HBase の列ファミリのアクセスが列ファミリのタグ付けされた列によって承認される
BUG-99883 HIVE-19073、HIVE-19145 StatsOptimizer が定数列を分割する場合がある

その他

バグ ID Apache JIRA まとめ
BUG-100267 HBASE-17170 クラス ローダーの違いにより HBase も DoNotRetryIOException を再試行している。
BUG-92367 YARN-7558 UI 認証を有効にすると、"yarn logs" コマンドが実行中のコンテナーのログの取得に失敗する。
BUG-93159 OOZIE-3139 Oozie ワークフローを正しく検証しない
BUG-93936 ATLAS-2289 kafka/zookeeper サーバーの埋め込みの開始/停止コードが KafkaNotification の実装からなくなる
BUG-93942 ATLAS-2312 ThreadLocal DateFormat オブジェクトを使用して複数スレッドからの同時使用を回避する
BUG-93946 ATLAS-2319 UI: フラット構造とツリー構造の両方でタグ一覧の 25 を超える位置にあるタグを削除するには更新が必要である。
BUG-94618 YARN-5037、YARN-7274 リーフ キュー レベルで弾力性を無効にする機能
BUG-94901 HBASE-19285 テーブルごとの待機時間ヒストグラムを追加する
BUG-95259 HADOOP-15185、HADOOP-15186 現在のバージョンの ADLS SDK を使用するよう adls コネクタを更新する
BUG-95619 HIVE-18551 ベクター化: VectorMapOperator によって書き込みが試行される Hybrid Grace 用のベクター列の数が多すぎる
BUG-97223 SPARK-23434 Spark が HDFS ファイル パスの "メタデータ ディレクトリ" を警告してはならない

パフォーマンス

バグ ID Apache JIRA まとめ
BUG-83282 HBASE-13376、HBASE-14473、HBASE-15210、HBASE-15515、HBASE-16570、HBASE-16810、HBASE-18164 バランサーで地域をすばやく計算する
BUG-91300 HBASE-17387 RegionActionResult の multi() の例外レポートのオーバーヘッドを削減する
BUG-91804 TEZ-1526 TezTaskID の LoadingCache が大きなジョブで低速になる
BUG-92760 ACCUMULO-4578 FATE の圧縮操作のキャンセルが名前空間のロックを解放しない
BUG-93577 RANGER-1938 オーディオ セットアップの Solr が DocValue を効果的に使用しない
BUG-93910 HIVE-18293 HiveMetaStore を実行している ID によって所有されていないフォルダーに含まれたテーブルの圧縮が Hive で失敗する
BUG-94345 HIVE-18429 圧縮が出力を生成しないケースを処理する必要がある
BUG-94381 HADOOP-13227、HDFS-13054 RequestHedgingProxyProvider RetryAction の順序の処理: FAIL < RETRY < FAILOVER_AND_RETRY。
BUG-94432 HIVE-18353 CompactorMR が jobclient.close() を呼び出してクリーンアップをトリガーする必要がある
BUG-94869 PHOENIX-4290、PHOENIX-4373 ローカル インデックス付きのソルト化された Phoenix テーブルの HRegion に対する Get で範囲外の行を要求する。
BUG-94928 HDFS-11078 LazyPersistFileScrubber の NPE を修正する
BUG-94964 HIVE-18269、HIVE-18318、HIVE-18326 複数の LLAP の修正
BUG-95669 HIVE-18577、HIVE-18643 パーティション分割された ACID テーブルで更新/削除クエリを実行すると、HS2 が各パーティションをすべて読み取る。
BUG-96390 HDFS-10453 大きなクラスターにおいて、同じファイルのレプリケーションと削除の間に競合があることにより、ReplicationMonitor が長時間スタックする場合がある。
BUG-96625 HIVE-16110 "ベクター化: VectorUDFAdaptor にフォールバックする代わりに 2 つの値の CASE WHEN をサポートする" を元に戻す
BUG-97109 HIVE-16757 新しい estimateRowCount(RelMetadataQuery...) の代わりに非推奨の getRows() を使用するとパフォーマンスに重大な影響を及ぼす
BUG-97110 PHOENIX-3789 postBatchMutateIndispensably でクロス リージョン インデックス管理呼び出しを実行する
BUG-98833 YARN-6797 TimelineWriter が POST 応答を完全には使用しない
BUG-98931 ATLAS-2491 Atlas v2 の通知を使用するよう Hive Hook を更新する

データ損失の可能性

バグ ID Apache JIRA まとめ
BUG-95613 HBASE-18808 BackupLogCleaner#getDeletableFiles() の効果的でないコンフィグ チェック
BUG-97051 HIVE-17403 アンマネージド テーブルとトランザクション テーブルの連結に失敗する
BUG-97787 HIVE-18460 圧縮機が ORC ライターに Table プロパティを渡さない
BUG-97788 HIVE-18613 バイナリ型をサポートするよう JsonSerDe を拡張する

クエリの失敗

バグ ID Apache JIRA まとめ
BUG-100180 CALCITE-2232 集計インデックスを調整している間に AggregatePullUpConstantsRule でアサーション エラーが発生する
BUG-100422 HIVE-19085 FastHiveDecimal abs(0) がサインを +ve に設定する
BUG-100834 PHOENIX-4658 IllegalStateException: ReversedKeyValueHeap で requestSeek を呼び出すことができない
BUG-102078 HIVE-17978 TPCDS のクエリ 58 と 83 がベクター化で例外を生成する。
BUG-92483 HIVE-17900 圧縮機によってトリガーされた列の統計情報を分析すると、> 1 のパーティション列を持つ無効な SQL が生成される
BUG-93135 HIVE-15874、HIVE-18189 hive.groupby.orderby.position.alias が true に設定されると、Hive クエリが間違った結果を返す
BUG-93136 HIVE-18189 cbo が無効になっていると、位置による並べ替えが機能しない
BUG-93595 HIVE-12378、HIVE-15883 Hive の HBase にマッピングされたテーブルの 10 進数列およびバイナリ列の挿入が失敗する
BUG-94007 PHOENIX-1751、PHOENIX-3112 HBase の部分的な行により Phoenix のクエリが Null 値を返す
BUG-94144 HIVE-17063 最初にパーティションをドロップすると、外部テーブルへのパーティションの insert overwrite が失敗する
BUG-94280 HIVE-12785 構造体を `キャストする` ための共用体型および UDF によるビューが壊れている
BUG-94505 PHOENIX-4525 GroupBy の実行で整数がオーバーフローする
BUG-95618 HIVE-18506 LlapBaseInputFormat - 負の値の配列インデックス
BUG-95644 HIVE-9152 CombineHiveInputFormat: Hive クエリが java.lang.IllegalArgumentException 例外により Tez で失敗する
BUG-96762 PHOENIX-4588 式の子に Determinism.PER_INVOCATION がある場合は、その式もクローンする
BUG-97145 HIVE-12245、HIVE-17829 HBase によって裏付けられるテーブルの列のコメントをサポートする
BUG-97741 HIVE-18944 DPP 中に Grouping Sets の位置が間違って設定されている
BUG-98082 HIVE-18597 LLAP: 常に org.apache.log4j 用に log4j2 API jar をパッケージ化する
BUG-99849 該当なし ファイル ウィザードからの新しいテーブルの作成に、既定のデータベースの使用を試行する

Security

バグ ID Apache JIRA まとめ
BUG-100436 RANGER-2060 Ranger で knox-sso を使用した Knox プロキシが動作しない
BUG-101038 SPARK-24062 Zeppelin %Spark インタープリターの "Connection refused" エラー、"A secret key must be specified..." エラーが HiveThriftServer で発生する
BUG-101359 ACCUMULO-4056 リリースされたときに commons-collection のバージョンを 3.2.2 に更新する
BUG-54240 HIVE-18879 クラスパスに xercesImpl.jar がある場合、UDFXPathUtil 内に埋め込まれた要素の無効化が機能する必要がある
BUG-79059 OOZIE-3109 ログ ストリーミングの HTML 固有の文字をエスケープする
BUG-90041 OOZIE-2723 JSON.org ライセンスが CatX になる
BUG-93754 RANGER-1943 コレクションが空または null のときに Ranger Solr の承認がスキップされる
BUG-93804 HIVE-17419 ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS コマンドが、マスクされたテーブルの計算された統計情報を表示する
BUG-94276 ZEPPELIN-3129 Zeppelin UI が Internet Explorer でサインアウトしない
BUG-95349 ZOOKEEPER-1256、ZOOKEEPER-1901 Netty をアップグレードする
BUG-95483 該当なし CVE-2017-15713 の修正プログラム
BUG-95646 OOZIE-3167 Oozie 4.3 ブランチ上の Tomcat のバージョンをアップグレードする
BUG-95823 該当なし Knox: Beanutils をアップグレードする
BUG-95908 RANGER-1960 スナップショットの削除において、HBase の認証がテーブルの名前空間を考慮に入れない
BUG-96191 FALCON-2322、FALCON-2323 セキュリティの脆弱性を回避するために Jackson と Spring のバージョンをアップグレードする
BUG-96502 RANGER-1990 Ranger Admin に一方向の SSL MySQL サポートを追加する
BUG-96712 FLUME-3194 Derby を最新バージョン (1.14.1.0) にアップグレードする
BUG-96713 FLUME-2678 CVE-2014-0107 の脆弱性に対処するために Xalan を 2.7.2 にアップグレードする
BUG-96714 FLUME-2050 log4j2 にアップグレードする (GA のとき)
BUG-96737 該当なし Java io ファイルシステムのメソッドを使用してローカル ファイルにアクセスする
BUG-96925 該当なし Hadoop で Tomcat を 6.0.48 から 6.0.53 にアップグレードする
BUG-96977 FLUME-3132 Tomcat の jasper ライブラリの依存関係をアップグレードする
BUG-97022 HADOOP-14799、HADOOP-14903、HADOOP-15265 Nimbus-JOSE-JWT ライブラリをバージョン 4.39 以上にアップグレードする
BUG-97101 RANGER-1988 安全でないランダム性を修正する
BUG-97178 ATLAS-2467 Spring と nimbus-jose-jwt の依存関係をアップグレードする
BUG-97180 該当なし Nimbus-jose-jwt をアップグレードする
BUG-98038 HIVE-18788 JDBC PreparedStatement 内の入力をクリーンアップする
BUG-98353 HADOOP-13707 "HTTP SPNEGO が構成されていない間に Kerberos が有効になると、一部のリンクにアクセスできなくなる" を元に戻す
BUG-98372 HBASE-13848 Credential Provider API 経由で InfoServer SSL のパスワードにアクセスする
BUG-98385 ATLAS-2500 Atlas の応答により多くのヘッダーを追加する。
BUG-98564 HADOOP-14651 okhttp のバージョンを 2.7.5 に更新する
BUG-99440 RANGER-2045 明示的な許可ポリシーのない Hive のテーブル列が 'desc table' コマンドで列挙される
BUG-99803 該当なし Oozie が HBase クラスの動的な読み込みを無効にする必要がある

安定性

バグ ID Apache JIRA まとめ
BUG-100040 ATLAS-2536 Atlas Hive Hook の NPE
BUG-100057 HIVE-19251 LIMIT が指定された ObjectStore.getNextNotification はより少ないメモリを使用する必要がある
BUG-100072 HIVE-19130 REPL LOAD がドロップ パーティション イベントを適用したときに NPE がスローされる。
BUG-100073 該当なし hiveserver からデータ ノードへの close_wait 接続が多すぎる
BUG-100319 HIVE-19248 ファイルのコピーが失敗した場合に REPL LOAD がエラーをスローしない。
BUG-100352 該当なし CLONE - RM が論理スキャン/レジストリ znode を消去する頻度が高すぎる
BUG-100427 HIVE-19249 レプリケーション: WITH 句がすべてのケースでタスクに構成を正しく渡さない
BUG-100430 HIVE-14483 java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays
BUG-100432 HIVE-19219 要求されたイベントがクリーンアップされた場合、増分 REPL DUMP がエラーをスローする必要がある。
BUG-100448 SPARK-23637、SPARK-23802、SPARK-23809、SPARK-23816、SPARK-23822、SPARK-23823、SPARK-23838、SPARK-23881 Spark2 を 2.3.0+ (4/11) に更新する
BUG-100740 HIVE-16107 JDBC: HttpClient が NoHttpResponseException 時に 1 回以上再試行される必要がある
BUG-100810 HIVE-19054 Hive 関数のレプリケーションが失敗する
BUG-100937 MAPREDUCE-6889 Job#close API を追加して MR クライアント サービスをシャットダウンする。
BUG-101065 ATLAS-2587 Knox プロキシが読み取れるように HA の /apache_atlas/active_server_info znode に対して読み取り ACL を設定する。
BUG-101093 STORM-2993 時間回転ポリシーが使用されると、Storm HDFS ボルトが ClosedChannelException をスローする
BUG-101181 該当なし PhoenixStorageHandler が述語の中の AND を正しく処理しない
BUG-101266 PHOENIX-4635 Org.apache.phoenix.hive.mapreduce.PhoenixInputFormat での HBase の接続リーク
BUG-101458 HIVE-11464 複数の出力がある場合に、系列情報が不足する
BUG-101485 該当なし Hive metastore Thrift API が低速でクライアントのタイムアウトを引き起こす
BUG-101628 HIVE-19331 Hive のクラウドへの増分レプリケーションが失敗する。
BUG-102048 HIVE-19381 Hive のクラウドへの関数レプリケーションが FunctionTask で失敗する
BUG-102064 該当なし ReplCopyTask で \[ onprem to onprem \] への Hive のレプリケーション テストが失敗する
BUG-102137 HIVE-19423 ReplCopyTask で \[ Onprem to Cloud \] への Hive のレプリケーション テストが失敗する
BUG-102305 HIVE-19430 HS2 と Hive metastore の OOM をダンプする
BUG-102361 該当なし 複数の挿入が、ターゲット Hive クラスターに対して単一の挿入がレプリケートされる結果になる ( onprem - s3 )
BUG-87624 該当なし Storm イベントのログ記録を有効にすると、worker が連続して終了する原因になる
BUG-88929 HBASE-15615 RegionServerCallable に再試行が必要なときのスリープ時間が正しくない
BUG-89628 HIVE-17613 短い、同一スレッドに割り当てられるオブジェクト プールを削除する
BUG-89813 該当なし SCA: コードの正確性: 非同期メソッドが同期メソッドをオーバーライドする
BUG-90437 ZEPPELIN-3072 ノートブックが多すぎると Zeppelin UI が低速または応答しなくなる
BUG-90640 HBASE-19065 HRegion#bulkLoadHFiles() が同時実行の Region#flush() の完了を待つ必要がある
BUG-91202 HIVE-17013 ビュー上の選択に基づくサブクエリによる要求を削除する
BUG-91350 KNOX-1108 NiFiHaDispatch がフェールオーバーしない
BUG-92054 HIVE-13120 ORC の分割を生成するときに doAs を伝達する
BUG-92373 FALCON-2314 BeanShell 依存関係を回避するために TestNG バージョンを 6.13.1 にバンプする
BUG-92381 該当なし testContainerLogsWithNewAPI と testContainerLogsWithOldAPI UT が失敗する
BUG-92389 STORM-2841 testNoAcksIfFlushFails UT が NullPointerException で失敗する
BUG-92586 SPARK-17920、SPARK-20694、SPARK-21642、SPARK-22162、SPARK-22289、SPARK-22373、SPARK-22495、SPARK-22574、SPARK-22591、SPARK-22595、SPARK-22601、SPARK-22603、SPARK-22607、SPARK-22635、SPARK-22637、SPARK-22653、SPARK-22654、SPARK-22686、SPARK-22688、SPARK-22817、SPARK-22862、SPARK-22889、SPARK-22972、SPARK-22975、SPARK-22982、SPARK-22983、SPARK-22984、SPARK-23001、SPARK-23038、SPARK-23095 Spark2 を最新の 2.2.1 に更新する (1 月 16 日)
BUG-92680 ATLAS-2288 HBase テーブルが Hive を介して作成されるとき、import-hive スクリプトの実行中に NoClassDefFoundError 例外が発生する
BUG-92760 ACCUMULO-4578 FATE の圧縮操作のキャンセルが名前空間のロックを解放しない
BUG-92797 HDFS-10267、HDFS-8496 特定のユースケースで DataNode のロックの競合を減らす
BUG-92813 FLUME-2973 HDFS シンクでデッドロックが発生する
BUG-92957 HIVE-11266 外部テーブルのテーブルの統計情報に基づく count(*) の結果が正しくない
BUG-93018 ATLAS-2310 HA で、パッシブ ノードが間違った URL エンコードで要求をリダイレクトする
BUG-93116 RANGER-1957 増分同期が有効になっていると、Ranger Usersync がユーザーまたはグループを定期的に同期しない。
BUG-93361 HIVE-12360 述語プッシュダウンによる非圧縮の ORC のシークが正しくない
BUG-93426 CALCITE-2086 Authorization ヘッダーが大きいことが原因で、特定の状況で HTTP/413 が発生する
BUG-93429 PHOENIX-3240 Pig ローダーから ClassCastException が発生する
BUG-93485 該当なし テーブル mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException を取得できない: LLAP の列に対するテーブル分析の実行時にテーブルが見つからない
BUG-93512 PHOENIX-4466 java.lang.RuntimeException: 応答コード 500 - Phoenix のクエリ サーバーに接続し、データを読み込む Spark ジョブを実行する
BUG-93550 該当なし Scala のバージョンが一致しないため、Zeppelin %spark.r が spark1 で機能しない
BUG-93910 HIVE-18293 HiveMetaStore を実行している ID によって所有されていないフォルダーに含まれたテーブルの圧縮が Hive で失敗する
BUG-93926 ZEPPELIN-3114 >1 日のストレス テスト後、Zeppelin にノートブックやインタープリターが保存されない
BUG-93932 ATLAS-2320 クエリによる分類 "*" が 500 内部サーバー例外をスローする。
BUG-93948 YARN-7697 log-aggregation のリークが原因で NM が OOM によりダウンする (パート #1)
BUG-93965 ATLAS-2229 DSL の検索: orderby の文字列以外の属性が例外をスローする
BUG-93986 YARN-7697 log-aggregation のリークが原因で NM が OOM によりダウンする (パート #2)
BUG-94030 ATLAS-2332 コレクションのデータ型が入れ子になっている場合、属性を使用した型の作成が失敗する
BUG-94080 YARN-3742、YARN-6061 セキュリティで保護されたクラスターで両方の RM がスタンバイになる
BUG-94081 HIVE-18384 log4j2.x ライブラリに ConcurrentModificationException が発生する
BUG-94168 該当なし サービス レジストリが間違った状態にあるエラーにより Yarn RM がダウンする
BUG-94330 HADOOP-13190、HADOOP-14104、HADOOP-14814、HDFS-10489、HDFS-11689 HDFS が 複数の KMS Uris をサポートする必要がある
BUG-94345 HIVE-18429 圧縮が出力を生成しないケースを処理する必要がある
BUG-94372 ATLAS-2229 DSL クエリ: hive_table name = ["t1","t2"] が無効な DSL クエリ例外をスローする
BUG-94381 HADOOP-13227、HDFS-13054 RequestHedgingProxyProvider RetryAction の順序の処理: FAIL < RETRY < FAILOVER_AND_RETRY。
BUG-94432 HIVE-18353 CompactorMR が jobclient.close() を呼び出してクリーンアップをトリガーする必要がある
BUG-94575 SPARK-22587 fs.defaultFS とアプリケーション jar の URL が異なる場合に Spark のジョブが失敗する
BUG-94791 SPARK-22793 Spark Thrift サーバーでメモリ リークが発生する
BUG-94928 HDFS-11078 LazyPersistFileScrubber の NPE を修正する
BUG-95013 HIVE-18488 LLAP ORC リーダーにいくつかの null チェックがない
BUG-95077 HIVE-14205 Hive が AVRO ファイル形式の共用体型をサポートしない
BUG-95200 HDFS-13061 SaslDataTransferClient#checkTrustAndSend が部分的に信頼されたチャネルを信頼してはならない
BUG-95201 HDFS-13060 TrustedChannelResolver に BlacklistBasedTrustedChannelResolver を追加する
BUG-95284 HBASE-19395 [ブランチ 1] の TestEndToEndSplitTransaction.testMasterOpsWhileSplitting が NPE により失敗する
BUG-95301 HIVE-18517 ベクター化: VRB を受け取るように VectorMapOperator を修正し、LLAP キャッシュをサポートするように正しくベクター化されたフラグをチェックする
BUG-95542 HBASE-16135 削除されたピアのリージョン サーバーの下にある PeerClusterZnode が削除されない場合がある
BUG-95595 HIVE-15563 SQLOperation.runQuery の不正な操作の状態遷移の例外を無視して、実際の例外を公開する。
BUG-95596 YARN-4126、YARN-5750 TestClientRMService が失敗する
BUG-96019 HIVE-18548 log4j インポートを修正する
BUG-96196 HDFS-13120 連結後スナップショットの差分が破損することがある
BUG-96289 HDFS-11701 未解決のホストからの NPE が永続的な DFSInputStream のエラーの原因になる
BUG-96291 STORM-2652 JmsSpout の open メソッドで例外がスローされる
BUG-96363 HIVE-18959 LLAP 内に余分なスレッドのプールが作成されることを回避する
BUG-96390 HDFS-10453 大きなクラスターにおいて、レプリケーションと削除の間に競合があることにより、ReplicationMonitor が長時間スタックする場合がある。
BUG-96454 YARN-4593 AbstractService.getConfig() でデッドロックが発生する
BUG-96704 FALCON-2322 submitAndSchedule フィード中に ClassCastException が発生する
BUG-96720 SLIDER-1262 Kerberized 環境でスライダーの機能テストが失敗する
BUG-96931 SPARK-23053、SPARK-23186、SPARK-23230、SPARK-23358、SPARK-23376、SPARK-23391 Spark2 を最新に更新する (2 月 19 日)
BUG-97067 HIVE-10697 ObjectInspectorConvertors#UnionConvertor によって問題のある変換が行われる
BUG-97244 KNOX-1083 HttpClient の既定のタイムアウトに実用的な値を指定する必要がある
BUG-97459 ZEPPELIN-3271 スケジューラを無効にするためのオプション
BUG-97511 KNOX-1197 サービスで認証が匿名のときに AnonymousAuthFilter が追加されない
BUG-97601 HIVE-17479 更新/削除のクエリでステージング ディレクトリがクリーンアップされない
BUG-97605 HIVE-18858 MR ジョブを送信するときにジョブ構成内のシステム プロパティが解決されない
BUG-97674 OOZIE-3186 Oozie が jceks://file/... を使用してリンクされている構成を使用できない
BUG-97743 該当なし Storm トポロジのデプロイ中に java.lang.NoClassDefFoundError 例外が発生する
BUG-97756 PHOENIX-4576 LocalIndexSplitMergeIT のテストの修正が失敗する
BUG-97771 HDFS-11711 DN が "開かれたファイルが多すぎる" 例外の発生時にブロックを削除してはならない
BUG-97869 KNOX-1190 Knox SSO の Google OIDC のサポートが壊れている。
BUG-97879 PHOENIX-4489 Phoenix MR のジョブで HBase の接続リークが発生する
BUG-98392 RANGER-2007 ranger-tagsync の Kerberos チケットが更新に失敗する
BUG-98484 該当なし Hive のクラウドへの増分レプリケーションが機能しない
BUG-98533 HBASE-19934、HBASE-20008 Null ポインターの例外により HBase のスナップショットの復元が失敗する
BUG-98555 PHOENIX-4662 キャッシュの TableResultIterator.java に NullPointerException が再送信される
BUG-98579 HBASE-13716 Hadoop の FSConstants の使用を停止する
BUG-98705 KNOX-1230 Knox への同時要求が多いと URL が分割される
BUG-98983 KNOX-1108 NiFiHaDispatch がフェールオーバーしない
BUG-99107 HIVE-19054 関数レプリケーションが "hive.repl.replica.functions.root.dir" をルートとして使用する必要がある
BUG-99145 RANGER-2035 Oracle のバックエンドで空の implClass により servicedefs へのアクセスが失敗する
BUG-99160 SLIDER-1259 スライダーがマルチホーム環境で機能しない
BUG-99239 ATLAS-2462 すべてのテーブルの Sqoop のインポートでコマンドにテーブルが指定されないと NPE がスローされる
BUG-99301 ATLAS-2530 hive_process および hive_column_lineage の名前属性の先頭に新しい行
BUG-99453 HIVE-19065 metastore クライアントの互換性チェックに syncMetaStoreClient が含まれている必要がある
BUG-99521 該当なし 反復子が再インスタンス化されたときに HashJoin の ServerCache が再作成されない
BUG-99590 PHOENIX-3518 RenewLeaseTask でメモリ リークが発生する
BUG-99618 SPARK-23599、SPARK-23806 Spark2 を 2.3.0+ (3/28) に更新する
BUG-99672 ATLAS-2524 Hive Hook と V2 通知 - 'alter view as' 操作の処理が正しくない
BUG-99809 HBASE-20375 hbase-spark モジュールで getCurrentUserCredentials の使用を削除する

サポート可能性

バグ ID Apache JIRA まとめ
BUG-87343 HIVE-18031 Alter Database 操作のレプリケーションをサポートする。
BUG-91293 RANGER-2060 Ranger で knox-sso を使用した Knox プロキシが動作しない
BUG-93116 RANGER-1957 増分同期が有効になっていると、Ranger Usersync がユーザーまたはグループを定期的に同期しない。
BUG-93577 RANGER-1938 オーディオ セットアップの Solr が DocValue を効果的に使用しない
BUG-96082 RANGER-1982 Ranger Admin と Ranger Kms の分析メトリックのエラーを改善する
BUG-96479 HDFS-12781 Datanode が停止すると、Namenode UI の [Datanode] タブに警告メッセージがスローされる。
BUG-97864 HIVE-18833 "orcfile としてディレクトリに挿入" すると自動マージが失敗する
BUG-98814 HDFS-13314 NameNode は FsImage の破損を検出した場合に必要に応じて終了する必要がある

アップグレード

バグ ID Apache JIRA まとめ
BUG-100134 SPARK-22919 "Apache の httpclient のバージョンをバンプする" を元に戻す
BUG-95823 該当なし Knox: Beanutils をアップグレードする
BUG-96751 KNOX-1076 nimbus-jose-jwt を 4.41.2 に更新する
BUG-97864 HIVE-18833 "orcfile としてディレクトリに挿入" すると自動マージが失敗する
BUG-99056 HADOOP-13556 反復子の代わりに getProps を使用するように Configuration.getPropsWithPrefix を変更する
BUG-99378 ATLAS-2461、ATLAS-2554 Titan グラフ データベースの Atlas データをエクスポートする移行ユーティリティ

使いやすさ

バグ ID Apache JIRA まとめ
BUG-100045 HIVE-19056 ORC ファイルの行数が 0 のときに FixAcidKeyIndex で IllegalArgumentException が発生する
BUG-100139 KNOX-1243 KnoxToken サービスで構成されている必要な DN を正規化する
BUG-100570 ATLAS-2557 UGI からのグループが間違って設定されている、または空でないときに、Hadoop ldap のグループを lookup するように修正する
BUG-100646 ATLAS-2102 Atlas UI の改善: 検索結果ページ
BUG-100737 HIVE-19049 Druid の ALTER TABLE ADD 列のサポートを追加する
BUG-100750 KNOX-1246 Ranger の最新の構成をサポートするよう Knox でサービスの構成を更新する。
BUG-100965 ATLAS-2581 V2 Hive Hook の通知の回帰: テーブルを別のデータベースに移動する
BUG-84413 ATLAS-1964 UI: 検索テーブルの列の整列をサポートする
BUG-90570 HDFS-11384、HDFS-12347 NameNode の rpc.CallQueueLength の急増を回避するために、バランサーに getBlocks 呼び出しを分散するためのオプションを追加する
BUG-90584 HBASE-19052 ブランチ 1.x で FixedFileTrailer が CellComparatorImpl クラスを認識する必要がある
BUG-90979 KNOX-1224 HA で Atlas をサポートする Knox プロキシ HADispatcher。
BUG-91293 RANGER-2060 Ranger で knox-sso を使用した Knox プロキシが動作しない
BUG-92236 ATLAS-2281 null/not null のフィルターによるタグ/型属性フィルターのクエリを保存する。
BUG-92238 ATLAS-2282 お気に入りの検索結果が 25 を超えるとき、保存されたお気に入りの検索が作成後の更新時にのみ表示される。
BUG-92333 ATLAS-2286 事前に構築された型 'kafka_topic' が 'topic' 属性を一意として宣言してはならない
BUG-92678 ATLAS-2276 hdfs_path 型エンティティのパス値が hive-bridge から小文字に設定される。
BUG-93097 RANGER-1944 管理者監査のアクション フィルターが機能しない
BUG-93135 HIVE-15874、HIVE-18189 hive.groupby.orderby.position.alias が true に設定されると、Hive クエリが間違った結果を返す
BUG-93136 HIVE-18189 cbo が無効になっていると、位置による並べ替えが機能しない
BUG-93387 HIVE-17600 ユーザーが OrcFile の enforceBufferSize を設定できるようにする。
BUG-93495 RANGER-1937 Atlas のインポート機能をサポートするように、Ranger tagsync が ENTITY_CREATE の通知を処理する必要がある
BUG-93512 PHOENIX-4466 java.lang.RuntimeException: 応答コード 500 - Phoenix のクエリ サーバーに接続し、データを読み込む Spark ジョブを実行する
BUG-93801 HBASE-19393 SSL を使用した HBase UI へのアクセス中に HTTP 413 FULL head が発生する。
BUG-93804 HIVE-17419 ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS コマンドが、マスクされたテーブルの計算された統計情報を表示する
BUG-93932 ATLAS-2320 クエリによる分類 "*" が 500 内部サーバー例外をスローする。
BUG-93933 ATLAS-2286 事前に構築された型 'kafka_topic' が 'topic' 属性を一意として宣言してはならない
BUG-93938 ATLAS-2283、ATLAS-2295 分類用の UI の更新
BUG-93941 ATLAS-2296、ATLAS-2307 オプションでサブタイプ エンティティとサブ分類タイプを除外するよう基本的な検索を改善する
BUG-93944 ATLAS-2318 UI: 子タグを 2 回クリックすると、親タグが選択される
BUG-93946 ATLAS-2319 UI: フラット構造とツリー構造の両方でタグ一覧の 25 を超える位置にあるタグを削除するには更新が必要である。
BUG-93977 HIVE-16232 QuotedIdentifier 内の列の統計の計算をサポートする
BUG-94030 ATLAS-2332 コレクションのデータ型が入れ子になっている場合、属性を使用した型の作成が失敗する
BUG-94099 ATLAS-2352 Atlas サーバーが Kerberos DelegationToken の有効性を指定する構成を提供する必要がある
BUG-94280 HIVE-12785 構造体を `キャストする` ための共用体型および UDF によるビューが壊れている
BUG-94332 SQOOP-2930 Sqoop のジョブの実行が保存されたジョブの汎用のプロパティをオーバーライドしない
BUG-94428 該当なし Dataplane プロファイラー エージェント REST API Knox サポート
BUG-94514 ATLAS-2339 UI: 基本的な検索の結果ビューの "列" を修正すると DSL にも影響が及ぶ。
BUG-94515 ATLAS-2169 ハードの削除が構成されると削除要求が失敗する
BUG-94518 ATLAS-2329 ユーザーが正しくない別のタグをクリックすると、Atlas UI の複数のホバーが表示される
BUG-94519 ATLAS-2272 検索条件の保存 API を使用してドラッグした列の状態を保存する。
BUG-94627 HIVE-17731 外部ユーザーに対して HIVE-11985 への後方 compat オプションを追加する
BUG-94786 HIVE-6091 接続の作成/切断用に空の pipeout ファイルが作成される
BUG-94793 HIVE-14013 テーブル定義が Unicode を正しく表示しない
BUG-94900 OOZIE-2606、OOZIE-2658、OOZIE-2787、OOZIE-2802 Spark 2.0 を Oozie で修正するために spark.yarn.jars を設定する
BUG-94901 HBASE-19285 テーブルごとの待機時間ヒストグラムを追加する
BUG-94908 ATLAS-1921 UI: エンティティと特性の属性を使用して検索する。UI によって範囲チェックが行われず、整数および浮動小数点数のデータ型に範囲外の値を指定することが許可される。
BUG-95086 RANGER-1953 ユーザー グループ ページ一覧の改善
BUG-95193 SLIDER-1252 Python 2.7.5-58 で Slider エージェントが SSL 検証エラーにより失敗する
BUG-95314 YARN-7699 getApp REST API 呼び出しで queueUsagePercentage が INF になる
BUG-95315 HBASE-13947、HBASE-14517、HBASE-17931 最上位バージョンのサーバーにシステム テーブルを割り当てる
BUG-95392 ATLAS-2421 V2 のデータ構造をサポートするための通知の更新
BUG-95476 RANGER-1966 一部のケースで、ポリシー エンジンの初期化によりコンテキスト エンリッチャーが作成されない
BUG-95512 HIVE-18467 ウェアハウス ダンプ / 読み込み + データベース イベントの作成/ドロップ全体をサポートする
BUG-95593 該当なし Spark2 sharelib の作成をサポートするように Oozie DB ユーティリティを拡張する
BUG-95595 HIVE-15563 SQLOperation.runQuery の不正な操作の状態遷移の例外を無視して、実際の例外を公開する。
BUG-95685 ATLAS-2422 エクスポート: 型ベースのエクスポートをサポートする
BUG-95798 PHOENIX-2714、PHOENIX-2724、PHOENIX-3023、PHOENIX-3040 クエリを連続で実行するためにガイドポストを使用してはならない
BUG-95969 HIVE-16828、HIVE-17063、HIVE-18390 パーティション分割されたビューが FAILED: IndexOutOfBoundsException Index: 1, Size: 1 により失敗する1
BUG-96019 HIVE-18548 log4j インポートを修正する
BUG-96288 HBASE-14123、HBASE-14135、HBASE-17850 HBase のバックアップ/復元のバックポート 2.0
BUG-96313 KNOX-1119 Pac4J OAuth/OpenID プリンシパルを構成可能にする必要がある
BUG-96365 ATLAS-2442 エンティティのリソースに対して読み取り専用のアクセス許可を持つユーザーは基本的な検索を実行できない
BUG-96479 HDFS-12781 Datanode が停止すると、Namenode UI の [Datanode] タブに警告メッセージがスローされる。
BUG-96502 RANGER-1990 Ranger Admin に一方向の SSL MySQL サポートを追加する
BUG-96718 ATLAS-2439 V2 の通知を使用するように Sqoop のフックを更新する
BUG-96748 HIVE-18587 DML イベントの挿入によりディレクトリのチェックサムの計算を試行する場合がある
BUG-96821 HBASE-18212 スタンドアロン モードのローカル ファイルシステムの HBase ログの警告メッセージ: Failed to invoke 'unbuffer' method in class org.apache.hadoop.fs.FSDataInputStream
BUG-96847 HIVE-18754 REPL STATUS が 'with' 句をサポートする必要がある
BUG-96873 ATLAS-2443 Capture が送信される DELETE メッセージにエンティティの属性を要求する
BUG-96880 SPARK-23230 hive.default.fileformat が別の種類のファイルのとき、textfile テーブルを作成すると serde エラーが発生する
BUG-96911 OOZIE-2571、OOZIE-2792、OOZIE-2799、OOZIE-2923 Spark のオプションの解析を改善する
BUG-97100 RANGER-1984 HBase の監査ログのレコードに、アクセスした列に関連付けられたすべてのタグが表示されない場合がある
BUG-97110 PHOENIX-3789 postBatchMutateIndispensably でクロス リージョン インデックス管理呼び出しを実行する
BUG-97145 HIVE-12245、HIVE-17829 HBase によって裏付けられるテーブルの列のコメントをサポートする
BUG-97409 HADOOP-15255 LdapGroupsMapping 内のグループ名の大文字/小文字の変換をサポートする
BUG-97535 HIVE-18710 Hive 2.X で inheritPerms を ACID に拡張する
BUG-97742 OOZIE-1624 sharelib JAR の除外パターン
BUG-97744 PHOENIX-3994 RPC のインデックス付けの優先度が、まだ hbase-site.xml のコントローラー ファクトリーのプロパティに依存する
BUG-97787 HIVE-18460 圧縮機が ORC ライターに Table プロパティを渡さない
BUG-97788 HIVE-18613 バイナリ型をサポートするよう JsonSerDe を拡張する
BUG-97899 HIVE-18808 統計情報の更新が失敗したときに圧縮をより堅牢にする
BUG-98038 HIVE-18788 JDBC PreparedStatement 内の入力をクリーンアップする
BUG-98383 HIVE-18907 HIVE-18817 の ACID キーのインデックスの問題を修正するユーティリティを作成する
BUG-98388 RANGER-1828 優れたコーディング プラクティス - Ranger により多くのヘッダーを追加する
BUG-98392 RANGER-2007 ranger-tagsync の Kerberos チケットが更新に失敗する
BUG-98533 HBASE-19934、HBASE-20008 Null ポインターの例外により HBase のスナップショットの復元が失敗する
BUG-98552 HBASE-18083、HBASE-18084 大きい/小さいファイルのクリーンアップのスレッド数を HFileCleaner で構成できるようにする
BUG-98705 KNOX-1230 Knox への同時要求が多いと URL が分割される
BUG-98711 該当なし service.xml の修正なしに NiFi ディスパッチが双方向 SSL を使用できない
BUG-98880 OOZIE-3199 システム プロパティの制限を構成可能にする
BUG-98931 ATLAS-2491 Atlas v2 の通知を使用するよう Hive Hook を更新する
BUG-98983 KNOX-1108 NiFiHaDispatch がフェールオーバーしない
BUG-99088 ATLAS-2511 Hive から Atlas にデータベース/テーブルを選択的にインポートするオプションを提供する
BUG-99154 OOZIE-2844、OOZIE-2845、OOZIE-2858、OOZIE-2885 Spark のクエリが "java.io.FileNotFoundException: hive-site.xml (Permission denied)" の例外により失敗する
BUG-99239 ATLAS-2462 すべてのテーブルの Sqoop のインポートでコマンドにテーブルが指定されないと NPE がスローされる
BUG-99636 KNOX-1238 ゲートウェイのトラスト ストアのカスタム設定を修正する
BUG-99650 KNOX-1223 Zeppelin の Knox プロキシが /api/ticket を期待どおりにリダイレクトしない
BUG-99804 OOZIE-2858 HiveMain、ShellMain および SparkMain がプロパティをオーバーライドまたはファイルをローカルで構成してはならない
BUG-99805 OOZIE-2885 Spark アクションを実行するためにクラスパスに Hive を必要としてはならない
BUG-99806 OOZIE-2845 HiveConf に変数を設定するリフレクションベースのコードを置き換える
BUG-99807 OOZIE-2844 log4j.properties が見つからないか読み取れないときに、Oozie のアクションの安定性を向上させる
RMP-9995 AMBARI-22222 ローカル ディスク上の /apps/druid の代わりに /var/druid ディレクトリを使用するように druid を切り替える

動作の変更

Apache コンポーネント Apache JIRA まとめ 詳細
Spark 2.3 N/A Apache Spark のリリース ノートに記載されている変更点 - 「Deprecation」(廃止) のドキュメントと「Change of behavior」(動作変更) のガイド (https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations ) がある

- SQL に関する内容については、別の詳細な「Migration」(移行) ガイド (2.2 から 2.3) (https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23|) がある
Spark HIVE-12505 Spark ジョブは正常に完了するが、HDFS のディスク クォータ超過のエラーが発生する シナリオ: コマンドを実行するユーザーのごみ箱フォルダー上にクォータが設定されているときに insert overwrite を実行します。

以前の動作: ごみ箱にデータを移動することに失敗しても、ジョブが成功します。 結果に以前にテーブルに存在していたデータの一部が間違って含まれることがあります。

新しい動作: ごみ箱フォルダーへの移動が失敗すると、ファイルは永続的に削除されます。
Kafka 1.0 N/A Apache Spark のリリース ノートに記載されている変更点 https://kafka.apache.org/10/documentation.html#upgrade_100_notable
Hive/ Ranger INSERT OVERWRITE に Ranger Hive の他のポリシーが必要とされる シナリオ:INSERT OVERWRITE に Ranger Hive の他のポリシーが必要とされる

以前の動作: Hive の INSERT OVERWRITE のクエリが通常どおりに成功します。

新しい動作: HDP-2.6.x にアップグレードすると、Hive の INSERT OVERWRITE のクエリがエラーにより予期せず失敗します。

Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user jdoe does not have WRITE privilege on /tmp/*(state=42000,code=40000)

HDP-2.6.0 以降、Hive の INSERT OVERWRITE のクエリで書き込み操作を許可するには、ユーザーに HDFS ポリシーを通じて書き込みアクセス許可が付与されている場合でも、Ranger URI ポリシーが必要です。

回避策/期待されるアクション:

1.Hive リポジトリの下に新しいポリシーを作成します。
2.データベースが表示されるドロップダウンで、[URI] を選択します。
3.パス (例: /tmp/*) を更新します。
4.ユーザーやグループを追加して保存します。
5.insert クエリを再試行します。
HDFS N/A HDFS が 複数の KMS Uris をサポートする必要がある 以前の動作: KMS プロバイダー パスの構成に dfs.encryption.key.provider.uri プロパティが使用されていました。

新しい動作: dfs.encryption.key.provider.uri が非推奨になり、KMS プロバイダー パスの構成に hadoop.security.key.provider.path が優先的に使用されるようになりました。
Zeppelin ZEPPELIN-3271 スケジューラを無効にするためのオプション 影響を受けるコンポーネント: Zeppelin サーバー

以前の動作: Zeppelin の以前のリリースでは、スケジューラを無効にするオプションがありませんでした。

新しい動作: 既定でスケジューラが無効になっているため、既定ではユーザーにスケジューラが表示されなくなります。

回避策/期待されるアクション: スケジューラを有効にするには、Ambari から Zeppelin の設定の zeppelin のカスタム サイトの下に、値が true の azeppelin.notebook.cron.enable を追加する必要があります。

既知の問題

  • HDInsight と ADLS Gen 2 の統合 Azure Data Lake Storage Gen 2 を使用する HDInsight ESP クラスターには、ユーザー ディレクトリとアクセス許可に関して次の 2 つの問題があります。

    1. ユーザーのホーム ディレクトリが、ヘッド ノード 1 に作成されません。 回避策として、ディレクトリを手動で作成し、所有権をそれぞれのユーザーの UPN に変更します。

    2. /hdp ディレクトリに対するアクセス許可が、現在は 751 に設定されません。 これを次のように設定する必要があります

      chmod 751 /hdp 
chmod –R 755 /hdp/apps

  • Spark 2.3

    • [SPARK-23523][SQL] ルール OptimizeMetadataOnlyQuery により正しくない結果になる

    • [SPARK-23406] ストリーム間の自己結合でバグが発生する

    • Azure Data Lake Storage (Gen2) がクラスターの既定のストレージである場合、Spark のサンプル ノートブックは使用できません。

  • Enterprise セキュリティ パッケージ

    • Spark Thrift サーバーは、ODBC クライアントからの接続は受け入れません。 回避策の手順:
      1. クラスターの作成後、約 15 分間待機します。
      2. Ranger UI に hivesampletable_policy があることを確認します。
      3. Spark サービスを再起動します。 これで STS の接続が機能するようになります。

  • Ranger サービス チェック エラーの回避策

    • RANGER-1607: 以前の HDP のバージョンから HDP 2.6.2 へのアップグレード中に、Ranger サービス チェック エラーを回避する方法。

      注意

      SSL が有効な Ranger でのみ有効です。

    この問題は、Ambari を使用して以前の HDP のバージョンから HDP-2.6.1 へのアップグレードを試行するときに発生します。 Ambari は curl 呼び出しを使用して、Ambari の Rnager サービスのサービス チェックを行います。 Ambari で使用されている JDK バージョンが JDK-1.7 の場合、curl 呼び出しは以下のエラーで失敗します。

    curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

    このエラーは、Ranger で使用されている Tomcat のバージョンが Tomcat-7.0.7* であることが原因です。 JDK-1.7 の使用は、Tomcat-7.0.7* で提供されている既定の暗号と競合します。

    この問題は、次の 2 つの方法で解決できます。

    • Ambari で使用されている JDK を JDK-1.7 から JDK-1.8 に更新する (Ambari リファレンス ガイドの「Change the JDK Version」(JDK バージョンの変更) のセクションを参照)。

    • JDK-1.7 環境のサポートを継続する場合:

      1. Ambari Ranger の構成の ranger-admin-site セクションに、プロパティ ranger.tomcat.ciphers を次の値で追加します。

        SSL_RSA_WITH_RC4_128_MD5、SSL_RSA_WITH_RC4_128_SHA、TLS_RSA_WITH_AES_128_CBC_SHA、SSL_RSA_WITH_3DES_EDE_CBC_SHA

      2. お使いの環境が Ranger-KMS に対して構成されている場合、Ambari Ranger の構成の ranger-kms-site セクションに、プロパティ ranger.tomcat.ciphers を次の値で追加します。

        SSL_RSA_WITH_RC4_128_MD5、SSL_RSA_WITH_RC4_128_SHA、TLS_RSA_WITH_AES_128_CBC_SHA、SSL_RSA_WITH_3DES_EDE_CBC_SHA

    Note

    記載されている値は実施例であり、お使いの環境を示していない可能性があります。 これらのプロパティを設定した方法が、お使いの環境の構成方法と一致していることを確認します。

  • RangerUI: ポリシー フォームに入力されているポリシー条件テキストのエスケープ

    影響を受けるコンポーネント: Ranger

    問題の説明

    ユーザーがカスタム ポリシー条件でポリシーを作成することを希望し、式やテキストに特殊文字が含まれている場合、ポリシーの適用が機能しません。 特殊文字は、データベースにポリシーを保存する前に、ASCII に変換されます。

    特殊文字: & <> " ` '

    たとえば、ポリシーが保存されると、条件 tags.attributes['type']='abc' は次のように変換されます。

    tags.attds['dsds']='cssdfs'

    編集モードでポリシーを開くと、これらの文字でポリシーの条件を確認できます。

    回避策

    • オプション #1: Ranger REST API でポリシーを作成/更新する

      REST URL: http://<host>:6080/service/plugins/policies

      ポリシー条件でポリシーを作成する:

      次の例では、`tags-test` のタグを含むポリシーを作成し、それを select、update、create、drop、alter、index、lock、all などの hive コンポーネントのすべてのアクセス許可を選択することによって、ポリシー条件 astags.attr['type']=='abc' と共に `public` グループに割り当てます。

      例:

        curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'

      ポリシー条件で既存のポリシーを更新する:

      次の例では、`tags-test` のタグを含むポリシーを更新し、それを select、update、create、drop、alter、index、lock、all などの hive コンポーネントのすべてのアクセス許可を選択することによって、ポリシー条件 astags.attr['type']=='abc' と共に `public` グループに割り当てます。

      REST URL: http://<host-name>:6080/service/plugins/policies/<policy-id>

      例:

        curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'

    • オプション #2: JavaScript の変更を適用する

      JS ファイルを更新する手順:

      1. /usr/hdp/current/ranger-admin の下にある PermissionList.js ファイルを確認する

      2. renderPolicyCondtion 関数の定義を確認する (行番号: 404)。

      3. その関数から次の行を削除します。つまり、display 関数の下 (行番号: 434)

        val = _.escape(val);//Line No:460

        上記の行を削除すると、Ranger UI で特殊文字を含むポリシー条件を使用してポリシーを作成できるようになり、その同じポリシーでポリシーの評価が正常になります。

HDInsight と ADLS Gen 2 の統合: ESP クラスターでのユーザー ディレクトリとアクセス許可の問題 1. ユーザーのホーム ディレクトリがヘッド ノード 1 に作成されていません。 回避策は、これらを手動で作成し、所有権をそれぞれのユーザーの UPN に変更することです。 2. /hdp に対するアクセス許可が、現在は 751 に設定されません。 これは、次のように設定する必要があります。a. chmod 751 /hdp b. chmod –R 755 /hdp/apps

非推奨

  • OMS ポータル: HDInsight のリソース ページから OMC ポータルへのリンクを削除しました。 Azure Monitor ログでは当初、その構成を管理したり収集されたデータを分析したりすることを目的とした "OMS ポータル" と呼ばれる独自のポータルが使用されていました。 このポータルの機能はすべて Azure portal に移行され、今後はそちらで開発が継続されることになります。 HDInsight では、OMC ポータルのサポートが非推奨になりました。 お客様は Azure portal の HDInsight Azure Monitor ログの統合を使用します。

  • Spark 2.3: Spark リリース 2.3.0 の非推奨

アップグレード

これらの機能はすべて HDInsight 3.6 で利用できます。 Spark、Kafka、および Microsoft R Server (Machine Learning Services) の最新バージョンを取得するには、HDInsight 3.6 クラスターを作成するときに、Spark、Kafka、ML Services のバージョンを選択します。 ADLS のサポートを受けるには、オプションとして ADLS ストレージ タイプを選択できます。 既存のクラスターは、これらのバージョンに自動的にはアップグレードされません。

2018 年 6 月以降に作成されたすべての新しいクラスターは、すべてのオープン ソースのプロジェクトにわたって、1000 件を超えるバグ フィックスを自動的に取得します。 より新しい HDInsight のバージョンにアップグレードするベスト プラクティスについては、こちらのガイドに従ってください。