AKS 上の HDInsight - よく寄せられる質問

[アーティクル]
09/20/2024

この記事では、AKS 上の Azure HDInsight に関するいくつかの一般的な質問について説明します。

大事な

AKS 上の Azure HDInsight は、2025 年 1 月 31 日に廃止されました。詳しくはこの発表を参照してください。

ワークロードの突然の終了を回避するには、ワークロードを Microsoft Fabric または同等の Azure 製品に移行する必要があります。

大事な

この機能は現在プレビュー段階です。 Microsoft Azure プレビューの追加使用条件には、ベータ版、プレビュー版、または一般公開されていない Azure 機能に適用される、より多くの法的条件が含まれています。この特定のプレビューの詳細については、AKS プレビュー情報 Azure HDInsightを参照してください。ご質問や機能の提案については、AskHDInsight に詳細を記載したリクエストを送信してください。また、最新の情報を得るには、Azure HDInsight Community をフォローしてください。

全般

AKS の HDInsight とは

AKS 上の HDInsight は新しい HDInsight バージョンであり、Apache Flink (ストリーミング用)、Trino (アドホック分析と BI 用)、Apache Spark などの新しいオープンソース分析プロジェクトを備えたエンタープライズ対応のマネージドクラスターサービスを提供します。詳細については、「概要」を参照してください。
AKS 上の HDInsight はどのようなクラスター図形をサポートしていますか?

AKS 上の HDInsight では、最初に Trino、Apache Flink、Apache Spark がサポートされています。ただし、Kafka、Hive などの他のクラスター図形はロードマップに含まれています。
AKS での HDInsight の使用を開始するにはどうすればよいですか?

開始するには、Azure Marketplace にアクセスし、AKS サービスで Azure HDInsight を検索し、の開始方法参照してください。
VM 上の既存の HDInsight と現在実行しているクラスターはどうなりますか?

既存の HDInsight (VM 上の HDInsight) に変更はありません。既存のすべてのクラスターは引き続き実行され、新しい HDInsight クラスターの作成とスケーリングを続行できます。
AKS 上の HDInsight でサポートされているオペレーティングシステムはどれですか?

AKS 上の HDInsight は、マリナー OS に基づいています。詳細については、OS バージョン参照してください。
AKS 上の HDInsight はどのリージョンで利用できますか?

サポートされているリージョンの一覧については、リージョンの可用性を参照してください。
AKS クラスターに HDInsight をデプロイするコストは何ですか?

価格の詳細については、HDInsight on AKS の価格に関する記事を参照してください。

クラスター管理

複数のクラスターを同時に実行できますか?

はい。クラスタープールごとに必要な数のクラスターを同時に実行できます。ただし、サブスクリプションのクォータによる制約がないことを確認してください。クラスタープールで許可されるノードの最大数は 250 (パブリックプレビュー段階) です。
クラスターにプラグイン/ライブラリをインストールまたは追加できますか?

はい。クラスターの図形に応じて、カスタムプラグインとライブラリをインストールできます。
- Trino については、「カスタムプラグインをインストールする」を参照してください。
- Spark については、Spark のライブラリ管理に関するページを参照してください。
クラスターに SSH 接続できますか?

はい。webssh を使用してクラスターに SSH 接続し、クエリを実行し、そこから直接ジョブを送信できます。

Metastore

外部メタストアを使用してクラスターに接続できますか?

はい。外部メタストアを使用できます。ただし、外部カスタムメタストアとしてサポートされるのは Azure SQL Database のみです。
複数のクラスター間でメタストアを共有できますか?

はい。AKS の複数の HDInsight 間でメタストアを共有できます。
サポートされている Hive メタストアのバージョンは何ですか?

Hive メタストアバージョン 3.1.2

作業負荷

Trino

Trino とは

Trino は、オープンソースのフェデレーションおよび分散 SQL クエリエンジンです。これにより、中央データウェアハウスに移動することなく、異なるデータソースに存在するデータに対してクエリを実行できます。 ANSI SQL を使用してデータのクエリを実行できます。新しい言語を学習する必要はありません。詳細については、Trino の概要参照してください。
どのようなコネクタをサポートしていますか?

AKS Trino 上の HDInsight では、複数のコネクタがサポートされています。詳細については、Trino コネクタの一覧を参照してください。オープンソースバージョンで新しいコネクタを使用できる場合と同様に、新しいコネクタを追加し続けます。
既存のクラスターにカタログを追加できますか?

はい。サポートされているカタログを既存のクラスターに追加できます。詳細については、「既存のクラスターにカタログを追加する」を参照してください。

Apache Flink

Apache Flink とは

Apache Flink は、ストリーム処理と、無制限および有界データストリームに対してステートフルな計算を実行するためのクラス最高のオープンソース分析エンジンです。メモリ内の速度と任意のスケールで計算を実行できます。 AKS 上の HDInsight 上の Flink は、マネージドオープンソースの Apache Flink を提供します。詳細については、Flink の概要参照してください。
Apache Flink でセッションモードとアプリモードの両方をサポートしていますか?

AKS 上の HDInsight では、Flink は現在セッションモードクラスターをサポートしています。
AKS 上の HDInsight での状態バックエンド管理とそのしくみ

バックエンドによって、状態が格納される場所が決まります。チェックポイント処理がアクティブ化されると、データ損失を防ぐためにチェックポイント時に状態が保持され、一貫して回復されます。状態が内部でどのように表されるか、およびチェックポイントに保持される方法と場所は、選択した状態バックエンドによって異なります。詳細については、「Flink の概要を参照してください。

Apache Spark

Apache Spark とは

Apache Spark は、大規模なデータセットに対して処理タスクを迅速に実行できるデータ処理フレームワークであり、単独で、または他の分散コンピューティングツールと連携して、複数のコンピューターにデータ処理タスクを分散することもできます。
Spark でサポートされている言語 API は何ですか?

AKS 上の Azure HDInsight では、Python と Scala がサポートされています。
AKS Spark 上の HDInsight では外部メタストアがサポートされていますか?

AKS 上の HDInsight では、外部メタストア接続がサポートされます。現在、外部メタストアとしてサポートされているのは Azure SQL DB のみです。
AKS Spark 上の HDInsight でジョブを送信するさまざまな方法は何ですか?

Jupyter Notebook、Zeppelin Notebook、SDK、クラスターターミナルを使用して、AKS Spark 上の HDInsight でジョブを送信できます。詳細については、「AKS 上の HDInsight の Spark クラスターでジョブを送信および管理する」を参照してください。

次の方法で共有