HDInsight on AKS - よく寄せられる質問

[アーティクル]
09/25/2024

この記事では、Azure HDInsight on AKS についてよく寄せられる質問にお応えします。

Note

Azure HDInsight on AKS は 2025 年 1 月 31 日に廃止されます。 2025 年 1 月 31 日より前に、ワークロードを Microsoft Fabric または同等の Azure 製品に移行することで、ワークロードの突然の終了を回避する必要があります。サブスクリプション上に残っているクラスターは停止され、ホストから削除されることになります。

提供終了日までは基本サポートのみが利用できます。

重要

現在、この機能はプレビュー段階にあります。ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用されるその他の法律条項については、「Microsoft Azure プレビューの追加の使用条件」に記載されています。この特定のプレビューについては、「Microsoft HDInsight on AKS のプレビュー情報」を参照してください。質問や機能の提案については、詳細を記載した要求を AskHDInsight で送信してください。また、その他の更新情報については、Azure HDInsight コミュニティのフォローをお願いいたします。

全般

HDInsight on AKS とは何ですか。

新しい HDInsight バージョンである HDInsight on AKS は、Apache Flink (ストリーミング用)、Trino (アドホック分析および BI 用)、Apache Spark などの新しいオープンソース分析プロジェクトを備えたエンタープライズ対応のマネージドクラスターサービスを提供します。詳細については、「概要」を参照してください。
HDInsight on AKS はどのようなクラスターシェイプをサポートしていますか。

HDInsight on AKS では、最初に Trino、Apache Flink、Apache Spark がサポートされています。ただし、Kafka、Hive などの他のクラスターシェイプも開発が予定されています。
HDInsight on AKS の使用を開始するにはどうすればよいですか。

開始するには、Azure Marketplace にアクセスし、Azure HDInsight on AKS サービスを検索します。概要に関する記事を参照してください。
VM 上の既存の HDInsight と現在実行しているクラスターはどうなりますか。

既存の HDInsight (VM 上の HDInsight) に変更はありません。既存のすべてのクラスターは引き続き実行され、新しい HDInsight クラスターの作成とスケーリングを続行できます。
HDInsight on AKS でサポートされているオペレーティングシステムはどれですか。

HDInsight on AKS は、Mariner OS に基づいています。詳細については、OS バージョンに関する記事を参照してください。
HDInsight on AKS はどのリージョンで利用できますか。

サポートされているリージョンの一覧については、「利用可能なリージョン」を参照してください。
HDInsight on AKS クラスターのデプロイ費用はどのくらいですか。

価格の詳細については、HDInsight on AKS の価格に関するページを参照してください。

クラスターの管理

複数のクラスターを同時に実行できますか。

はい。クラスタープールごとに必要な数のクラスターを同時に実行できます。ただし、サブスクリプションのクォータによる制約がないことを確認してください。クラスタープールで許可されるノードの最大数は 250 です (パブリックビュー)。
クラスターにプラグイン/ライブラリをインストールまたは追加できますか。

はい。クラスターシェイプに応じて、カスタムプラグインとライブラリをインストールできます。
- Trino については、カスタムプラグインのインストールに関する記事を参照してください。
- Spark については、「Spark でのライブラリ管理」を参照してください。
クラスターに SSH 接続できますか。

はい。webssh を使用してクラスターに SSH 接続し、クエリを実行し、そこから直接ジョブを送信できます。

メタストア

外部メタストアを使用してクラスターに接続できますか。

はい。外部メタストアを使用できます。ただし、外部カスタムメタストアとしては Azure SQL Database のみをサポートしています。
複数のクラスター間でメタストアを共有することはできますか。

はい。複数の HDInsight of AKS 間でメタストアを共有できます。
サポートされている Hive メタストアのバージョンは何ですか。

Hive メタストア version 3.1.2

ワークロード

Trino

Trino とは何ですか。

Trino は、オープンソースのフェデレーションおよび分散 SQL クエリエンジンです。これにより、中央データウェアハウスに移動することなく、異なるデータソースに存在するデータに対してクエリを実行できます。 ANSI SQL を使用してデータのクエリを実行できます。新しい言語を学習する必要はありません。詳細については、Trino の概要に関する記事を参照してください。
どのようなコネクタをサポートしていますか。

HDInsight on AKS Trino では、複数のコネクタがサポートされています。詳細については、「Trino コネクタ」の一覧を参照してください。新しいコネクタがオープンソースバージョンで使用できるようになるたびに、新しいコネクタが追加され続けます。
既存のクラスターにカタログを追加できますか。

はい。サポートされているカタログを既存のクラスターに追加できます。詳細については、既存のクラスターへのカタログの追加に関する記事を参照してください。

Apache Flink

Apache Flink とは何ですか。

Apache Flink は、境界なしと境界ありのデータストリームに対して、ストリーム処理とステートフル評価を実行するためのクラス最高のオープンソース分析エンジンです。メモリ内速度と任意のスケールで評価を実行できます。 HDInsight on AKS 上の Flink は、マネージドオープンソースの Apache Flink を提供します。詳しくは、Flink の概要に関する記事を参照してください。
Apache Flink ではセッションモードとアプリモードの両方をサポートしていますか。

HDInsight on AKS では、Flink は現在セッションモードのクラスターをサポートしています。
HDInsight on AKS における状態バックエンド管理とそのしくみはどのようなものですか。

バックエンドによって、状態が格納される場所が決まります。チェックポイント処理がアクティブ化されると、状態は、チェックポイント時に永続化されて、データ損失から保護され、整合的に回復されます。状態が内部的に表現される方法と、チェックポイント時に永続化される方法と場所は、選択された "状態バックエンド" によって異なります。詳しくは、Flink の概要に関する記事を参照してください

Apache Spark

Apache Spark とは

Apache Spark は、大規模なデータセットに対して処理タスクを迅速に実行できるデータ処理フレームワークであり、単独で、または他の分散コンピューティングツールと連携して、複数のコンピューターにデータ処理タスクを分散することもできます。
Spark でサポートされている言語 API は何ですか。

Azure HDInsight on AKS では、Python と Scala がサポートされています。
HDInsight on AKS Spark では外部メタストアがサポートされていますか。

HDInsight on AKS では、外部メタストア接続がサポートされています。現在、外部メタストアとしてサポートされているのは Azure SQL DB のみです。
HDInsight on AKS Spark では、どのような方法でジョブを送信できますか。

Jupyter Notebook、Zeppelin Notebook、SDK、クラスターターミナルを使用して、HDInsight on AKS Spark でジョブを送信できます。詳細については、「HDInsight on AKS の Spark クラスターでジョブを送信および管理する」を参照してください

次の方法で共有