次の方法で共有

AKS 上の HDInsight で Spark クラスターを作成する (プレビュー)

  • [アーティクル]

大事な

AKS 上の Azure HDInsight は、2025 年 1 月 31 日に廃止されました。 この発表 でについて詳しく知ることができます。

ワークロードの突然の終了を回避するには、ワークロードを Microsoft Fabric または同等の Azure 製品 に移行する必要があります。

大事な

この機能は現在プレビュー段階です。 Microsoft Azure プレビューの 追加使用条件 には、ベータ版、プレビュー版、または一般公開されていない Azure 機能に適用される、より多くの法的条件が含まれています。 この特定のプレビューの詳細については、AKS プレビュー情報 Azure HDInsightを参照してください。 ご質問や機能の提案を行う際は、AskHDInsight に詳細を記載してリクエストを送信してください。また、最新情報を得るために Azure HDInsight Communityをフォローしてください。

サブスクリプションの前提条件 と リソースの前提条件 手順が完了し、クラスター プールがデプロイされたら、引き続き Azure portal を使用して Spark クラスターを作成します。 Azure portal を使用して、クラスター プールに Apache Spark クラスターを作成できます。 その後、Jupyter Notebook を作成し、それを使用して Apache Hive テーブルに対して Spark SQL クエリを実行できます。

  1. Azure portal でクラスター プールを入力し、クラスター プールを選択してクラスター プール ページに移動します。 [クラスター プール] ページで、新しい Spark クラスターを追加できるクラスター プールを選択します。

  2. 特定のクラスター プール ページで、[+ 新しいクラスター] をクリックします。

    新しい Spark クラスターを作成する方法を示すスクリーンショット。

    この手順では、クラスターの作成ページが開きます。

    クラスターの作成の基本ページを示すスクリーンショット。

    財産 説明
    予約 前提条件セクションで AKS 上の HDInsight 用に登録された Azure サブスクリプションが事前に設定されます。
    リソース グループ クラスター プールと同じリソース グループが事前に設定されます
    地域 クラスター プールと仮想と同じリージョンが事前に設定されます
    クラスター プール クラスター プールの名前が事前に設定されます
    HDInsight プールのバージョン クラスター プールのバージョンは、プール作成時の選択から事前に設定されます。
    AKS バージョンの HDInsight AKS バージョンで HDI を指定する
    クラスターの種類 ドロップダウン リストから [Spark] を選択します。
    クラスターのバージョン 使用するイメージ バージョンのバージョンを選択する
    クラスター名 新しいクラスターの名前を入力します
    ユーザー割り当ての管理された ID ストレージとの接続文字列として機能するユーザー割り当てマネージド ID を選択します
    ストレージ アカウント クラスターのプライマリ ストレージとして使用する事前に作成されたストレージ アカウントを選択します
    コンテナー名 事前に作成または新しいコンテナーを作成する場合は、コンテナー名 (一意) を選択します
    Hive カタログ (省略可能) 事前に作成された Hive メタストア (Azure SQL DB) を選択する
    Hive用SQLデータベース ドロップダウン リストから、hive-metastore テーブルを追加する SQL Database を選択します。
    SQL 管理者ユーザー名 SQL 管理者のユーザー名を入力します
    キーボールト ドロップダウン リストから、SQL 管理者ユーザー名のパスワードを含むシークレットを含む Key Vault を選択します
    SQL パスワード シークレット名 SQL DB パスワードが格納されている Key Vault のシークレット名を入力します

    手記

    • 現在、HDInsight では MS SQL Server データベースのみがサポートされています。
    • Hive の制限により、メタストア データベース名の "-" (ハイフン) 文字はサポートされていません。

  3. [次へ: 構成と価格] 選択して続行します。

    価格タブ 1 を示すスクリーンショット。

    価格タブ 2 を示すスクリーンショット。

    ssh タブを示すスクリーンショット。

    財産 説明
    ノード サイズ Spark ノードに使用するノード サイズを選択する
    ワーカー ノードの数 Spark クラスターのノード数を選択します。 そのうち、3 つのノードはコーディネーターおよびシステム サービス用に予約されており、残りのノードは Spark ワーカー専用で、ノードごとに 1 つのワーカーです。 たとえば、5 ノード クラスターには 2 つのワーカーがあります。
    自動スケーリング トグル ボタンをクリックして自動スケールを有効にする
    自動スケールの種類 負荷ベースまたはスケジュール ベースの自動スケーリングから選択する
    スムーズな終了タイムアウト グレースフル 使用停止タイムアウトの指定
    既定のワーカーノードの数 自動スケーリングのノード数を選択する
    時間帯 タイム ゾーンを選択する
    自動スケール ルール 日、開始時刻、終了時刻、ワーカーノードの数を選択します。
    SSH を有効にする 有効になっている場合は、プレフィックスと SSH ノードの数を定義できます

  4. [次へ: 統合] をクリックして、ログ記録のために Log Analytics を有効化し、選択します。

    監視とメトリックのための Azure Prometheus は、クラスターの作成後に有効にすることができます。

    統合タブを示すスクリーンショット。

  5. [次へ: タグ] をクリックして、次のページに進みます。

    [タグ] タブを示す スクリーンショット。

  6. [タグ ページで、リソースに追加したいタグを入力してください。

    財産 説明
    名前 随意。 AKS プライベート プレビューで HDInsight などの名前を入力すると、リソースに関連付けられているすべてのリソースを簡単に識別できます。
    価値 空白のままにします
    資源 選択したすべてのリソースを選択する

  7. 「次へ」、「確認および作成」をクリックします。

  8. [確認と作成] ページで、ページの上部にある [検証に成功しました] メッセージを探し、[の作成]クリックします。

  9. デプロイが進行中、クラスターが作成されたページが表示されます。 クラスターの作成には 5 ~ 10 分かかります。 クラスターが作成されると、デプロイが完了 メッセージが表示されます。 ページから移動した場合は、通知の状態を確認できます。

  10. クラスターの概要ページに移動すると、エンドポイント リンクが表示されます。

    クラスターの概要ページを示すスクリーンショット。