Azure HDInsight ID ブローカー (HIB)

[アーティクル]
06/14/2024

この記事では、Azure HDInsight ID ブローカー機能を設定して使用する方法について説明します。この機能を使用すると、Microsoft Entra Domain Services 内の従来のパスワードハッシュを必要とせずに多要素認証を実施しながら、Apache Ambari で最新の OAuth 認証を使用することができます。

概要

HDInsight ID ブローカーにより、次のシナリオで複雑な認証設定が簡略化されます。

組織では、クラウドリソースにアクセスするユーザーを認証するためにフェデレーションに依存しています。以前は、HDInsight Enterprise セキュリティパッケージクラスターを使用するには、オンプレミス環境から Microsoft Entra ID へのパスワードハッシュ同期を有効にする必要がありました。この要件は、組織によっては難しい場合や望ましくない場合があります。
あなたの組織では、Apache Ambari や他のクラスターリソースへの Web ベースまたは HTTP ベースのアクセスに対して多要素認証を実施したいと考えているとします。

HDInsight ID ブローカーにより、パスワードハッシュの Microsoft Entra Domain Services への同期を必要とせずに、OAuth (最新) から Kerberos (レガシ) へのプロトコル移行を可能にする認証インフラストラクチャが実現します。このインフラストラクチャは、HDInsight ID ブローカーノードが有効になっている Windows Server 仮想マシン (VM) 上で動作するコンポーネントと、クラスターゲートウェイノードで構成されています。

次の表を使用して、組織のニーズに基づいた最適な認証オプションを決定します。

認証オプション	HDInsight 構成	検討するべき要素
OAuth のみ	Enterprise セキュリティパッケージ + HDInsight ID ブローカー	最も安全なオプションです。 (多要素認証がサポートされています)。パスハッシュ同期は必要ありません。 Microsoft Entra Domain Services 内にパスワードハッシュがないオンプレミスアカウントに対する ssh/kinit/keytab アクセスはありません。クラウド専用アカウントでは、引き続き ssh/kinit/keytab 接続することができます。 OAuth による Ambari への Web ベースのアクセス。 OAuth をサポートするために、レガシアプリ (JDBC/ODBC など) を更新する必要があります。
OAuth と基本認証	Enterprise セキュリティパッケージ + HDInsight ID ブローカー	OAuth による Ambari への Web ベースのアクセス。レガシアプリでは、基本認証が引き続き使用されます。基本認証アクセスでは、多要素認証を無効にする必要があります。パスハッシュ同期は必要ありません。 Microsoft Entra Domain Services 内にパスワードハッシュがないオンプレミスアカウントに対する ssh/kinit/keytab アクセスはありません。クラウド専用アカウントでは、引き続き ssh/kinit 接続することができます。
基本認証のみ	Enterprise セキュリティパッケージ	オンプレミスのセットアップに最も似ています。 Microsoft Entra Domain Services へのパスワードハッシュ同期が必要です。オンプレミスのアカウントでは、ssh/kinit 接続することも、keytab を使用することもできます。バッキングストレージが Azure Data Lake Storage Gen2 である場合は、多要素認証を無効にする必要があります。

次の図は、HDInsight ID ブローカーが有効になった後の、フェデレーションユーザーを含むすべてのユーザーの、最新の OAuth ベースの認証フローを示しています。

HDInsight ID ブローカーによる認証フローを示す図。

この図では、まず最初にクライアント (つまり、ブラウザーまたはアプリ) で OAuth トークンを取得する必要があります。次に、HTTP 要求でゲートウェイにトークンが提示されます。 Azure portal などの他の Azure サービスに既にサインインしている場合は、シングルサインオンエクスペリエンスによって HDInsight クラスターにサインインできます。

基本認証 (つまり、ユーザー名とパスワード) のみがサポートされるレガシアプリケーションはまだ多数存在する可能性があります。これらのシナリオでは、引き続き HTTP 基本認証を使用してクラスターゲートウェイに接続できます。この設定では、ゲートウェイノードから Active Directory Federation Services (AD FS) エンドポイントへのネットワーク接続を確保して、ゲートウェイノードからの直接の通信経路を確保する必要があります。

次の図は、フェデレーションユーザーの基本認証フローを示しています。まず、ゲートウェイで ROPC フローを使用した認証が試みられます。 Microsoft Entra ID に同期されたパスワードハッシュがない場合は、フォールバックして AD FS エンドポイントを検出し、AD FS エンドポイントへアクセスすることで認証が完了します。

基本認証を使用したアーキテクチャを示す図。

HDInsight ID ブローカーを有効にする

HDInsight ID ブローカーが有効になっている Enterprise セキュリティパッケージクラスターを作成するには、次のようにします。

Azure portal にサインインします。
Enterprise セキュリティパッケージクラスターの基本的な作成手順に従います。詳細については、Enterprise セキュリティパッケージが有効な HDInsight クラスターを作成する方法に関するページを参照してください。
[HDInsight ID ブローカーを有効にする] を選択します。

HDInsight ID ブローカー機能によって、クラスターに追加の VM が 1 つ追加されます。この VM は HDInsight ID ブローカーノードであり、認証をサポートするサーバーコンポーネントが含まれています。 HDInsight ID ブローカーノードは、Microsoft Entra Domain Services ドメインに参加しているドメインです。

HDInsight ID ブローカーを有効にするオプションを示す図。

Azure リソースマネージャーテンプレートの使用

テンプレートのコンピューティングプロファイルに次の属性を含む idbrokernode という名前の新しいロールを追加すると、HDInsight ID ブローカーノードが有効になっているクラスターが作成されます。

.
.
.
"computeProfile": {
    "roles": [
        {
            "autoscale": null,
            "name": "headnode",
           ....
        },
        {
            "autoscale": null,
            "name": "workernode",
            ....
        },
        {
            "autoscale": null,
            "name": "idbrokernode",
            "targetInstanceCount": 2,
            "hardwareProfile": {
                "vmSize": "Standard_A2_V2"
            },
            "virtualNetworkProfile": {
                "id": "string",
                "subnet": "string"
            },
            "scriptActions": [],
            "dataDisksGroups": null
        }
    ]
}
.
.
.

ARM テンプレートの完全なサンプルについては、こちらで公開されているテンプレートを参照してください。

ツールの統合

HDInsight ツールは、OAuth をネイティブにサポートするように更新されています。これらのツールは、クラスターへの最新の OAuth ベースのアクセスに使用します。 HDInsight IntelliJ プラグインは、Scala などの Java ベースのアプリケーションに使用できます。 Visual Studio Code 用の Spark および Hive Tools は、PySpark および Hive ジョブに使用できます。これらのツールでは、バッチと対話型ジョブの両方がサポートされています。

Microsoft Entra Domain Services 内のパスワードハッシュなしの SSH アクセス

SSH オプション	検討するべき要素
ローカル VM アカウント (例: sshuser)	このアカウントは、クラスターの作成時に指定済みです。このアカウントには Kerberos 認証はありません。
クラウド専用アカウント (alice@contoso.onmicrosoft.com など)	パスワードハッシュは、Microsoft Entra Domain Services 内で使用することができます。 Kerberos 認証は、SSH Kerberos 経由で行うことができます。
オンプレミスのアカウント (alice@contoso.com など)	SSH Kerberos 認証は、Microsoft Entra Domain Services 内でパスワードハッシュを使用できる場合にのみ可能です。それ以外の場合、このユーザーはクラスターに SSH 接続できません。

ドメイン参加済みの VM に SSH 接続する場合、または kinit コマンドを実行する場合は、パスワードを入力する必要があります。 SSH Kerberos 認証では、Microsoft Entra Domain Services 内でハッシュを使用できる必要があります。管理シナリオにのみ SSH を使用する場合は、クラウド専用アカウントを 1 つ作成し、それを使用してクラスターに SSH 接続することができます。その他のオンプレミスのユーザーは、Microsoft Entra Domain Services 内でパスワードハッシュを使用できるようにすることなく、Ambari または HDInsight ツールまたは HTTP 基本認証を引き続き使用することができます。

組織が Microsoft Entra Domain Services にパスワードハッシュを同期していない場合は、ベストプラクティスとして、Microsoft Entra ID 内にクラウド専用ユーザーを 1 人作成します。次に、クラスターを作成するときにこれをクラスター管理者として割り当て、管理目的で使用します。これを使用して、SSH 経由で VM へのルートアクセスを取得できます。

認証問題を解決するには、こちらのガイドを参照してください。

HDInsight ID ブローカーで OAuth を使用して HDInsight ゲートウェイに接続するクライアント

HDInsight ID ブローカーの設定では、ゲートウェイに接続するカスタムアプリやクライアントを、必要な OAuth トークンを最初に取得するように更新できます。詳細については、Azure サービスを使用して .NET アプリケーションを認証する方法に関するページを参照してください。 HDInsight ゲートウェイへのアクセスを承認するために必要なキー値は次のとおりです。

OAuth リソース URI: https://hib.azurehdinsight.net
AppId: 00001111-aaaa-2222-bbbb-3333cccc4444
アクセス許可: (名前: Cluster.ReadWrite、ID:8f89faa0-ffef-4007-974d-4989b39ad77d)

OAuth トークンを取得した後、クラスターゲートウェイへの HTTP 要求の Authorization ヘッダーでそれを使用します (例: https://<clustername>-int.azurehdinsight.net)。 Apache Livy API へのサンプル curl コマンドは次のようになります。

curl -k -v -H "Authorization: Bearer Access_TOKEN" -H "Content-Type: application/json" -X POST -d '{ "file":"wasbs://mycontainer@mystorageaccount.blob.core.windows.net/data/SparkSimpleTest.jar", "className":"com.microsoft.spark.test.SimpleFile" }' "https://<clustername>-int.azurehdinsight.net/livy/batches" -H "X-Requested-By:<username@domain.com>"

Beeline と Livy を使用する場合は、こちらで提供されているサンプルコードに従い、OAuth を使用してクラスターに接続するようにクライアントを設定することもできます。

よく寄せられる質問

HDInsight によって Microsoft Entra ID 内に作成されるアプリは何ですか?

クラスターごとに、サードパーティのアプリケーションが、identifierUri (https://clustername.azurehdinsight.net など) として、クラスター URI と共に Microsoft Entra ID 内に登録されます。

Microsoft Entra ID 内では、ユーザーを認証するまたはデータにアクセスする前に、すべてのサードパーティのアプリケーションに同意を求めます。

Microsoft Graph API を使用すると、同意を自動化できます。API のドキュメントを参照してください。同意を自動化する順序は、以下のとおりです。

アプリを登録し、Microsoft Graph にアクセスするための Application.ReadWrite.All アクセス許可をそのアプリに付与します
クラスターが作成されたら、識別子 URI に基づいてクラスターアプリを照会します
アプリの同意を登録します

クラスターが削除されると、HDInsight によりアプリが削除されます。同意をクリーンアップする必要はありません。

次の方法で共有

Azure HDInsight ID ブローカー (HIB)

概要

HDInsight ID ブローカーを有効にする

Azure リソースマネージャーテンプレートの使用

ツールの統合

Microsoft Entra Domain Services 内のパスワードハッシュなしの SSH アクセス

HDInsight ID ブローカーで OAuth を使用して HDInsight ゲートウェイに接続するクライアント

よく寄せられる質問

HDInsight によって Microsoft Entra ID 内に作成されるアプリは何ですか?

次のステップ

フィードバック

その他のリソース

次の方法で共有

Azure HDInsight ID ブローカー (HIB)

概要

HDInsight ID ブローカーを有効にする

Azure リソース マネージャー テンプレートの使用

ツールの統合

Microsoft Entra Domain Services 内のパスワード ハッシュなしの SSH アクセス

HDInsight ID ブローカーで OAuth を使用して HDInsight ゲートウェイに接続するクライアント

よく寄せられる質問

HDInsight によって Microsoft Entra ID 内に作成されるアプリは何ですか?

HIB 対応クラスターを使用する前にユーザーに同意を求めるのはなぜですか?

同意はプログラムによって承認できますか?

次のステップ

フィードバック

その他のリソース

Azure リソースマネージャーテンプレートの使用

Microsoft Entra Domain Services 内のパスワードハッシュなしの SSH アクセス