Microsoft Purview で HDFS に接続して管理する

この記事では、Hadoop 分散ファイル システム (HDFS) を登録する方法と、Microsoft Purview で HDFS を認証して操作する方法について説明します。 Microsoft Purview の詳細については、 入門記事を参照してください。

サポートされている機能

メタデータ抽出	フル スキャン	増分スキャン	スコープスキャン	分類	ラベル付け	アクセス ポリシー	系統	データ共有	ライブ ビュー
○	○	○	○	はい	いいえ	いいえ	いいえ	いいえ	いいえ

HDFS ソースをスキャンする場合、Microsoft Purview では HDFS を含む技術メタデータの抽出がサポートされます。

• Namenode
• フォルダー
• ファイル
• リソース セット

スキャンを設定するときに、HDFS 全体または選択的なフォルダーをスキャンできます。 サポートされているファイル形式については 、こちらを参照してください。

コネクタは webhdfs プロトコルを使用して HDFS に接続し、メタデータを取得します。 MapR Hadoop ディストリビューションはサポートされていません。

前提条件

• アクティブなサブスクリプションを持つ Azure アカウント。 無料でアカウントを作成します。
• アクティブな Microsoft Purview アカウント。
• ソースを登録し、Microsoft Purview ガバナンス ポータルで管理するには、データ ソース管理者とデータ 閲覧者のアクセス許可が必要です。 アクセス許可の詳細については、「 Microsoft Purview でのアクセス制御」を参照してください。
• シナリオに適した統合ランタイムを設定します。
  • セルフホステッド統合ランタイムを使用するには:
    • 記事に従って、セルフホステッド統合ランタイムを作成して構成します。
    • セルフホステッド統合ランタイムがインストールされているマシンに JDK 11 がインストールされていることを確認します。 JDK を新しくインストールして有効にした後、マシンを再起動します。
    • セルフホステッド統合ランタイムが実行されているコンピューターに、Visual C++ 再頒布可能パッケージ (バージョン Visual Studio 2012 Update 4 以降) がインストールされていることを確認します。 この更新プログラムがインストールされていない場合は、 今すぐダウンロードしてください。
    • Kerberos 認証を有効にするように環境を設定するには、「 HDFS コネクタに Kerberos 認証を使用する 」セクションを参照してください。
  • kubernetes でサポートされているセルフホステッド統合ランタイムを使用するには:
    • 記事に従って、kubernetes でサポートされている統合ランタイムを作成して構成します。
    • Kerberos 認証を有効にするように環境を設定するには、「 HDFS コネクタに Kerberos 認証を使用する 」セクションを参照してください。

登録

このセクションでは、 Microsoft Purview ガバナンス ポータルを使用して Microsoft Purview に HDFS を登録する方法について説明します。

登録手順

データ カタログに新しい HDFS ソースを登録するには、次の手順に従います。

1. Microsoft Purview ガバナンス ポータルで Microsoft Purview アカウントに移動します。
2. 左側のナビゲーションで [ データ マップ ] を選択します。
3. [ 登録] を選択します
4. [ソースの登録] で、[ HDFS] を選択します。 [続行] を選択します。

[ ソースの登録 (HDFS)] 画面で、次の手順を実行します。

1. カタログ内にデータ ソースが一覧表示される 名前 を入力します。

2. HDFS NameNode のクラスター URL を、https://namenodeserver.com:50470やhttp://namenodeserver.com:50070などのhttps://<namenode>:<port>またはhttp://<namenode>:<port>の形式で入力します。

3. 一覧からコレクションを選択します。

4. 完了してデータ ソースを登録します。

   

スキャン

HDFS をスキャンして資産を自動的に識別するには、次の手順に従います。 スキャン全般の詳細については、スキャン とインジェストの概要に関するページを参照してください。

スキャンの認証

HDFS ソースでサポートされている認証の種類は Kerberos 認証です。

スキャンの作成と実行

新しいスキャンを作成して実行するには、次の手順に従います。

1. セルフホステッド統合ランタイムが設定されていることを確認します。 セットアップされていない場合は、「 前提条件」で 説明されている手順を使用して、セルフホステッド統合ランタイムを作成します。

2. [ ソース] に移動します。

3. 登録済みの HDFS ソースを選択します。

4. [ + 新しいスキャン] を選択します。

5. [スキャン source_name] ページで、次の詳細を指定します。

   1. 名前: スキャンの名前

   2. 統合ランタイム経由で接続する: 構成済みのセルフホステッド統合ランタイムを選択します。 「前提条件」セクションの「セットアップ 要件 」を参照してください。

   3. 資格情報: データ ソースに接続する資格情報を選択します。 次のことを確認してください。

      • 資格情報の作成時に [Kerberos 認証 ] を選択します。
      • [ユーザー名] 入力フィールドに、 <username>@<domain>.com の形式でユーザー名を指定します。 詳細については、「 HDFS コネクタに Kerberos 認証を使用する」を参照してください。
      • HDFS への接続に使用するユーザー パスワードを秘密キーに格納します。

      

6. [ 接続のテスト] を選択します。

7. [続行] を選択します。

8. [スキャンのスコープ] ページで、スキャンするパスを選択します。

9. [スキャン ルール セットの選択] ページで、スキーマの抽出と分類に使用するスキャン ルール セットを選択します。 システムの既定値、既存のカスタム ルール セット、または新しいルール セットをインラインで作成することができます。 詳細については、「 スキャン ルール セットの作成」を参照してください。

10. [スキャン トリガーの設定] ページで、 スキャン トリガーを選択します。 スケジュールを設定することも、スキャンを 1 回実行することもできます。

11. スキャンを確認し、[ 保存して実行] を選択します。

スキャンとスキャンの実行を表示する

既存のスキャンを表示するには:

1. Microsoft Purview ポータルに移動します。 左側のウィンドウで、[ データ マップ] を選択します。
2. データ ソースを選択します。 [最近のスキャン] で、そのデータ ソースの既存の スキャンの一覧を表示したり、[ スキャン ] タブですべてのスキャンを表示したりできます。
3. 表示する結果を含むスキャンを選択します。 このウィンドウには、以前のすべてのスキャン実行と、各スキャン実行の状態とメトリックが表示されます。
4. 実行 ID を選択して、スキャン実行の詳細をチェックします。

スキャンを管理する

スキャンを編集、取り消し、または削除するには:

1. Microsoft Purview ポータルに移動します。 左側のウィンドウで、[ データ マップ] を選択します。

2. データ ソースを選択します。 [最近のスキャン] で、そのデータ ソースの既存の スキャンの一覧を表示したり、[ スキャン ] タブですべてのスキャンを表示したりできます。

3. 管理するスキャンを選択します。 次のことを実行できます。

   • [スキャンの編集] を選択して スキャンを編集します。
   • [スキャンの実行の取り消し] を選択して、進行中 のスキャンを取り消します。
   • [スキャンの削除] を選択して スキャンを削除します。

注:

• スキャンを削除しても、以前のスキャンから作成されたカタログ資産は削除されません。

HDFS コネクタに Kerberos 認証を使用する

HDFS コネクタに Kerberos 認証を使用するようにオンプレミス環境を設定するには、2 つのオプションがあります。 自分の状況に合ったものを選択できます。

• オプション 1: セルフホステッド統合ランタイム マシンを Kerberos 領域に参加させる
• オプション 2: Windows ドメインと Kerberos 領域の間で相互信頼を有効にする

どちらのオプションでも、Hadoop クラスターの webhdfs を有効にしてください。

1. webhdfs の HTTP プリンシパルと keytab を作成します。

   重要

   HTTP Kerberos プリンシパルは、Kerberos HTTP SPNEGO 仕様に従って "HTTP/" で始まる必要があります。 詳細については、 こちらを参照してください。

   Kadmin> addprinc -randkey HTTP/<namenode hostname>@<REALM.COM>
   Kadmin> ktadd -k /etc/security/keytab/spnego.service.keytab HTTP/<namenode hostname>@<REALM.COM>
   

2. HDFS 構成オプション: hdfs-site.xmlに次の 3 つのプロパティを追加します。

   <property>
       <name>dfs.webhdfs.enabled</name>
       <value>true</value>
   </property>
   <property>
       <name>dfs.web.authentication.kerberos.principal</name>
       <value>HTTP/_HOST@<REALM.COM></value>
   </property>
   <property>
       <name>dfs.web.authentication.kerberos.keytab</name>
       <value>/etc/security/keytab/spnego.service.keytab</value>
   </property>
   

オプション 1: セルフホステッド統合ランタイム マシンを Kerberos 領域に参加させる

要件

• セルフホステッド統合ランタイム マシンは Kerberos 領域に参加する必要があり、Windows ドメインに参加できません。

構成する方法

KDC サーバーで、次の手順を実行します。

プリンシパルを作成し、パスワードを指定します。

重要

ユーザー名にホスト名を含めないようにしてください。

Kadmin> addprinc <username>@<REALM.COM>

セルフホステッド統合ランタイム コンピューターで、次の手順を実行します。

1. Ksetup ユーティリティを実行して、Kerberos Key Distribution Center (KDC) サーバーと領域を構成します。

   Kerberos 領域は Windows ドメインとは異なるため、コンピューターをワークグループのメンバーとして構成する必要があります。 この構成を実現するには、Kerberos 領域を設定し、次のコマンドを実行して KDC サーバーを追加します。 REALM.COM を独自の領域名に置き換えます。

   C:> Ksetup /setdomain REALM.COM
   C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
   

   これらのコマンドを実行した後、コンピューターを再起動します。

2. Ksetup コマンドを使用して構成を確認します。 出力は次のようになります。

   C:> Ksetup
   default realm = REALM.COM (external)
   REALM.com:
       kdc = <your_kdc_server_address>
   

Purview アカウントで次の手順を実行します。

• Kerberos プリンシパル名とパスワードを使用して Kerberos 認証の種類を使用して資格情報を構成し、HDFS をスキャンします。 構成の詳細については、「スキャン」セクションの資格情報設定パーツをチェックします。

オプション 2: Windows ドメインと Kerberos 領域の間で相互信頼を有効にする

要件

• セルフホステッド統合ランタイム コンピューターは、Windows ドメインに参加する必要があります。
• ドメイン コントローラーの設定を更新するためのアクセス許可が必要です。

構成する方法

注:

次のチュートリアルの REALM.COM と AD.COM を独自の領域名とドメイン コントローラーに置き換えます。

KDC サーバーで、次の手順を実行します。

1. krb5.conf ファイルの KDC 構成を編集して、KDC が次の構成テンプレートを参照して Windows ドメインを信頼できるようにします。 既定では、構成は /etc/krb5.conf にあります。

   [logging]
    default = FILE:/var/log/krb5libs.log
    kdc = FILE:/var/log/krb5kdc.log
    admin_server = FILE:/var/log/kadmind.log
   
   [libdefaults]
    default_realm = REALM.COM
    dns_lookup_realm = false
    dns_lookup_kdc = false
    ticket_lifetime = 24h
    renew_lifetime = 7d
    forwardable = true
   
   [realms]
    REALM.COM = {
     kdc = node.REALM.COM
     admin_server = node.REALM.COM
    }
   AD.COM = {
    kdc = windc.ad.com
    admin_server = windc.ad.com
   }
   
   [domain_realm]
    .REALM.COM = REALM.COM
    REALM.COM = REALM.COM
    .ad.com = AD.COM
    ad.com = AD.COM
   
   [capaths]
    AD.COM = {
     REALM.COM = .
    }
   

   ファイルを構成したら、KDC サービスを再起動します。

2. 次のコマンドを使用 して、KDC サーバーで krbtgt/REALM.COM@AD.COM という名前のプリンシパルを準備します。

   Kadmin> addprinc krbtgt/REALM.COM@AD.COM
   

3. hadoop.security.auth_to_local HDFS サービス構成ファイルで、RULE:[1:$1@$0](.*\@AD.COM)s/\@.*//を追加します。

ドメイン コントローラーで、次の手順を実行します。

1. 次の Ksetup コマンドを実行して、領域エントリを追加します。

   C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
   C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
   

2. Windows ドメインから Kerberos 領域への信頼を確立します。 [password] は、プリンシパル krbtgt/REALM.COM@AD.COMのパスワードです。

   C:> netdom trust REALM.COM /Domain: AD.COM /add /realm /password:[password]
   

3. Kerberos で使用される暗号化アルゴリズムを選択します。

   1. [サーバー マネージャー>グループ ポリシー Management>Domain>グループ ポリシー Objects>Default または Active Domain Policy] を選択し、[編集] を選択します。

   2. [グループ ポリシー管理エディター] ウィンドウで、[コンピューターの構成>Policies>Windows 設定>セキュリティ設定>ローカル ポリシー>セキュリティ オプション] を選択し、[ネットワーク セキュリティ: Kerberos で許可される暗号化の種類を構成する] を構成します。

   3. KDC サーバーに接続するときに使用する暗号化アルゴリズムを選択します。 すべてのオプションを選択できます。

      

   4. Ksetup コマンドを使用して、指定した領域で使用する暗号化アルゴリズムを指定します。

      C:> ksetup /SetEncTypeAttr REALM.COM DES-CBC-CRC DES-CBC-MD5 RC4-HMAC-MD5 AES128-CTS-HMAC-SHA1-96 AES256-CTS-HMAC-SHA1-96
      

4. Windows ドメインで Kerberos プリンシパルを使用できるように、ドメイン アカウントと Kerberos プリンシパルの間のマッピングを作成します。

   1. [管理ツール>Active Directory ユーザーとコンピューター] を選択します。

   2. 高度な機能を構成するには、[表示>高度な機能] を選択します。

   3. [ 高度な機能 ] ウィンドウで、マッピングを作成するアカウントを右クリックし、[ 名前マッピング ] ウィンドウで [ Kerberos の名前 ] タブを選択します。

   4. 領域からプリンシパルを追加します。

      

セルフホステッド統合ランタイム コンピューターで、次の手順を実行します。

• 次の Ksetup コマンドを実行して、領域エントリを追加します。

  C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
  C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
  

Purview アカウントで次の手順を実行します。

• Kerberos プリンシパル名とパスワードを使用して Kerberos 認証の種類を使用して資格情報を構成し、HDFS をスキャンします。 構成の詳細については、「スキャン」セクションの資格情報設定パーツをチェックします。

既知の制限

現在、HDFS コネクタでは 、高度なリソース セットのカスタム リソース セット パターン ルールはサポートされていません。組み込みのリソース セット パターンが適用されます。

秘密度ラベル はまだサポートされていません。

次の手順

ソースを登録したので、次のガイドに従って、Microsoft Purview とデータの詳細を確認してください。

• データ カタログの検索
• Microsoft Purview の Data Estate Insights