Azure Data Lake Storage Gen1 を使用して Event Hubs からデータをキャプチャする

Azure Data Lake Storage Gen1 を使用して、Azure Event Hubs によって受信されたデータをキャプチャする方法について説明します。

前提条件

• Azure サブスクリプション。 Azure 無料試用版の取得に関するページを参照してください。

• Azure Data Lake Storage Gen1 アカウント。 作成方法については、「Azure Data Lake Storage Gen1 を開始する」を参照してください。

• の Event Hubs 名前空間。 手順については、「Event Hubs 名前空間を作成する」を参照してください。 Data Lake Storage Gen1 アカウントと Event Hubs 名前空間が同じ Azure サブスクリプションにあることを確認します。

Event Hubs にアクセス許可を割り当てる

このセクションでは、Event Hubs からデータをキャプチャするアカウント内にフォルダーを作成します。 また、Data Lake Storage Gen1 アカウントにデータを書き込むことができるように、Event Hubs にアクセス許可を割り当てます。

1. Event Hubs からデータをキャプチャする Data Lake Storage Gen1 アカウントを開き、Data Explorerをクリックします。

   

2. 新しいフォルダー をクリックし、データをキャプチャするフォルダーの名前を入力します。

   で新しいフォルダーを作成する

3. Data Lake Storage Gen1 のルートでアクセス許可を割り当てます。

   a. [データ エクスプローラー ] をクリックし、Data Lake Storage Gen1 アカウントのルートを選択し、[Access ] をクリックします。

   のアクセス許可を割り当てる

   b。 [アクセス] で、[追加] をクリックし、[ユーザーまたはグループを選択] をクリックし、Microsoft.EventHubsを検索します。

   のアクセス許可を割り当てる

   [選択] をクリックします。

   c. [アクセス許可 の割り当てで、[アクセス許可 選択] をクリックします。 権限 を Executeに設定します。 をに追加し、をこのフォルダーとすべての子に設定します。 を として のアクセス許可エントリおよび既定のアクセス許可エントリに設定します。

   重要

   Azure Event Hubs で受信したデータをキャプチャするための新しいフォルダー階層を作成する場合、これは宛先フォルダーへのアクセスを確実にする簡単な方法です。 ただし、多数の子ファイルとフォルダーを含む最上位フォルダーのすべての子にアクセス許可を追加するには、時間がかかる場合があります。 ルート フォルダーに多数のファイルとフォルダーが含まれている場合は、最終的な移動先フォルダーへのパス内の各フォルダー Microsoft.EventHubs の 実行アクセス許可を個別に追加する方が高速な場合があります。

   

   OK をクリックします。

4. データをキャプチャする Data Lake Storage Gen1 アカウントの下のフォルダーにアクセス許可を割り当てます。

   a. [Data Explorer ] をクリックし、Data Lake Storage Gen1 アカウント内のフォルダーを選択し、[Access ] をクリックします。

   のアクセス許可を割り当てる

   b。 [アクセス] で、[追加] をクリックし、[ユーザーまたはグループの選択] をクリックし、Microsoft.EventHubsを検索します。

   のアクセス許可を割り当てる

   [選択] をクリックします。

   c. アクセス許可の割り当てで、アクセス許可の選択をクリックします。 権限 を 読み取り、書き込み、、および 実行に設定します。 設定 を にし、このフォルダーとすべての子 にを適用します。 最後に、を として追加し、に設定してアクセス許可エントリと既定のアクセス許可エントリを作成します。

   のアクセス許可を割り当てる

   OK をクリックします。

Data Lake Storage Gen1 にデータをキャプチャするように Event Hubs を構成する

このセクションでは、Event Hubs 名前空間内にイベント ハブを作成します。 また、Azure Data Lake Storage Gen1 アカウントにデータをキャプチャするように Event Hub を構成します。 このセクションでは、Event Hubs 名前空間が既に作成されていることを前提としています。

1. Event Hubs 名前空間の [の概要] ウィンドウで、[+ Event Hub] をクリックします。

   の作成

2. Data Lake Storage Gen1 にデータをキャプチャするように Event Hubs を構成するには、次の値を指定します。

   の作成

   a. イベント ハブの名前を指定します。

   b。 このチュートリアルでは、パーティション数の と メッセージリテンション期間の を既定値に設定します。

   c. のキャプチャを の時点でに設定します。 時間枠 ( キャプチャ頻度) と サイズウィンドウ ( キャプチャデータサイズ) を設定します。

   d. Capture Providerで、Azure Data Lake Store 選択し、前に作成した Data Lake Storage Gen1 アカウントを選択します。 Data Lake Pathに、Data Lake Storage Gen1 アカウントで作成したフォルダーの名前を入力します。 フォルダーへの相対パスを指定するだけで済みます。

   e. サンプル キャプチャ ファイル名の形式 既定値のままにします。 このオプションは、キャプチャ フォルダーの下に作成されるフォルダー構造を制御します。

   f. Create をクリックしてください。

セットアップをテストする

Azure Event Hub にデータを送信することで、ソリューションをテストできるようになりました。 「Azure Event Hubsにイベントを送信する」の手順に従います。 データの送信を開始すると、指定したフォルダー構造を使用して Data Lake Storage Gen1 に反映されたデータが表示されます。 たとえば、次のスクリーンショットに示すように、Data Lake Storage Gen1 アカウントにフォルダー構造が表示されます。

注

Event Hubs にメッセージが送信されない場合でも、Event Hubs はヘッダーのみを含む空のファイルを Data Lake Storage Gen1 アカウントに書き込みます。 ファイルは、Event Hubs の作成時に指定したのと同じ時間間隔で書き込まれます。

Data Lake Storage Gen1 でデータを分析する

データが Data Lake Storage Gen1 に入ったら、分析ジョブを実行してデータを処理およびクランチできます。 Azure Data Lake Analytics を使用してこれを行う方法については、USQL Avro の例の を参照してください。

こちらもご覧ください

• Data Lake Storage Gen1 でのデータのセキュリティ保護
• Azure Storage Blob から Data Lake Storage Gen1 へのデータのコピー