Fabric 監視ハブで Apache Spark アプリケーションを参照する
監視ハブは、アイテム全体で Apache Spark アクティビティを参照するための一元化されたポータルとして機能します。 Data Engineering または Data Science を使用している場合、ノートブック、Apache Spark ジョブ定義、パイプラインからトリガーされた進行中の Apache Spark アプリケーションを表示できます。 また、さまざまな条件に基づいて Apache Spark アプリケーションを検索してフィルター処理することもできます。 さらに、進行中の Apache Spark アプリケーションをキャンセルし、ドリルダウンして Apache Spark アプリケーションの実行の詳細を表示することもできます。
監視ハブにアクセスする
左側のナビゲーション リンクの [監視ハブ] を選択して監視ハブにアクセスすると、さまざまな Apache Spark アクティビティを表示できます。
Apache Spark アプリケーションの並べ替え、検索、フィルターと列オプション
使いやすさと見つけやすさを向上させるために、UI でさまざまな列を選択して Apache Spark アプリケーションを並べ替えることができます。 また、さまざまな列に基づいてアプリケーションをフィルター処理し、特定のアプリケーションを検索することもできます。 列オプションを使用して、列の表示と並べ替えの順序を個別に調整することもできます。
Apache Spark アプリケーションを並べ替える
Apache Spark アプリケーションを並べ替えるために、[名前]、[状態]、[Item Type] (項目の種類)、[開始時刻]、[場所] など、各列ヘッダーを選択できます。
Apache Spark アプリケーションをフィルター処理する
右上隅の [フィルター] ウィンドウを使用して、[状態]、[Item Type] (項目の種類)、[開始時刻]、[送信者]、[場所] によって Apache Spark アプリケーションをフィルター処理できます。
Apache Spark アプリケーションを検索する
特定の Apache Spark アプリケーションを検索するために、右上隅にある検索ボックスに特定のキーワードを入力できます。
Apache Spark アプリケーションの列オプション
表示したいリストを選択し、リスト オプションをドラッグすると、リストの表示順序を変更できます。
関連するパイプラインのアップストリーム ビューを有効にする
パイプラインで実行するようにノートブックと Spark ジョブ定義をスケジュールしている場合は、監視ハブのこれらのノートブックと Spark ジョブ定義から Spark アクティビティを表示できます。 さらに、対応する親パイプラインとそのすべてのアクティビティを監視ハブで確認することもできます。
- [アップストリーム実行] 列のオプションを選択します。
- [アップストリームの実行] 列に関連する親パイプラインの実行を表示し、パイプラインの実行をクリックして、そのすべてのアクティビティを表示します。
Apache Spark アプリケーションを管理する
Apache Spark アプリケーションの行にカーソルを合わせると、特定の Apache Spark アプリケーションを管理できるさまざまな行レベルのアクションが表示されます。
Apache Spark アプリケーションの詳細ウィンドウを表示する
Apache Spark アプリケーションの行にカーソルを合わせ、[詳細の表示] アイコンをクリックすると、[詳細] ウィンドウを開くことができ、Apache Spark アプリケーションに関する詳細を表示できます。
Apache Spark アプリケーションをキャンセルする
進行中の Apache Spark アプリケーションをキャンセルする必要がある場合、その行にカーソルを合わせ、[キャンセル] アイコンをクリックします。
Apache Spark アプリケーションの詳細ビューに移動する
Apache Spark の実行統計に関する詳細情報が必要な場合、Apache Spark ログにアクセスする場合、または入力データと出力データを確認する場合、Apache Spark アプリケーションの名前をクリックすると、対応する Apache Spark アプリケーションの詳細ページに移動できます。