既知の問題 - 監視ハブに間違ったキュー期間が表示される
Spark ジョブは、容量の使用量が Spark で最大コンピューティング制限に達するとキューに入れられます。 制限に達すると、ジョブがキューに追加されます。 コアが利用可能になると、処理能力に応じてジョブが実行されます。 このキュー機能は、ジョブ スケジューラ、パイプライン、および Spark ジョブ定義からトリガーされた Spark ノートブックを含む、Spark 上のすべてのバックグラウンド ジョブに対して有効になります。 ジョブがキューで待機している期間が、監視ハブでキューに登録されている期間として正しく表されていません。
状態: オープン
製品エクスペリエンス: データ エンジニアリング
症状
現在、監視ハブに表示されているジョブの合計期間には、ジョブの実行時間のみが含まれています。 合計期間は、ジョブがキューで待機した期間を正しく反映していません。
解決策と回避策
ジョブがキュー内にある場合、状態は監視ビューに 未開始 として表示されます。 ジョブの実行が開始されると、状態は監視ビューで 進行中 に更新されます。 ジョブの状態インジケーターを使用して、ジョブがいつキューに入れられ、いつ実行が進行中であるかを知ることができます。