Microsoft Fabric の Apache Spark でのジョブ キューイング
適用対象:✅ Microsoft Fabric でのデータ エンジニアリングとデータ サイエンス
Microsoft Fabric では、Fabric 容量の Spark コンピューティング制限に達した場合に、バックグラウンド ジョブのキューイングがサポートされています。 ジョブのキューイング システムでは、キューの有効期限に達するまでキューに追加されるジョブが自動的に再試行されます。 ユーザーが Azure で Microsoft Fabric の容量を作成する際は、分析ワークロードのサイズに基づいて容量サイズを選びます。 容量を購入すると、管理者は Microsoft Fabric の容量内にワークスペースを作成できます。 これらのワークスペース内で実行される Spark ジョブは、特定の容量に割り当てられた最大コア数まで使用でき、その上限に達すると、ジョブはスロットリングされるかキューイングされます。
Microsoft Fabric Spark のコンカレンシー制限について、詳細をご覧ください。
ジョブ キューイングは、Spark ジョブ定義と、パイプラインまたはスケジューラによってトリガーされるノートブック ジョブでサポートされています。 ノートブック パブリック API を使用してトリガーされる対話型ノートブック ジョブとノートブック ジョブでは、キューはサポートされていません。
キューは先入れ先出し (FIFO) 方式で動作します。この方式では、ジョブは送信時間に基づいてキューに追加され、絶えず再試行されます。また、容量が解放されると実行が開始されます。
Note
Fabric の容量が調整された状態にある場合、Spark ジョブのキューはサポートされません。 送信されたすべての新しいジョブは拒否されます。
ジョブがキューに追加されると、ジョブのステータスは監視ハブで [未開始] に更新されます。 ノートブックおよび Spark ジョブ定義は、キューから選択され実行が開始されると、ステータスが [未開始] から [進行中] に更新されます。
Note
すべてのジョブに対するキューの有効期限は、ジョブがキューに入ってから 24 時間です。 有効期限に達したら、ジョブを再送信する必要があります。
キューのサイズ
Fabric Spark では、適用されるキューのサイズはワークスペースにアタッチされた容量 SKU のサイズに基づいています。また、購入した Fabric の容量 SKU に基づいてユーザーがジョブを送信できる、スロットリングとキューイングのメカニズムが提供されています。
次のセクションでは、容量 SKU に基づく Microsoft Fabric をベースとした、Spark ワークロードのさまざまなキューのサイズを示します。
| Fabric の容量 SKU | 同等の Power BI SKU | キューの制限 |
|---|---|---|
| F2 | - | 4 |
| F4 | - | 4 |
| F8 | - | 8 |
| F16 | - | 16 |
| F32 | - | 32 |
| F64 | P1 | 64 |
| F128 | P2 | 128 |
| F256 | P3 | 256 |
| F512 | P4 | 512 |
| F1024 | - | 1024 |
| F2048 | - | 2048 |
| 試用版の容量 | P1 | NA |
Note
キューイングは、Fabric の試用版容量ではサポートされていません。 ユーザーは、Spark ジョブのキューイングを使用する場合、有料の Fabric F または P SKU に切り替える必要があります。
Fabric 容量の最大キュー制限に達すると、送信された新しいジョブは次のようなエラー メッセージで調整されます: [TooManyRequestsForCapacity] Spark コンピューティングまたは API レートの制限に達したため、この Spark ジョブを実行できません。この Spark ジョブを実行するには、監視ハブからアクティブな Spark ジョブを取り消すか、より大きな容量の SKU を選択するか、後でもう一度やり直してください。HTTP 状態コード: 430 {詳細情報} HTTP 状態コード: 430。