モデルの品質とエンドポイントの正常性を監視する
Mosaic AI Model Serving には、モデルとそのデプロイの品質と正常性を監視するための高度なツールが用意されています。 次の表に、使用できる各監視ツールの概要を示します。
| ツール | 説明 | 目的 | Access (アクセス) |
|---|---|---|---|
| サービス ログ | モデル サービング エンドポイントから stdout と stderr のストリームを取り込みます。 |
モデル デプロイ中のデバッグに役立ちます。 ログに即時に表示するには、print(..., flush=true) を使います。 |
サービス UI の [ログ] タブを使ってアクセスできます。 ログはリアルタイムでストリーミングされ、API を介してエクスポートできます。 |
| ビルド ログ | モデル サービング エンドポイント用に運用環境対応の Python 環境を自動的に作成するプロセスの出力を表示します。 | モデル デプロイと依存関係の問題を診断するのに役立ちます。 | モデル提供ビルドが完了すると、[ログ] タブの [ビルド ログ] で使用できます。ログは API 経由でエクスポートできます。 |
| エンドポイントの正常性メトリック | 待機時間、要求率、エラー率、CPU 使用率、メモリ使用率などのインフラストラクチャ メトリックに関する分析情報を提供します。 | サービス インフラストラクチャのパフォーマンスと正常性を理解するために重要です。 | サービス UI の既定で過去 14 日間について使用できます。 データは、リアルタイムで監視ツールにストリーミングすることもできます。 |
| 推論テーブル | オンライン予測の要求と応答を、Unity Catalog によって管理される Delta テーブルに自動的にログします。 | このツールは、モデルの品質または応答の監視とデバッグ、トレーニング データ セットの生成、またはコンプライアンス監査の実施に使います。 | UI または API を 1 回クリックするだけで、既存および新しいモデル サービング エンドポイントに対して有効にすることができます。 |