共用方式為

監視模型服務成本

  • 發行項

本文提供如何使用 系統數據表 來監視 Azure Databricks 帳戶中馬賽克 AI 模型服務端點的成本範例。

需求

計費使用量系統數據表 SKU

您可以使用計費使用量系統數據表，追蹤 Azure Databricks 中的模型服務成本。 啟用計費使用量系統數據表之後，數據表會自動填入 Databricks 帳戶中最新的使用量。 成本會出現在數據表中 system.billing.usage ，其中數據行 sku_name 如下：

sku_name 描述
<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region> 此 SKU 包含當端點在調整為零之後開始時累算的所有 DBU。
<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region> 所有其他模型服務成本都會依此 SKU 分組。 其中 tier 會對應至您的 Azure Databricks 平臺層，並 region 對應至 Azure Databricks 部署的雲端區域。

查詢和視覺化使用方式

您可以查詢 system.billing.usage 數據表，以匯總與馬賽克 AI 模型服務相關聯的所有 DBU（Databricks Units）。 以下是使用 SQL 匯總過去 30 天內每天提供 DBU 的模型範例查詢：


SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

成本可觀察性儀錶板

若要協助您開始監視模型服務成本，請從 GitHub 下載範例成本屬性儀錶板。 請參閱 模型服務成本屬性儀錶板。

下載 JSON 檔案之後，請將儀錶板匯入工作區。 如需匯入儀錶板的指示，請參閱 匯入儀錶板檔案。

如何使用此儀錶板

此儀錶板由 AI/BI 提供，您必須能夠存取系統數據表。 其提供工作區層級服務端點成本和使用量的深入解析。

下列步驟可讓您開始使用：

  1. 輸入工作區標識碼。
  2. 選取開始日期和結束日期。
  3. 選取下拉式清單中的特定端點名稱來篩選儀錶板（如果您對特定端點感興趣）。
  4. 另外，如果您使用端點的任何自定義標籤，請輸入標籤鑰。

注意

模型服務會對工作區強制執行預設限制，以確保沒有失控支出。 請參閱模型服務限制和區域。

您可以使用的圖表

下列圖表包含在此儀錶板中。 這些是要讓您建置自定義版本的模型服務成本屬性儀錶板的起點。

  • 過去 7 天最上層端點耗用量
  • 每日總使用量$DBU
  • 依端點類型提供成本的模型
    • 按權杖付費
    • CPU/GPU
    • 基礎模型
  • 每個模型服務類型的每日耗用量
  • 前 10 個成本最高的服務端點
  • 前 10 個成本最高的按令牌付費端點
  • LLM 微調 過去 7 天花費
  • LLM 微調每封電子郵件的支出

使用標籤來監視成本

一開始，匯總的成本可能就足以觀察整體模型服務成本。 不過，隨著端點數目增加，您可能會想要根據使用案例、業務單位或其他自定義標識符來細分成本。 模型服務支援建立可套用至您模型服務端點的自定義標籤。

套用至模型服務端點的所有自定義標籤都會傳播至 system.billing.usage 數據行底下的 custom_tags 數據表，並可用來匯總和可視化成本。 Databricks 建議將描述性標籤新增至每個端點，以進行精確的成本追蹤。

查詢範例

依成本排序的最上層端點：


SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

標籤的成本（「business_unit」： 「數據科學」） 一段時間：


SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

其他資源

如需如何監視帳戶中作業成本的範例，請參閱 使用系統數據表監視作業成本。