本文へ移動
Telemetry
ダッシュボードの例

LLM の使用法とユニットエコノミクス ダッシュボード

モデルの呼び出しを製品のワークフローとアカウントに接続することで、トークンの量、遅延、障害、コストをまとめて確認できます。

レビュー者 Telemetry 製品チーム . 意思決定、イベント粒度、メトリクス、DataFusion SQL、合成結果、仮定、鮮度、解釈境界. 基準と所有権を確認する

条目

モデルごとにグループ化する前に、1 つの端末モデル プロバイダー リクエスト。

決定が支持されました

品質保持モデル、キャッシュ、再試行、またはプロンプト効率レビューのワークフローを選択します。

メートル法契約

分母と単位をグラフの横に置きます

宣言された穀物を維持しながら、これらの名前を契約に適合させます。運用プロデューサーからフィールドをマッピングする前に、リンクされたイベント スキーマを検査します。

  • リクエスト
  • 入力トークンと出力トークン
  • 推定コスト
  • 成功したリクエストごとのコスト
イベントスキーマを検査する
完全な DataFusion SQL

フィールドを調整する前にクエリを確認してください

このパブリック クエリは開始定義です。実稼働イベント契約に適した、制限された時間フィルター、完全バケット ポリシー、環境、および最小ボリュームを追加します。

SELECT
  model,
  COUNT(*) AS requests,
  SUM(input_tokens) AS input_tokens,
  SUM(output_tokens) AS output_tokens,
  ROUND(SUM(cost_usd), 4) AS estimated_cost_usd,
  ROUND(
    SUM(cost_usd)
    / NULLIF(SUM(CASE WHEN status = 'success' THEN 1 ELSE 0 END), 0),
    4
  ) AS cost_per_success_usd
FROM llm_requests
GROUP BY model
ORDER BY estimated_cost_usd DESC;
データの仮定

結果を公開する前にこれらを証明してください

  • トークンの使用法とステータスは、プロバイダーと応答の境界で最終的になります。
  • イベントレベルのコストでは、バージョン化された価格割り当てが使用されます。
  • プロバイダーの請求書は依然として真実の財務情報源です。
クエリレビュー

ダッシュボードの信頼性を維持するためのチェック

  • 共有モデルの支出を割り当てるときに、ワークフローとアカウントのフィールドを追加します。
  • 同じ完全な期間の合計見積もりを請求書に調整します。
  • コストと品質および成功を比較します。コストを下げるだけでは成果は得られません。

解釈境界

この結果だけでは証明できないこと

プロバイダーの請求書を信頼できる財務情報源として使用します。イベント レベルのコストは、請求と調整しない限り、割り当ての見積もりです。

関連するダッシュボードの例

既知のデータを使用して定義を検証する

クエリを運用ダッシュボードまたはアラートに接続する前に、既知の成功、失敗、欠落、重複、境界のケースを含むフィクスチャを実行します。