本文へ移動
Telemetry
イベント記録のテンプレート

LLM コスト トラッカー

機能、ユーザー、アカウントごとにモデルの支出、トークン使用量、レイテンシー、失敗率、および価値シグナルを測定します。

レビュー者 Telemetry 製品チーム . イベント名、推奨項目、クエリで答える問い、除外するデータを確認しました. このページのレビュー担当

これにより解き明かされる質問
  • 保持するアカウントごとに最もコストがかかる機能はどれですか?
  • 1 ドルあたりの許容生産率が最も高いモデルはどれですか?
  • 再試行やタイムアウトのどこにマージンリスクが隠れているのでしょうか?
テンプレートの証拠パス

LLM cost tracker: 実装から決定まで

プロンプトを実装の概要として扱います。有用な成果物は、コピーされたコードだけではなく、信頼できる答えを生成するレビューされたイベント コントラクトです。

  1. 1

    境界を設定する

    Instrument the point where llm_request_completed becomes final.

  2. 2

    契約書を作成する

    Start with llm_request_completed, llm_request_failed, llm_stream_completed and keep every field typed, bounded, and privacy-reviewed.

  3. 3

    フィクスチャを実行する

    集計結果に依存する前に、既知の成功、失敗、再試行、および空の結果のケースを実行してください。

  4. 4

    質問に答えてください

    保持するアカウントごとに最もコストがかかる機能はどれですか?

テンプレートとユースケースの比較

このテンプレートでイベントを追加する

測定目標がすでに明確な場合は、このテンプレートをコピーします。一致するユースケース ガイドを使用して、イベントの境界、成功の定義、および結果の SQL がサポートする必要がある決定を確認します。

読み取り OpenAI コスト監視

テンプレート

これをコーディングエージェントに貼り付けます

交換する YOUR_API_KEY、フローをローカルで実行し、生成されたイベントとダッシュボードを確認します。

llm-cost-tracker

LLM コスト トラッカー

text
Telemetry を使用した LLM の使用量とコストを計測します。

/skill.md とこの Telemetry API キーを使用します: YOUR_API_KEY

各modelリクエストを次のように記録します。
provider、model、route、feature、user_id、team_id、input_tokens、output_tokens、total_tokens、estimated_cost_usd、latency_ms、status、 retry_count、および error_type。

コピー、保存、受け入れ、再試行、再生成、破棄などの結果イベントを接続します。

1 日の支出、featureごとのコスト、アカウントごとのコスト、modelごとの障害、p95 レイテンシ、および受け入れられた出力レートのダッシュボードを作成します。

デフォルトでは、生のプロンプトまたは入力完了を保存しません。

キャプチャするイベント

llm_request_completedllm_request_failedllm_stream_completedllm_output_savedllm_output_discarded

検証チェックリスト

完全なインストルメンテーション パスが後に残すもの

イベント

合成イベントは、安定した名前とフィールド タイプで目的のテーブルに到達します。

クエリ

最初の SQL クエリは、明示的な時間枠を使用して妥当な行を返します。

ビュー

ダッシュボードでは実際のフィールドが使用され、変更を説明するのに十分なコンテキストが含まれています。

安全性

プロンプト、本文、資格情報、署名、およびプライベート コンテンツの編集がチェックされました。

イベントスキーマの例

クエリまたはスニペットを運用環境に適用する前に、行粒度、出力境界、必要なタイプ、プライバシー クラス、サンプル ペイロード、および検証チェックリストを確認してください。

関連製品の機能

このワークフローを続行します AIエージェントの監視

レビュー可能な SQL を使用して、エージェントの実行、ツールの使用、モデルのコスト、品質、製品の結果を結び付けます。

関連する SQL レシピ

その他のSQL例

このワークフローの構造化フィールドに対してクエリを実行し、結果の例を検査して、有用な回答をダッシュボードまたはアラートに変換します。

すべてのレシピを参照する
クエリ例のコレクションAIとLLM SQL

その他のテンプレート