LLM cost tracker: 実装から決定まで
プロンプトを実装の概要として扱います。有用な成果物は、コピーされたコードだけではなく、信頼できる答えを生成するレビューされたイベント コントラクトです。
- 1
境界を設定する
Instrument the point where llm_request_completed becomes final.
- 2
契約書を作成する
Start with llm_request_completed, llm_request_failed, llm_stream_completed and keep every field typed, bounded, and privacy-reviewed.
- 3
フィクスチャを実行する
集計結果に依存する前に、既知の成功、失敗、再試行、および空の結果のケースを実行してください。
- 4
質問に答えてください
保持するアカウントごとに最もコストがかかる機能はどれですか?
テンプレートとユースケースの比較
このテンプレートでイベントを追加する
測定目標がすでに明確な場合は、このテンプレートをコピーします。一致するユースケース ガイドを使用して、イベントの境界、成功の定義、および結果の SQL がサポートする必要がある決定を確認します。
テンプレート
これをコーディングエージェントに貼り付けます
交換する YOUR_API_KEY、フローをローカルで実行し、生成されたイベントとダッシュボードを確認します。
LLM コスト トラッカー
Telemetry を使用した LLM の使用量とコストを計測します。
/skill.md とこの Telemetry API キーを使用します: YOUR_API_KEY
各modelリクエストを次のように記録します。
provider、model、route、feature、user_id、team_id、input_tokens、output_tokens、total_tokens、estimated_cost_usd、latency_ms、status、 retry_count、および error_type。
コピー、保存、受け入れ、再試行、再生成、破棄などの結果イベントを接続します。
1 日の支出、featureごとのコスト、アカウントごとのコスト、modelごとの障害、p95 レイテンシ、および受け入れられた出力レートのダッシュボードを作成します。
デフォルトでは、生のプロンプトまたは入力完了を保存しません。キャプチャするイベント
検証チェックリスト
完全なインストルメンテーション パスが後に残すもの
イベント
合成イベントは、安定した名前とフィールド タイプで目的のテーブルに到達します。
クエリ
最初の SQL クエリは、明示的な時間枠を使用して妥当な行を返します。
ビュー
ダッシュボードでは実際のフィールドが使用され、変更を説明するのに十分なコンテキストが含まれています。
安全性
プロンプト、本文、資格情報、署名、およびプライベート コンテンツの編集がチェックされました。
イベントスキーマの例
このワークフローのイベントスキーマ
クエリまたはスニペットを運用環境に適用する前に、行粒度、出力境界、必要なタイプ、プライバシー クラス、サンプル ペイロード、および検証チェックリストを確認してください。
関連製品の機能
このワークフローを続行します AIエージェントの監視
レビュー可能な SQL を使用して、エージェントの実行、ツールの使用、モデルのコスト、品質、製品の結果を結び付けます。
関連する SQL レシピ
その他のSQL例
このワークフローの構造化フィールドに対してクエリを実行し、結果の例を検査して、有用な回答をダッシュボードまたはアラートに変換します。
機能とモデルごとに LLM コストを計算する
LLM の支出を促進しているのはどの製品機能とモデルですか?
レシピを開く1 ドルあたりの受け入れられた AI 出力を測定する
どのモデルと機能の組み合わせが、1 ドルあたり最も受け入れられる出力を生成しますか?
レシピを開くLLM キャッシュの節約と再試行コストを測定する
再試行とキャッシュミスに関連するモデルコストはどれくらいですか?
レシピを開く最初のトークンまでの LLM 時間を測定する
出力が開始される前に速度が遅いと感じるモデルと機能の組み合わせはどれですか?
レシピを開くその他のテンプレート