本文へ移動
Telemetry
AIとLLM SQL レシピ

1 ドルあたりの受け入れられた AI 出力を測定する

モデルの支出を、受け入れられた、保存された、またはその他の有用な製品の成果に結び付けます。

中級者llm_requestsレビュー済み 2026-07-27テスト済み アパッチ DataFusion 45.2.0

レビュー者 Telemetry 製品チーム . SQL の互換性、イベント コントラクト、合成出力、および操作上の注意事項. 基準と所有権を確認する

質問に回答しました

どのモデルと機能の組み合わせが、1 ドルあたり最も受け入れられる出力を生成しますか?

最も安価なモデルは、ユーザーがその出力を破棄すると効率が悪くなります。このクエリは、受け入れられた出力レートと支出を比較して、価値指向の単位指標を生成します。

イベント契約

クエリが期待するフィールド

フィールド種類なぜ存在するのか
timestamp_utcTimestampワークフローの結果が記録されたとき。
featureUtf8安定した製品特性。
modelUtf8プロバイダーモデルの識別子。
acceptedBooleanユーザーが結果を受け入れたか保存したかどうか。
estimated_cost_usdFloat64モデルリクエストのコスト。
DataFusion SQL

クエリをコピーする

sql
SELECT
  feature,
  model,
  COUNT(*) AS completed_outputs,
  SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END) AS accepted_outputs,
  100.0 * SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS acceptance_rate_pct,
  SUM(estimated_cost_usd) AS cost_usd,
  SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
    / NULLIF(SUM(estimated_cost_usd), 0) AS accepted_outputs_per_dollar
FROM llm_requests
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY feature, model
HAVING COUNT(*) >= 50
ORDER BY accepted_outputs_per_dollar DESC;

この読み取り専用クエリは、空の型付きテーブルに対して計画され、実行されます。 アパッチ DataFusion 45.2.0。決定論的なサンプル出力は合成され、個別にレビューされます。フィールド タイプ、しきい値、ビジネス定義を独自のデータと照合して検証します。 テスト方法を読んでください。

クエリ結果

1 ドルあたりの受け入れられた出力

最大のモデルは受け入れ率では勝りますが、コスト調整後のスループットでは負けます。

featuremodelcompleted_outputsaccepted_outputsacceptance_rate_pctcost_usdaccepted_outputs_per_dollar
support_draftfast-small4,2003,108746349.33
document_summarybalanced-medium1,7001,3948278.217.83
research_reportreasoning-large51046490.982152.16

合成出力例。運用上の決定に使用する前に、独自のイベント スキーマとしきい値に対してクエリを実行します。

Accepted outputs per dollar: Measure Accepted AI Outputs per Dollar 結果例からの合成 accepted_outputs_per_dollar 値の静的チャート
決定論的な出力例のインデックス可能な SVG。記事、ランブック、または出典を明示した設計レビューのためにダウンロードしてください。

例を再現する

パブリックフィクスチャをダウンロードする

JSON バンドルには、型付きイベント コントラクトが含まれています。 illustrative 入力行、正確な SQL、予想される出力、レビューメモ、およびエンジンのバージョン。 CSV には、表示された結果が含まれます。

SQL の仕組み

  1. 1合格率は、完成した出力の中でのみ品質を測定します。 1 ドルあたりの受け入れられる生産量により、経済効率が高まります。
  2. 2最小サンプルしきい値により、少数のリクエストから勝者を宣言することが回避されます。
  3. 3承認は、想定されるモデル品質ラベルではなく、保存、送信、適用、コピーなどの実際の製品の動作から定義する必要があります。

決定すべきエッジケース

  • 破棄された出力は、後のアクションに通知する場合には依然として役立つ可能性があります。製品のコンテキストに合わせて結果シグナルを選択します。
  • ワークフローの難易度によって受け入れられるかどうかが変わるため、同じ機能内のモデルを比較してください。
  • 小さな差からコストのかかるモデルの移行を行う前に、信頼区間を使用してください。

推奨されるダッシュボード

  • 棒グラフ: 機能およびモデル別の accepted_outputs_per_dollar
  • 折れ線グラフ: acceptance_rate_pct の経時変化
  • 表: モデル実験のコスト、レイテンシ、結果

アラートガイダンス

モデル、プロンプト、またはツールの変更後に受け入れ率が急激に低下した場合にアラートを送信します。ページング アラートではなくダッシュボードとしてコスト効率を確認します。

アラート設定を読む

レシピを活用する

関連する機器とガイド

分析を続ける

実際のイベントで実行する

テーブルを作成し、フィールドを調整して、結果を保存します

無料で始めて、構造化されたイベントを送信し、クエリ結果をグラフ、共有ダッシュボード ウィジェット、またはアラート入力として使用します。

API キーを取得する